Kom ihåg mig?
Home Menu

Menu


Blocka site harvesters

Ämnesverktyg Visningsalternativ
Oläst 2008-05-14, 14:59 #1
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
Hej,

Jag har de senaste dagarna råkat ut för vad jag tror är site harvesters som följer varenda länk på sidorna, vilket tar väldigt mycket kraft från databasen då det är en stor databas med flera miljoner poster som kan sökas i med en mängd olika kombinationer. Jag har blockat ett par IP-adresser så de ger upp efter ett tag men det kommer ju nya på andra IP-adresser.

Hur kan jag blocka dessa per automatik på ett bra sätt?

Problemet är att jag kör flera virtual hosts på denna webserver så om jag konfiguerar mod_dosevasive i Apachen till att blocka folk i några minuter som försöker accessa siten X antal gånger per sekund så funkar inte det då övriga siter är relativt små och man kan klicka sig manuellt till denna block rätt lätt. Den stora siten får nämligen bara runt 5 requests per sekund från varje IP-adress, så då måste jag i princip blocka folk i några minuter som accessar siten mer än 3 ggr/s eller så.

Kan jag konfiguera mod_dosevasive till olika inställningar per virtual server? eller får jag leva med att isf helt oskyldiga riskerar att blockas om de klickar 3 ggr/s på den andra mindre siten?

Tacksam för tips och tankar =).

Mvh Magnus W
Draupner är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-05-14, 15:09 #2
tartareandesire tartareandesire är inte uppkopplad
Supermoderator
 
Reg.datum: Jan 2004
Inlägg: 11 585
tartareandesire tartareandesire är inte uppkopplad
Supermoderator
 
Reg.datum: Jan 2004
Inlägg: 11 585
Jag har noll koll på Apache-inställningarna men tror du att särskilt många klickar tre gånger på en sekund? Skulle några felaktiga drabbas av detta så skulle du ju kunna lämna något meddelande så de får kontakta er. Problemet är ju dock att de lätt kan kringgå problemet genom att sakta ner sin scanning varje gång du gör detta....
__________________
Full-stack developer, free for smaller assignments
tartareandesire är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-05-14, 15:14 #3
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
Jo sant, jag skulle hellre vilja ha en inställning som typ blockar requests från samma IP om CPU-belastningen är över 75%.

Jag kan ju dock ändra intervallet så den blockar IP som requestar mer än 10 saker på 5 sekunder, istället för 3 på 1 sekund, för de flesta människor stannar ju upp och läser lite kanske iaf innan de går till nästa sida.
Draupner är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-05-14, 15:34 #4
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
Draupner Draupner är inte uppkopplad
Nykomling
 
Reg.datum: Jul 2005
Inlägg: 13
mod_evasive har jag nu funnit vara opålitlig. Den blockar väldigt sällan hur man än configgar, och om den väl gör det så visar den inte 403 som den borde.

Så finns det kanske andra metoder, tips? =)
Draupner är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-05-14, 15:38 #5
Jonas Jonas är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Feb 2004
Inlägg: 3 364
Jonas Jonas är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Feb 2004
Inlägg: 3 364
Kolla manualen till modulen, där borde det stå om det fungerar i Vhost eller inte.

Står det inget, så testa att flytta över config inställningarna till vhosten.
Jonas är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-05-15, 19:40 #6
forngrens avatar
forngren forngren är inte uppkopplad
Flitig postare
 
Reg.datum: Jan 2004
Inlägg: 382
forngren forngren är inte uppkopplad
Flitig postare
forngrens avatar
 
Reg.datum: Jan 2004
Inlägg: 382
Använd en honeypot?
forngren är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 04:49.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017