Hur effektivt hantera illasinnade robotar?
 

Jag får hela tiden fler och fler onlinebaserade system och tjänster att administrera. Exempelvis företagsnätverk, webbforum, e-butiker, mm.

Jag undrar om någon kan ge mig tips på effektiv robot-hantering? Googlar jag, så hittar jag massor av listor med IP-adresser, tillhörande robotar, hackare, crawlers, spammare, scrapers eller hela länder. Problemet är att jag inte vet vilka av listorna som är pålitliga, bra och uppdaterade. Jag vill ogärna dra ner en random lista från webben och senare konstatera att jag av misstag råkade blockera tex googlebot eller Malmö.

Finns det någon tjänst/service som personer här på WN har bra erfarenheter av, eller som är internationellt erkänd med gott rykte?

Googlebots alla IP-adresser är publika. Det du skulle kunna göra är att (automatiskt givetvis) blockera allt för många sidvisningar per IP om det inte är en bot du vill tillåta. Upptäckte senast igår att det finns en hel del godartade bottar dock, såsom Facebook som crawlade min site hela 40.000 gånger under ett dygn, och Yahoo mfl. Undrar dock varför FB var så nyfikna..

Mvh,

Vad är du intresserad av att blockera?

GeoIP har publika listor gällande var ett IP hör hemma så att man kan blockera vissa länder. De länder som kan vara intressanta att blockera är kanske Ryssland, Indien, Kina, mfl som tex inte har med ens försäljnings marknad att göra. Europa överlag och Nordamerika är dumt att blockera.

Har du Facebook-implementerat, tex. gillaknapp, headers mm, så vill Facebook kolla över hela din site, likaså om någon delar en post från din webbplats.

Jag har använt mig av geografisk IP-blockering. Det är lämpligt för vissa webbsidor och nätverk, men inte för alla.

Det yakuzaemme föreslår som lösning, är tyvärr inte heller ett bra alternativ. Jag föredrar att släppa igenom lite för mycket, framför att blockera lite för mycket.

Ställer mig samma fråga, varför blockera något alls på IP? Beteendeblockering räcker gott och väl i 99% av fallen.

Låt någon annan sköta det där, t.ex. cloudflare.