Hej Viktor,
Vad gör egentligen er "spindel" som jobbar från IP 89.221.240.66? Den presenterar sig inte med user agent eller något annat, traverserar samma sidor flera gånger om dagen och är väldigt aggresiv i takten. Den följer inte robots.txt eller andra direktiv. Exempel på lookup och loggar ifrån en sajt igår (liknande sker på alla sajter jag registerat hos Double).
Kod:
> dig double.net
> double.net 119 IN A 89.221.240.66
89.221.240.66 - - [01/Jun/2009:10:07:24 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:10:07:26 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:10:58:30 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:10:58:30 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:12:27:04 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:12:27:04 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:14:34:00 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:14:34:00 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:16:47:39 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:16:47:39 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:18:31:45 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:18:31:45 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:19:04:04 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:19:04:04 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:19:29:59 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:19:29:59 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:20:52:14 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:20:52:14 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
89.221.240.66 - - [01/Jun/2009:22:02:12 +0200] "GET /optik/glasogon.jsp HTTP/1.1" 200 6464 "null" "null"
89.221.240.66 - - [01/Jun/2009:22:02:16 +0200] "GET /out?store=netlens HTTP/1.1" 302 - "null" "null"
Det verkar slumpvis vart den hakar upp sig, men på vissa sajter med hundratalet sidor så kör den en "rundgång" på hela sajten flera gånger om dagen. Vad är poängen med det här?
Tack på förhand.