Baiduspider+ elak mot mig
 

Jag har nyligen lagt upp en sida i Wordpress formatet. Genom plugins så ser jag besökarstatistik och i den har jag upptäckt att baiduspider+ håller på att våldföra sig på mina sidor. Den håller på att indexera kataloger som inte ens finns kvar de är borttagna från min webbserver. Kan ma få den att sluta med detta beteende för det tar väl en del bandbredd och belastning på servern antar jag.

Jag har regler i både .htaccess och robots.txt men just baidu verkar inte fatta dessa.

Snälla berätta för mig varför detta händer och om/hur jag kan stoppa det.

Tack på förhand

Blockera Baidu?
Såvida du inte riktar in dig på Kina? Eftersom Baidu är större än Google där.

Om din 404-sida inte är speciellt stor i storlek så hade jag låtit den fortsätta, eftersom det är bara en spindel, och om den inte kan hitta dina filer så tas dom bort från indexet.

Ok, hur länge tror du den kommer den hålla på leta efter en katalog på 4GB som tidigare funnits där.
ALLA filer i den katalogen har säkert tidigare indexerats, i såna fall kommer den ha att göra.

Beror helt och hållet på hur många filer det var. Storleken har ingen betydelse, hur många filer det var har det.

60000 kanske, mestadels bilder

Nån som vet hur det ligger till med Baidu nuförtiden? Den verkar fortfarande helt oförskämt ignorera regler i robots.txt. Fast det kan ju röra sig om en felkonfigurering från min sida.

Installera pluginet "bad behavior" på din wp.

Jag har ingen wp.

Hehe, en del utgår från att alla kör wp numera. Lite humor :)

Vet inte om du redan sett dessa:

http://www.gordonchoi.com/baidu-robots-txt-20100420
http://www.sitepoint.com/forums/blog...ot-600926.html

Baidu har egen information (dock övervägande på kinesiska):

http://www.baidu.com/search/robots.html