FAQ |
Kalender |
2009-12-06, 16:56 | #1 | |||
|
||||
Medlem
|
Jag har nyligen lagt upp en sida i Wordpress formatet. Genom plugins så ser jag besökarstatistik och i den har jag upptäckt att baiduspider+ håller på att våldföra sig på mina sidor. Den håller på att indexera kataloger som inte ens finns kvar de är borttagna från min webbserver. Kan ma få den att sluta med detta beteende för det tar väl en del bandbredd och belastning på servern antar jag.
Jag har regler i både .htaccess och robots.txt men just baidu verkar inte fatta dessa. Snälla berätta för mig varför detta händer och om/hur jag kan stoppa det. Tack på förhand |
|||
Svara med citat |
2009-12-06, 20:01 | #2 | ||
|
|||
Klarade millennium-buggen
|
Blockera Baidu?
Såvida du inte riktar in dig på Kina? Eftersom Baidu är större än Google där. Om din 404-sida inte är speciellt stor i storlek så hade jag låtit den fortsätta, eftersom det är bara en spindel, och om den inte kan hitta dina filer så tas dom bort från indexet. |
||
Svara med citat |
2009-12-06, 22:44 | #3 | |||
|
||||
Medlem
|
Ok, hur länge tror du den kommer den hålla på leta efter en katalog på 4GB som tidigare funnits där.
ALLA filer i den katalogen har säkert tidigare indexerats, i såna fall kommer den ha att göra. |
|||
Svara med citat |
2009-12-06, 23:02 | #4 | ||
|
|||
Klarade millennium-buggen
|
Beror helt och hållet på hur många filer det var. Storleken har ingen betydelse, hur många filer det var har det.
|
||
Svara med citat |
2009-12-07, 09:15 | #5 | |||
|
||||
Medlem
|
60000 kanske, mestadels bilder
|
|||
Svara med citat |
2011-07-06, 13:58 | #6 | ||
|
|||
Flitig postare
|
Nån som vet hur det ligger till med Baidu nuförtiden? Den verkar fortfarande helt oförskämt ignorera regler i robots.txt. Fast det kan ju röra sig om en felkonfigurering från min sida.
|
||
Svara med citat |
2011-07-06, 15:31 | #7 | |||
|
||||
Klarade millennium-buggen
|
Installera pluginet "bad behavior" på din wp.
|
|||
Svara med citat |
2011-07-07, 09:54 | #8 | ||
|
|||
Flitig postare
|
Jag har ingen wp.
|
||
Svara med citat |
2011-07-07, 09:55 | #9 | ||
|
|||
Supermoderator
|
Hehe, en del utgår från att alla kör wp numera. Lite humor
Vet inte om du redan sett dessa: http://www.gordonchoi.com/baidu-robots-txt-20100420 http://www.sitepoint.com/forums/blog...ot-600926.html Baidu har egen information (dock övervägande på kinesiska): http://www.baidu.com/search/robots.html
__________________
Full-stack developer, free for smaller assignments Senast redigerad av tartareandesire den 2011-07-07 klockan 10:11 |
||
Svara med citat |
Svara |
|
|