Spindelmysterium
 

Årets spindelhögtid Halloween är visserligen över, man jag har ett litet spindelmysterium som jag skulle behöva lite hjälp med att klura ut.

Jag undrar lite över google spindlarna. Har en mindre nystartad köp & sälj sida med ca 1000 annonser och hela webkontot är i nuläget på 456Mb.

Under hela oktober hade jag besök av 10 olika google-bootar. När jag såg att dom höll på att äta upp trafikkapaciteten på mitt webbhotellkonto gjorde jag olika åtgärder, bla. stänga ner bildmappen på 400Mb för sökning mm.

50Mb är sökbart och åtkomligt för spindlarna. Då förökade sig spindlarna sig istället...

Nu under första veckan i november har jag haft besök av 16 googlebootar som använt ca 8 Gb trafik:

Site Accesses Bytes
crawl-66-249-66-197.googlebot.com 17,679 900,851,864
crawl-66-249-66-194.googlebot.com 15,893 810,738,919
crawl-66-249-66-165.googlebot.com 14,951 761,648,999
crawl-66-249-66-162.googlebot.com 14,876 757,666,402
crawl-66-249-66-119.googlebot.com 11,117 699,090,517
crawl-66-249-66-116.googlebot.com 11,061 688,317,359
crawl-66-249-66-66.googlebot.com 10,46 632,648,688
crawl-66-249-66-69.googlebot.com 10,223 617,748,213
crawl-66-249-66-98.googlebot.com 8,429 426,930,771
crawl-66-249-66-23.googlebot.com 8,254 417,404,272
crawl-66-249-66-20.googlebot.com 7,838 395,964,679
crawl-66-249-66-101.googlebot.com 7,804 394,563,569
crawl-66-249-66-133.googlebot.com 4,593 231,902,419
crawl-66-249-66-130.googlebot.com 4,585 231,925,952
crawl-66-249-66-78.googlebot.com 4,497 227,390,779
crawl-66-249-66-75.googlebot.com 4,473 225,691,629
totalt: 47,319accesser 8,420,485,031 bytes


Visst är det trevligt att få sin sida välbesökt och välindexerad av google, men känner mig just lite smått invaderad av spindlar.

Är det normalt att spindlarna tuggar i sig 8 Gb trafik på en vecka, på en sida av min storlek?

Hoppas på ledtrådar och lite hjälp.

Föreslår att du tittar på custom crawl rate under webmaster tools om du vill minska crawlraten. Även en sitemap med uppdateringsfrekvens gör sitt till.

Googlebot har börjat crawla väldigt mycket mer på senare år, vad som är normalt varierar enormt från sida till sida.

1 Skaffa webmasters tools
2 Bestämt hur ofta och hur "intensivt" google ska besöka din sajt
3 klart

Clarence & studiox, tack för hjälpen. Det var inget stort mysterium då ju.

Floristen slänger sig på detta omgående!!!

Du var en minut snabbare att posta inlägget där :-)

Ja, google springer väldigt ofta tycker jag nu. Vet inte om dom gör det "generellt" eller hos sidor dom gillar (eller inte gillar..) Google försöker ju mer bli "live search" vilket ju är otroligt positivt.

Se till att införskaffa ett konto som är lite mer generös med trafiken.
Loopia är inte de generösaste på den punkten :).
Jag hade inte velat att google skulle besöka mina siter mindre..

Men vi äro alla olika. Smaken är som baken.
Men om du inte har innehåll som förändras så är det kanske lite onödigt med konstant hamrande.

Jag funderar lite på en annan sak.

Den aktuella sidan ligger på .se
Sedan har jag redirectat .net .nu .com varianterna av domänen till .se

Vet någon om detta påverka spindelaktiviteten?

Vad jag undrar är om spindlarna eventuellt får fnatt av det? Typ att dom söker 3 gånger för mycket?

.net .nu .com har ju aldrig haft eget innehåll, men bör man lägga 301 på dom, eller vad det heter?

Ja 301 is the way to go.

Har du listor som kan sorteras och filtreras på olika vis? I så fall kan det ju vara så att spindlarna följer sorteringslänkar i alla möjliga kombinationer.

Tack för feedbacken!

Fast vet inte varför du pratar om Loopia helt plötsligt? Jag har aldrig pratat om dom. Sidan ligger på FSdata Pro XL.

Jag vill helst inte att google besöker min sida mindre, jag försöker bara klura ut om det är rimligt att 1/3 av en trafikkapacitet på 22,5Gb i veckan går åt till spindlarna. Trots att jag stängt bildmappen. Det känns mycket på något sätt. Men det kanske är normalt. Vad vet jag?


Jag tror att med alla svar här i tråden så kan jag hitta en lösning som passar mig.

TACK alla snälla!!!!