Spindelmysterium
 

Årets spindelhögtid Halloween är visserligen över, man jag har ett litet spindelmysterium som jag skulle behöva lite hjälp med att klura ut.

Jag undrar lite över google spindlarna. Har en mindre nystartad köp & sälj sida med ca 1000 annonser och hela webkontot är i nuläget på 456Mb.

Under hela oktober hade jag besök av 10 olika google-bootar. När jag såg att dom höll på att äta upp trafikkapaciteten på mitt webbhotellkonto gjorde jag olika åtgärder, bla. stänga ner bildmappen på 400Mb för sökning mm.

50Mb är sökbart och åtkomligt för spindlarna. Då förökade sig spindlarna sig istället...

Nu under första veckan i november har jag haft besök av 16 googlebootar som använt ca 8 Gb trafik:

Site Accesses Bytes
crawl-66-249-66-197.googlebot.com 17,679 900,851,864
crawl-66-249-66-194.googlebot.com 15,893 810,738,919
crawl-66-249-66-165.googlebot.com 14,951 761,648,999
crawl-66-249-66-162.googlebot.com 14,876 757,666,402
crawl-66-249-66-119.googlebot.com 11,117 699,090,517
crawl-66-249-66-116.googlebot.com 11,061 688,317,359
crawl-66-249-66-66.googlebot.com 10,46 632,648,688
crawl-66-249-66-69.googlebot.com 10,223 617,748,213
crawl-66-249-66-98.googlebot.com 8,429 426,930,771
crawl-66-249-66-23.googlebot.com 8,254 417,404,272
crawl-66-249-66-20.googlebot.com 7,838 395,964,679
crawl-66-249-66-101.googlebot.com 7,804 394,563,569
crawl-66-249-66-133.googlebot.com 4,593 231,902,419
crawl-66-249-66-130.googlebot.com 4,585 231,925,952
crawl-66-249-66-78.googlebot.com 4,497 227,390,779
crawl-66-249-66-75.googlebot.com 4,473 225,691,629
totalt: 47,319accesser 8,420,485,031 bytes


Visst är det trevligt att få sin sida välbesökt och välindexerad av google, men känner mig just lite smått invaderad av spindlar.

Är det normalt att spindlarna tuggar i sig 8 Gb trafik på en vecka, på en sida av min storlek?

Hoppas på ledtrådar och lite hjälp.

Föreslår att du tittar på custom crawl rate under webmaster tools om du vill minska crawlraten. Även en sitemap med uppdateringsfrekvens gör sitt till.

Googlebot har börjat crawla väldigt mycket mer på senare år, vad som är normalt varierar enormt från sida till sida.

1 Skaffa webmasters tools
2 Bestämt hur ofta och hur "intensivt" google ska besöka din sajt
3 klart

Clarence & studiox, tack för hjälpen. Det var inget stort mysterium då ju.

Floristen slänger sig på detta omgående!!!

Du var en minut snabbare att posta inlägget där :-)

Ja, google springer väldigt ofta tycker jag nu. Vet inte om dom gör det "generellt" eller hos sidor dom gillar (eller inte gillar..) Google försöker ju mer bli "live search" vilket ju är otroligt positivt.

Se till att införskaffa ett konto som är lite mer generös med trafiken.
Loopia är inte de generösaste på den punkten :).
Jag hade inte velat att google skulle besöka mina siter mindre..

Men vi äro alla olika. Smaken är som baken.
Men om du inte har innehåll som förändras så är det kanske lite onödigt med konstant hamrande.

Jag funderar lite på en annan sak.

Den aktuella sidan ligger på .se
Sedan har jag redirectat .net .nu .com varianterna av domänen till .se

Vet någon om detta påverka spindelaktiviteten?

Vad jag undrar är om spindlarna eventuellt får fnatt av det? Typ att dom söker 3 gånger för mycket?

.net .nu .com har ju aldrig haft eget innehåll, men bör man lägga 301 på dom, eller vad det heter?

Ja 301 is the way to go.

Har du listor som kan sorteras och filtreras på olika vis? I så fall kan det ju vara så att spindlarna följer sorteringslänkar i alla möjliga kombinationer.

Tack för feedbacken!

Fast vet inte varför du pratar om Loopia helt plötsligt? Jag har aldrig pratat om dom. Sidan ligger på FSdata Pro XL.

Jag vill helst inte att google besöker min sida mindre, jag försöker bara klura ut om det är rimligt att 1/3 av en trafikkapacitet på 22,5Gb i veckan går åt till spindlarna. Trots att jag stängt bildmappen. Det känns mycket på något sätt. Men det kanske är normalt. Vad vet jag?


Jag tror att med alla svar här i tråden så kan jag hitta en lösning som passar mig.

TACK alla snälla!!!!

Hej emilv, tack för infallsvinkeln. Jag har också funderat på det. Kanske går spindlarna vilse på något sätt, som i en labyrint och springer runt runt....

Har dels en meny på förstasidan som listar annonserna per kategori. Dels en ingång Nya annonser, där annonserna listas bakifrån.

Vill ju helst ha båda ingångarna till innehållet så att säga, men får fundera vidare om detta påverkar. Ska skaffa webmaster tools och försöka diagonstisera det hela mer.

Ja du bör lägga 301 (permanently moved) redirects till din .se.
Och ja om domänerna ligger pekade emot samma ip+innehåll så kan det lätt vara så att google tror att det möjligen är olika siter.
301 transfer gör att de går till domänen en gång och sedan bara gör en check då och då för att se om den fortfarande är flyttad till .se.

Blomsterpassion.se ligger på loopia..
Men det kanske inte gäller blomsterpassion.se? jag kanske bara antog fel vilken site det gäller. :/.

Tack BarateaU & mervinst, får fixa detta med 301.

Nej det gällde inte blomsterpassion.se utan mina nya köp & sälj sajt (har lagt till den i min signatur nu)

Otroligt mycket man måste ha koll på, tack för alla tips.