[grazzy]

Nicclas, härligt. Du verkar insatt.

Eldsjäl, ok, det framgick inte riktigt av ditt inlägg. Här är statistik från en site jag har tillgång för loggfilerna till.

Slurp
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 Slurp
Laddade sidor: 6620
Sammanlagd storlek: 12090.71 kB
Storlek / dokument: 1.82 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 Slurp
Laddade sidor: 8418
Sammanlagd storlek: 15533.59 kB
Storlek / dokument: 1.84 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 Slurp
Laddade sidor: 14045
Sammanlagd storlek: 36262.77 kB
Storlek / dokument: 2.58 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 Slurp
Laddade sidor: 12965
Sammanlagd storlek: 36005.68 kB
Storlek / dokument: 2.77 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 Slurp
Laddade sidor: 4590
Sammanlagd storlek: 13279.5 kB
Storlek / dokument: 2.89 kB

Googlebot
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 Googlebot
Laddade sidor: 8077
Sammanlagd storlek: 39487.7 kB
Storlek / dokument: 4.88 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 Googlebot
Laddade sidor: 7461
Sammanlagd storlek: 51601.14 kB
Storlek / dokument: 6.91 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 Googlebot
Laddade sidor: 5832
Sammanlagd storlek: 48377.5 kB
Storlek / dokument: 8.29 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 Googlebot
Laddade sidor: 9701
Sammanlagd storlek: 67127.53 kB
Storlek / dokument: 6.91 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 Googlebot
Laddade sidor: 1381
Sammanlagd storlek: 12395.16 kB
Storlek / dokument: 8.97 kB

msnbot
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 msnbot
Laddade sidor: 3950
Sammanlagd storlek: 28945.82 kB
Storlek / dokument: 7.32 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 msnbot
Laddade sidor: 5362
Sammanlagd storlek: 36279.64 kB
Storlek / dokument: 6.76 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 msnbot
Laddade sidor: 6621
Sammanlagd storlek: 57612.52 kB
Storlek / dokument: 8.7 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 msnbot
Laddade sidor: 10315
Sammanlagd storlek: 96313.38 kB
Storlek / dokument: 9.33 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 msnbot
Laddade sidor: 1941
Sammanlagd storlek: 19265.43 kB
Storlek / dokument: 9.92 kB

grazzy@quake:~$ ls -la access_log
-rw-r--r-- 1 grazzy users 187384887 2005-09-07 17:25 access_log
grazzy@quake:~$ wc -l access_log
962661 access_log

Har Slurp använt gzip länge? Det verkar som det. Kan inte påstå att jag ser något som tyder på att Googlebot skulle göra det?

Jag kan plocka fram äldre material om det är av intresse. Även från andra siter / ipn / andra typer av siter. Det finns en naturlig uppgång i snittstorleken på dokumenten pga att de blir större på våran site (dynamisk). Att tex msnbot visar en större ökning beror troligen på att den spindlar mer sidor på högre nivåer medans googlebot har tillgång till sitemaps och yahoo till rssfeeds..