[eldsjäl]

Hej,

Jag undrar vilka av er som använder gzip compression på era siter, och hur detta påverkar bandbredden som Slurp tar?
Har ni liknande siffror från Google får ni gärna dela med er av dessa också.

[grazzy]

Du ställer själv in hur mycket du vill komprimera. Generellt så komprimerar gzip text ungefär 80% på "normal"-level.

Vet inte om varesig Slurp eller Googlebot tar emot gzip ännu. Googlebot gör det nog inte..

[nicclas]

Det låter på "eldsjäl" som om slurp klarar gzip. (Han/hon borde väl veta eftersom det ser ut som om han/hon jobbar på Yahoo.) Jag tror att Google klarar gzip. WebmasterWorld har rätt många trådar där det står om att Google spindlar gzip-skickade-filer, och jag ser ingen anledning till att den inte skulle. Till och med min sökmotor klarar gzip ;-) Jag har tyvärr inte använt gzip själv på någon av mina sajter.

[eldsjäl]

Jag var mer intresserad av statistik faktiskt på om ni sett förändringar i bandbredden på senaste tiden. Jag är som sagt väl medveten om Gzip tekniken.

Tack Grazzy dock för lektionen ;-)

[grazzy]

Nicclas, härligt. Du verkar insatt.

Eldsjäl, ok, det framgick inte riktigt av ditt inlägg. Här är statistik från en site jag har tillgång för loggfilerna till.

Slurp
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 Slurp
Laddade sidor: 6620
Sammanlagd storlek: 12090.71 kB
Storlek / dokument: 1.82 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 Slurp
Laddade sidor: 8418
Sammanlagd storlek: 15533.59 kB
Storlek / dokument: 1.84 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 Slurp
Laddade sidor: 14045
Sammanlagd storlek: 36262.77 kB
Storlek / dokument: 2.58 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 Slurp
Laddade sidor: 12965
Sammanlagd storlek: 36005.68 kB
Storlek / dokument: 2.77 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 Slurp
Laddade sidor: 4590
Sammanlagd storlek: 13279.5 kB
Storlek / dokument: 2.89 kB

Googlebot
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 Googlebot
Laddade sidor: 8077
Sammanlagd storlek: 39487.7 kB
Storlek / dokument: 4.88 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 Googlebot
Laddade sidor: 7461
Sammanlagd storlek: 51601.14 kB
Storlek / dokument: 6.91 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 Googlebot
Laddade sidor: 5832
Sammanlagd storlek: 48377.5 kB
Storlek / dokument: 8.29 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 Googlebot
Laddade sidor: 9701
Sammanlagd storlek: 67127.53 kB
Storlek / dokument: 6.91 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 Googlebot
Laddade sidor: 1381
Sammanlagd storlek: 12395.16 kB
Storlek / dokument: 8.97 kB

msnbot
grazzy@quake:~$ ./log_ua_bw.pl access_log May 2005 msnbot
Laddade sidor: 3950
Sammanlagd storlek: 28945.82 kB
Storlek / dokument: 7.32 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jun 2005 msnbot
Laddade sidor: 5362
Sammanlagd storlek: 36279.64 kB
Storlek / dokument: 6.76 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Jul 2005 msnbot
Laddade sidor: 6621
Sammanlagd storlek: 57612.52 kB
Storlek / dokument: 8.7 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Aug 2005 msnbot
Laddade sidor: 10315
Sammanlagd storlek: 96313.38 kB
Storlek / dokument: 9.33 kB
grazzy@quake:~$ ./log_ua_bw.pl access_log Sep 2005 msnbot
Laddade sidor: 1941
Sammanlagd storlek: 19265.43 kB
Storlek / dokument: 9.92 kB

grazzy@quake:~$ ls -la access_log
-rw-r--r-- 1 grazzy users 187384887 2005-09-07 17:25 access_log
grazzy@quake:~$ wc -l access_log
962661 access_log

Har Slurp använt gzip länge? Det verkar som det. Kan inte påstå att jag ser något som tyder på att Googlebot skulle göra det?

Jag kan plocka fram äldre material om det är av intresse. Även från andra siter / ipn / andra typer av siter. Det finns en naturlig uppgång i snittstorleken på dokumenten pga att de blir större på våran site (dynamisk). Att tex msnbot visar en större ökning beror troligen på att den spindlar mer sidor på högre nivåer medans googlebot har tillgång till sitemaps och yahoo till rssfeeds..

[eldsjäl]

Originally posted by grazzy@Sep 7 2005, 16:49

Har Slurp använt gzip länge? Det verkar som det. Kan inte påstå att jag ser något som tyder på att Googlebot skulle göra det?

Jag kan plocka fram äldre material om det är av intresse. Även från andra siter / ipn / andra typer av siter. Det finns en naturlig uppgång i snittstorleken på dokumenten pga att de blir större på våran site (dynamisk). Att tex msnbot visar en större ökning beror troligen på att den spindlar mer sidor på högre nivåer medans googlebot har tillgång till sitemaps och yahoo till rssfeeds..

Tack för informationen. Gzip har varit stött ett tag men bara på vissa subsets, men typ av compression för bitöverföring är
ändrad och det var egentligen detta som jag ville se om folk noterat något av.

[grazzy]

Jag har tyvärr inte den detaljerade mod_gzip-loggnings-funktionen påslagen. Så ovanstående var det bästa jag kunde åstadkomma.

Tror inte att särskilt många här sitter och nagelför hur många bits eller bytes någon sökspindel drar ner.