[Robert]

En relativt liten site i min ägo fick igår över 1000 laddade sidor ifrån "Sunet - Kungliga Biblioteket". Saken är den att siten innehåller endast en bråkdel av detta och samtliga sidor är icke parameterstyrda så även om det skulle vara en spindel så finns det inga parametervärden att trixa med. Det laddades bara sidor, inga bilder el dyl. (har dock bara tillgång till statisitk, inte webloggar)

Vad kan det vara? Är det det svenska arkiveringsprojektet som drivs ifrån K.B. eller kommer jag ihåg fel? Hursomhelst så har någon spindel någonstans hakat upp sig rejält. Någon annan som fått besök eller vet vad det är?

[Robert]

Hmmm, ser att det kan vara en spindel vid namn Larbin som tydligen är en open source spindel som enligt dess egen sida kan hämta "över 5.000.000 sidor från en vanlig pc med bra bandbredd"... jojo, om den sitter och försöker tugga i sig min indexsida länge nog så kanske den kommer upp i sådana volymer.

(Larbin är tydligen för utvecklare, så någon har kodat fel någonstans..)

[Marcus]

Det svenska insamlandet från KB togs upp här. Verkar inte ha samma namn på spindeln iaf...

[Lindahl]

Du skriver att den laddat ett tusental sidor även att du bara har en bråkdel av detta. Jag har samma problem, nån form av robot går in och laddar startsidan hundratals gånger, problemet är att den identifierar sig som IE6. Har ingen ip-loggning inlagd, kanske borde börja med det.

[grazzy]

Jag hade ett rätt jobbigt problem med nån mupp som håller och utvecklar ett korsordsprogram.. han tyckte det var en skitbra ide att spindla nyhetsportalen.se med 5 sidor / sekunden för att hitta nya ord att lägga till i sin orddatabas

Fattar inte varifrån alla keffon får sina dumma ideer från, om han hade frågat snällt hade jag ju kunnat göra en dump åt honom istället bara..