[altruixm]

Ursprungligen postat av Bladet

Det är bara köra på och crawla allt. Gör sen bara en liten notis på din hemsida att sajtägare kan stoppa det med en robots2.txt.

Nej det är det inte. Det är som att påstå att det är fritt att länsa någons hem och att den som bor där får skylla sig själv för att han inte satte upp en skylt: "Du ska icke stjäla".