Nästan lite skämsigt att man inte kan det här. Men vad ska robots.txt innehålla? Jag vet vad den gör och allt men jag vet inte riktigt hur m.m. jag ska fylla filen med innehåll (fylla och fylla men ändå..).

?

Ge gärna ett exempel.

läs på http://www.robotstxt.org/wc/robots.html

MM.. Men ingen som kan visa ett exempel på hur det kan se ut?

Tja ett litet exempel här då.

User-agent: *
Disallow: /mappar/

Innehållet i mappar skall inte indexeras av någon sökmotor.

Men om allt ska indexeras, då behöver man egentligen inte ha något i robots.txt?

Nope. Då behöver du inte det.

Robots.txt används för att blockera access. Visst kan man ha en robots.txt som tillåter acces för alla bottar överallt. men i och med att det är defaultläget så behövs det inte.

Å andra sidan slipper man smutsa ner sin webstatistik med massa 404. Även om man vet att det är crawlers som gör det, så vill man ändå slippa det.

Därför kan man skapa en sån, så slipper man det.

Woah!
Hur kommer det sig att ni blockerar så många söksajter?

Har gjort så för dom är så brutala. Besöker WN's alla 161 000 dokument på kort tid så servern går på knäna. När de väl är gjort ser man aldrig att det kommer en enda besökare.