[hubbert]

Tack, men hängde nog inte riktigt med i svaret...
Jag brukar inte ha robot.txt filer på mina sidor alls.
Tänkte bara undvika felstatistik genom att peta upp en helt blank utan något som helst innehåll.
Ingen styrning av vad som skall visas eller inte.
Går det fortfarande snabbare för en sökmotor att springa igenom om filen är helt tom.