Delvis så vet sökmotorn att den ansvarige personen för siten i fråga vet vad dom sysslar med och inte är nån clueless noob som inte kan läsa dokumentation.

Oj .....

Alla sökmotorer som följer "god sed" begär doman.com/robots.txt vid var besök, om du lägger en robots.txt i rooten för din domän så ska google plocka upp den automatiskt alltså

EDIT: såg inte att det redan var svarat ang robots.txt o spindlar.

Jag hittar ingenting någonstans på Google eller någon annanstans om att det skulle påverka ens placering negativt om man saknar robots.txt-fil. Källor?