[grazzy]

De läser nog knappast robots.txt.. den där robots.txt ger jag inte särskilt mycket för, den försöker bland annat blockera wget och mycket annat som är helt legitimt. Och massa saker som helt 100% fullständigt ignorerar robots.txt.

Robots.txt är ju egentligen bara effektiv mot seriösa sökmotorer hursomhelst. Det kanske är bra om man inte har nåt behov av sökmotortrafik, men knappast för att stävja spam...