Vissa tycker sig märka att robots.txt inte hjälper för det akuta problemet som uppstått för dem. Det finns exempel på sajter som blivit crawlade tillräckligt hårt för att det nästan ska kunna liknas vid en DDOS-attack.
Upptäcker ni sådana problem; skicka e-post till
[email protected] ... Tror dock inte man kan förvänta sig ett svar då de säkerligen blir överösta med mail om bottens nuvarande beteende.