Det borde jag nog lägga till, så jag ser vilken sida den eftersöker, just nu skriver jag nämligen bara ut referrer, dvs. sidan den kommer ifrån.
Exempel på bot som crawlade inatt:
http://www.cyberpatrol.com/cyberpatrolcrawler.asp
Kanske borde testa med absoluta sökvägar. Lite meckigt att fixa så det funkar på localhost bara, fast det funkar nog.