Japp, börjar bli lite störande, har lugnat ner sig lite den senaste tiden men det går i vågor, det började den 13 Februari och då såg statistiken ut såhär per dag och för just leaseweb IP:t
1759 2014-02-18
1114 2014-02-17
3199 2014-02-16
1603 2014-02-15
141 2014-02-14
1444 2014-02-13
Det konstiga är att crawlen på leaseweb har av någon anledning sparat gamla URL/sökvägar som inte används på min hemsida längre, det var över 2 år sedan jag kastade iväg WordPress men ändå så gör den direkta request till sidor som varit inaktiva sen mer än 2 år tillbaka:
http://f.cl.ly/items/0R2h171h3A2V402f1R2p/lolstats.png
(dom som börjar med /blog/ och har IP: 108.59.8.80)
Enda jag kan komma på är om typ Internet Archive tittar på min sida lite då och då men verkar ju skumt.
Min hemsida innehåller inget av värde heller och har krävt login för att se innehållet sen typ 1 år tillbaka så hmm ja.
Så jao, någon som märkt något liknande eller har någon idé vad crawlen på leaseweb håller på med? (är inte ute efter att stänga ute crawlers, mest nyfiken på vad vissa håller på med
)
Sen en bonusfråga, varför söker någon bot/crawler från Binero på min domän via google, några gånger per dag så requestas "/" med referer "http://www.google.com/search?q=jespera.se"?