Vad är det med MSNbot och alla konstiga URLer?
 

Hej, jag har 404 spårning och undrar vad det är med MSNbot och alla konstiga URLer den får för sig att begära. Alla mina sajter är berörda och alla mina kunder har också dessa förekomster. Det är vilt slumpade konstigheter t.ex. bilreservdelar, restaurangmenyer, o.dyl.

Det är länkar som aldrig funnits på domänerna, och nej ingen webbplats är infekterad med malware.

Så här kan det se ut:

GET /bojangles-reidsville-2-online-menu/
msnbot-207-46-13-183.search.msn.com
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingb...

Andra URLer såsom:

/come-funziona-volleyplayers
/hardees-restaurant-reidsville-online-menu/
/taco-bell-reidsville-2-online-menu/
/societa-beach/cerca
/volley-mercato

Har ni andra också sett det här beteendet hos MSNbot? Vad beror det på?

Jag har försökt tackla dessa med att svara med HTTP 410 Gone.

Här kan du läsa lite om det,

- https://perishablepress.com/weird-40...gine-requests/
- https://serverfault.com/questions/60...rors-every-day

Tack, jag har redan varit i kontakt med Jeff Starr. Han vet fortfarande inte vad som orsakar det. Men för honom har det avtagit.

Din stackexchange länk nämner återanvända domäner och ip adresser. Detta är HTTP anrop till en namngiven domän (Host headern). Där domänen som anges inte har bytt ägare på 15 år. Det känns inte som om det är orsaken för då skulle Bing behöva göra en DNS lookup på ett IP förutsatt att domänen använder dedikerad ip adress. Några av webbplatserna har inte dedikerad IP.

Äsch, tänkte fel, edit