Tyvärr har det under senaste timmarna gått helt överstyr och det har sänkt vissa servrar totalt.

Undra vad dom håller på med, hundratals hits i sekunden, inte nog med att det är samma IP, det är samma domän.

Thomas

är det det dom gör att WN har så stora problem med minnet nu?

Möjligen, WN har 11 500 som google jobbar med, dock är dessa problem små jämfört med servrar som jag får reboota en gång i timmen.

Illa detta, vad 17 gör dom!

Thomas

kanske idé att lägga in en robots.txt tillfälligt då?

Vissa tycker sig märka att robots.txt inte hjälper för det akuta problemet som uppstått för dem. Det finns exempel på sajter som blivit crawlade tillräckligt hårt för att det nästan ska kunna liknas vid en DDOS-attack.

Upptäcker ni sådana problem; skicka e-post till [email protected] ... Tror dock inte man kan förvänta sig ett svar då de säkerligen blir överösta med mail om bottens nuvarande beteende.

Varför bootar du om dom Thomas? Varför inte bara fixa problemet genom att tex koda en egen cachning av gamla sidor som gör att du kan leverera statiskt material?

Hårddisk är billigt idag, mod_rewrite har tom en parameter för att kolla om en fil finns innan den bestämmer vart en request skall gå.

Gör om gör rätt.


-- Where do you want to delete a post today?

Att nedsätta/anpassa sidor efter en bot som helt plöstligt fått för sig att krypa upp till 200 sidor per sekund medans de påstår något helt annat; det kan jag nog inte hålla med om är en bra idé. Många som drabbats så hårt har blockerat google per IP, temporärt. All logik talar emot att de som jobbar med googlebot med avsikt gett hastigheten som den kryper vissa sidor med.

Shit detta är knas someone messed up big time.

Det här måste ju kosta google massor tänkt all bandbredd :/ helt sjukt

Om man redan gjort detta för länge sedan, vad gör man då, inget håller för flera 100 imp's per sekund och domän om man har några domäner på servern.

Om man bara visste vad man skulle göra om, känns som robots.txt möjligen vore en lösning men som tidigare nämnts så tar det dygn innan en sådan slår igenom när en crawl tar dygn, google kollar historiskt 1 gång före varje omgång.

Vi snackar flera 100 imp's per sekund PER DOMÄN, en crawler som som beter sig normalt skall max ta 1- 2 i sekunden från samma IP för en IP kan ha 500 -> 1000 domäner ibland mer i vissa länder där IP's är bristvara.

Problemet med IPv4 xxx.xxx.xxx.xxx adresser är iofs inte så stort i USA, vissa universitet i USA har blivit tilldelade 3 gånger fler IPadresser än hela Asien och det talar väl sitt tydliga språk, det är därför man kan få 5 - 10
IPadresser inkuderat i en $99 server i USA samtidigt som svenska webbhotell hostar upp mot 1000 icke prestandakrävande siter på samma IP.

IPv6 skall bli lösningen.

Thomas

Antagligen någon med ett program som Teleport Pro som uppenbarligen gillade dina bakgrunder!


Fixade åäö