Citat:
Originally posted by grazzy@Nov 4 2004, 22:54
Varför inte bara fixa problemet genom att tex koda en egen cachning av gamla sidor som gör att du kan leverera statiskt material?
|
Om man redan gjort detta för länge sedan, vad gör man då, inget håller för flera 100 imp's per sekund och domän om man har några domäner på servern.
Om man bara visste vad man skulle göra om, känns som robots.txt möjligen vore en lösning men som tidigare nämnts så tar det dygn innan en sådan slår igenom när en crawl tar dygn, google kollar historiskt 1 gång före varje omgång.
Vi snackar flera 100 imp's per sekund PER DOMÄN, en crawler som som beter sig normalt skall max ta 1- 2 i sekunden från samma IP för en IP kan ha 500 -> 1000 domäner ibland mer i vissa länder där IP's är bristvara.
Problemet med IPv4 xxx.xxx.xxx.xxx adresser är iofs inte så stort i USA, vissa universitet i USA har blivit tilldelade 3 gånger fler IPadresser än hela Asien och det talar väl sitt tydliga språk, det är därför man kan få 5 - 10
IPadresser inkuderat i en $99 server i USA samtidigt som svenska webbhotell hostar upp mot 1000 icke prestandakrävande siter på samma IP.
IPv6 skall bli lösningen.
Thomas