Sökmotorer -> Minska belastning på webbplatsen

Firepower · 2005-09-15, 13:14

Till att börja med så vet jag att detta hamnar i fel kategori, men jag tyckte att det ändå hamnade på rätt plats..... Flytta det gärna om ni tycker att det är helt galet.

Jo, på en webbplats som jag är med och driver så ligger det väldigt ofta minst en robot och scannar av sidorna. Ofta är det två eller tre stycken som gör det, så till den grad att drygt 25procent av träffarna består av bots. Statistiken till idag ser ut så här: MSIE 63.75% 26511, Bot 26.78% 11175, Firefox 8.34% 3467 + lite annat obetydligt.

Jag har lagt in en delay men det verkar inte göra någon skillnad. Inktomi/Yahoo! verkar nästan ha blivit sambo med webbplatsen, eftersom den hela tiden syns som besökare.

Frågan är: Hur jag får robotarna att låta webbplatsen får lite lagom med lugn och ro?

grazzy · 2005-09-15, 13:23

Vad är det för webbplats? Är det mycket dynamiskt innehåll som ändras ofta?
Spelar det någon egentlig roll? Går resten av sidan långsamt pga överbelastning?

Att lägga in en delay är nog ingen bra ide då det kan tolkas som att din sida är seg av sökmotorerna.

Jim_Westergren · 2005-09-15, 13:41

Vild gissning.

Kanske fäljande hjälper dig:

<meta name="revisit-after" content="5 days">

Det borde väl få dem att inte komma mer än var femte dag, eller?

grazzy · 2005-09-15, 13:42

revisit-after-taggen finns inte på riktigt..

Jim_Westergren · 2005-09-15, 14:06

Citat:

Originally posted by grazzy@Sep 15 2005, 13:42
revisit-after-taggen finns inte på riktigt..

Aha, trodde nästan det. Aldrig använt den själv. Såg den på Internetworlds "SEO skola" ...

Ove · 2005-09-15, 14:09

Gör en fil som heter robots.txt lägg den i roten klistra in detta innehåll i den får du mindre av spindlar som inte gör någon större nytta.

Kod:

User-agent: http://www.almaden.ibm.com/cs/crawler
Disallow: /

User-agent: NPBot
Disallow: /

User-agent: TurnitinBot
Disallow: /      #Will disallow all urls on your site

# Bad Bots
User-agent: EmailCollector
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Black Hole
Disallow: /

User-agent: Titan
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Wget
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: TightTwatBot
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Cegbfeieh
Disallow: /

grazzy · 2005-09-15, 14:21

Den där listan är rätt så värdelös. Ingen av de bottarna besöker någon av mina webbplatser särskilt frekvent. Google, Yahoo, MSN, övrigt står för 50% 30% 10% 10% respektive. Så är det säkerligen överlag också.

Dessutom så är wget inkluderad, wget är ett helt legitimt verktyg för att ladda hem filer tex.

Ove · 2005-09-15, 14:24

Det är väl skräpet man vill ha bort och inte det som göder en ?
Och vill man ha bort sökmotorerna är det bara att lägga till dom också

grazzy · 2005-09-15, 14:35

Han vill minska frekvensen de återkommer med, inte ha bort dem.

eldsjäl · 2005-09-15, 21:03

tyvärr finns inga enkla svar på den här frågan då det inte finns något i robots.txt standardens regler som stödjer att minska antalet hits från sökmotorerna. För Yahoo! kan du dock lägga in följande:

User-agent: Slurp
Crawl-delay: 10

för 10 sekunders återbesöksintervall.

Se: http://help.yahoo.com/help/us/ysearc.../slurp-03.html för mer info.

Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)

Menu

Sökmotorer -> Minska belastning på webbplatsen