[Spindel]

Har sett att WN har gjort konton för varje sökrobot, Google osv. Frågan är, hur fixar man något sådant? Google och MSN gör att Online-räknaren på SWEgamers får lite fnatt och det hade varit betydligt rättvisare om den bara räknade en Googlebot och inte 20 olika googlebotar...

[Johan H]

Originally posted by Spindel@Mar 7 2005, 22:27
Har sett att WN har gjort konton för varje sökrobot, Google osv. Frågan är, hur fixar man något sådant? Google och MSN gör att Online-räknaren på SWEgamers får lite fnatt och det hade varit betydligt rättvisare om den bara räknade en Googlebot och inte 20 olika googlebotar...

Nu är jag ingen programmerare, men jag antar att man gör så att när t.ex. *.google.com besöker sidan
så loggas automatiskt googlespindeln på googlebot.

[grazzy]

Man får troligen göra en kombination av googles ipranges och useragent. (Useragent räcker troligen inte iom att isof kan folk enkelt låtsas vara Googlebot).

[Thomas]

Dessa borde duga som robotar.

$Agent1 = "Googlebot/2.1 (+http://www.google.com/bot.html)";
$Agent2 = "Googlebot/2.1 (+http://www.googlebot.com/bot.html)";
$Agent3 = "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)";
$Agent4 = "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)";
$Agent5 = "msnbot/1.0 (+http://search.msn.com/msnbot.htm)";

Och googles media-bot om du kör adsense.

Mediapartners-google/2.1 (+http://www.googlebot.com/bot.html)

Utöver det så en robots.txt i stil med denna.

Thomas

[TonyL]

Hej

Har denna tråd aktuell data i sig?

Jag tänkte analysera när robotarna är inne på mina diverse sidor, så att jag kan stimulera dem mer.

Är detta php kod som är bra i dagens läge? Tråden är ju 5 år gammal.
Dvs jag vill att så fort en av nämnda robotar går in på en sida, vill jag räkna upp i en db-tabell, och även se vilka sidor som inte fick besök, osv.

Så ovannämnda tips för 5 år sedan, ska det uppdateras, och vad hamnar i variabeln
$agent1 osv.

Tack

/ Tony

[emilv]

Jag rekommenderar att du tar en titt på get_browser i PHP för att identifiera sökrobotar. Då räcker det med en uppdaterad browscap-fil på din server för att du ska få aktuell kod.