Går det att få sökmotorer att indexera lösenordsskyddade delar av en site?

Hur gör man om man vill implementera google search på en site som är lösenordsskyddad?

Jag vet, sök!!! för bövelen tänker flera nu. Har gjort och hittar inget vettigt ;)

Rent tekniskt borde man väl kunna kolla user-agent och är det en sökmotorspindel kommer man i något readonly läge?

Jepp, du kloakar. i.e. om en sökmotor besöker siten så ger du den ett konto som automatiskt loggas in.

Hur gör man det?

Du kollar vem besökaren är, botarna identifierar sej t.ex. som Googlebot och om det är en bot så släpper du in dem helt enkelt. Vad är det för site?

fast alla tuffa killar som vet hur man ändrar user agent kan ju också komma in.

En annan lösning är väl att gräva fram ip-adresserna för googlespindlarna och släppa in endast dessa.

Precis som WN !

Nån som vet hur man gör detta så som på Wn i phpbb? Lägg ut det gärna, tror det är fler som kan vara intresseradde av det!

Undrar jag med!

Jo men dessa konton hade ju bara fått read-only tillgång.

Skulle också behöva veta. :)

Well, det är egentligen bara att läsa av AGENT genom t ex $_SERVER (PHP) variablarna och ta reda på vad det är för besökare. Är det då en sökmotor så ger ni dom bara tillgång till siten, t ex sätter en session på dem som innebär att de är inloggade på ett konto och därmed kan de "spidra" sidan.
Men men, allt beror ju på hur man byggt upp siten, är det då som jag sa SESSION-baserat så är det ju bara
att skapa, t ex:
$_SESSION[SESSION]['uid'] = 1; // Guest account with read-only.

Lycka till.

Cloaking är väl att man inte serverar samma sidor till sökmotorn som man skickar ut till vanligt folk. Man matar spindlarna med mängder av anpassade sökord och -termer. Det har väl inget att göra med att släppa in en bot? Eller missförstår jag helt?

Dessutom: Om det handlar om "äkta" cloaking, dvs att ge olika sidor, så kan man räkna med att motorerna sparkar ut en direkt om dom kommer på det....

Jag har funderat lite kring det här med cloaking och att släppa in bottar i forum och hur google kontrollerar det.

Det jag talar om är att om googlebot ibland gör dubbla besök - varav det ena inte är identifierat som googlebot. Jag vet inte om google jobbar så heller inte, men det går rykten om det. Om nu innehållet visar sig ha väsentliga skillnader, som t.ex. den ena får en forumstråd på varenda reqest och den andra får "du måste logga in" så kanske man kan bli bestraffad.

Även om syftet här är helt rent och ärligt så är det ju ändå i mina ögon ett smärre "fusk" som i mina ögon borde kunna bli bestraffat (framförallt om det hela sköts med automatik).

Så jag undrar då naturligtvis - ska man vara försiktig med automatisk inloggning för sökrobotar på sidor med medlemskrav?

Är det bara jag som blir oerhört irriterad när man får upp sökresultat via tex. google där det kräver att man blir medlem på sidan för att kunna komma åt innehållet?

nä, det suger faktiskt rätt rejält.

Jag tror inte det finns några risker just nu men det betyder ju inte att det inte kommer att dyka upp långsiktigt.

Håller helt med. Tycker det är rent ut sagt jävligt dålig stil.

Det är dock lite ok om de tillåter google att cacha sidan.

Google kör med (bl.a.) två typer av bots, båda med namnet googlebot. Den första kommer nästan dagligen och kollar av om det finns nytt innehåll, nya länkar osv. Finns det, så ropar han på storebrorsan som kör sin runda 1-2 ggr/vecka. Storebrorsan har en större väska med sig och tar med all ny data från sajten till Googles källare där den lagras.

Man kan se skillnaden i brorsornas framfart ganska lätt. Båda två blir registrerade i sajtens besöksstatistik. Men det är bara storebrorsans besök som räknas av Google själv på deras "Webmaster Tools" (http://www.google.com/webmasters/).

Om man har ett konto där så står det när "googlebot" gjorde sitt senaste besök på sajten. Det kan ha varit 4-5 dagar sen. Men i sajtens egen statistik står det kanske att boten hälsade på för en dag sedan. Det beror alltså på att Google räknar storebrorsan, medan sajten räknar båda två.

----

Ja, risken är att Google märker diskrepansen och att du blir blockad av dom. jag vet inte hur stor den är, men skulle själv inte ens drömma om att göra det. Det beror väl lite på vilken typ av sajt det handlar om, men om den är beroende av sökmotorer (t.ex. en butik) så innebär en utfrysning en katastrof.