Perfekt! Tack för hjälpen.
Citat:
Originally posted by andste@Apr 2 2009, 10:48
Raderna du har i din robots.txt betyder:
Tillåt att vilken version som helst av roboten Mediapartners-Google (Mediapartners-Google=AdSense) att besöka hela din webbsite.
Detta bör alltså inte ha någon som helst betydelse för hur din webbsite indexeras av Googlebot eller någon annan indexerande bot för den delen.
robots.txt används uteslutande för att tala om för robotar vad dom inte får indexera så hade jag varit som dig så hade jag nog plockat bort din robots.txt helt och hållet om den bara innehåller dom där raderna.
Om du däremot inte hade velat ha besök från Mediapartners-Google botten så hade du kunnat skriva:
User-agent: Mediapartners-Google*
disallow: /
Då hade inte botten Mediapartners-Google crawlat din site överhuvudtaget.
|