Undrar lite över hurvida sökmotorer reagerar om jag vill stoppa dem söka igenom vissa mappar.

Jag har sidan index.php där igentligen allting körs... andra sidor hämtas genom get, alltså så ser en typisk länk ut så här

index.php?kontakta

Sen kontrollerar jag alla get som kommer till index och inkluderar rätt fil.. Dessa filer ligger i andra mappar och det är dem jag vill skydda från sökmotorerna att hitta.. men iom att det ligger robot.txt filer i dessa mappar som ska stoppa spindlar söka igenom dem, kommer spindlar fortfarande följa länken och hämta filen och dess innehåll? Eller kommer dom ignorera länken?

Jag vill ju att spindlar ska hitta allting, men filerna i sig självt är oanvändbara om dem inte körs via index.php... alltså om dem körs separat direkt i webbläsaren får man felmeddelande.

Sökmotorn förstår ju inte vad ditt script på index.php gör. Alltså den har ingen aning om du hämtar informationen ifrån en annan fil eller om den ligger i index.php, men jag funderar över poängen med att anstränga sig för att sökmotorn inte ska hitta de andra filerna. Om de ändå inte är intressanta kommer de ju inte indexeras?

Du kan ju returnera en 404 eller annan kul felkod om de anropas fel - ingen vettig sökrobot är intresserad av att indexera felsidor.

om en sökmotor efterfrågar index.php?kontakta kommer servern att först köra skriptet och skicka htmloutputen till sökmotorn.. det är därför php är server-side.

sedan kan jag ju tillägga att google skiter i om det ligger en robots.txt i undermappen.
den måste ligga under dindomän.se/robots.txt
sedan är det bara att skriva så här i den:

User-Agent: *
Disallow: /includes/

bara ett litet exempel...=)