[ric]

*Offtopic

Precis. En sajtägare kan se till att Google inte indexerar deras sida. Sedan kan de säga till Google att de ska betala för att få indexera sidan. Stor chans att de kommer att göra det.

Att folk låter sina webbtjänster bli indexerade av Google beror till största del på att de själva tjänar på det och då gör det inget om Google även gör det.
Tänk på den bandbredd sökspindlarna ibland drar. Låt säga att du får in en ny sökmotorspindel på din webbsida som indexerar sidorna flera gånger om dagen men ingen använder den sökmotorn. Skulle du tillåta den att fortsätta dra bandbredd om du märkte av det på räkningarna trots att du aldrig får trafik från den bara för att informationen skulle få vara fri?