Oj, är det så mycket som tusen nya sidor per dygn... maffigt Thomas!
Anyway... vill du inte att dessa ska bli indexerade så ska det ju egentligen räcka med t ex disallow i robots.txt. Om sidorna hann indexeras redan innan du började med disallow i robots.txt så kan det ta år innan de försvinner från sökmotorernas index. Du kan dock ta bort url:er manuellt genom t ex
Remove URL, men detta gäller ju bara Google.
Ha ingen sajtkarta eller liknande någonstans i filstrukturen och kör disallow på det som behövs i robots.txt, sökmotorerna ska följa detta (iaf de erkända, kanske inte små hemmabyggen). Har faktiskt inte varit med om att sökmotorerna skiter i vad som står i robots.txt, så det hela verkar märkligt och jag förstår om du är irriterad.