Jag vill alltså inte ha med dom alls om jag fick som jag ville.

Det är nästan 1000 nya sidor per dag det handlar om som är förbrukade efter ett dygn.

Jag tror ingen blir glad av att jag pushar för att detta content skall bli indexerat till fullo. Tror jag det skulle skada varumärket.

Oj, är det så mycket som tusen nya sidor per dygn... maffigt Thomas!
Anyway... vill du inte att dessa ska bli indexerade så ska det ju egentligen räcka med t ex disallow i robots.txt. Om sidorna hann indexeras redan innan du började med disallow i robots.txt så kan det ta år innan de försvinner från sökmotorernas index. Du kan dock ta bort url:er manuellt genom t ex Remove URL, men detta gäller ju bara Google.
Ha ingen sajtkarta eller liknande någonstans i filstrukturen och kör disallow på det som behövs i robots.txt, sökmotorerna ska följa detta (iaf de erkända, kanske inte små hemmabyggen). Har faktiskt inte varit med om att sökmotorerna skiter i vad som står i robots.txt, så det hela verkar märkligt och jag förstår om du är irriterad.