Hur skall du avgöra vilka sidor som är viktiga då? Utan att ladda hem alla sidor dvs?
20 gb kommer du inte särskilt långt med :-)
En sida kanske är 5kb stor, då kan du ladda hem 4 miljoner sidor i veckan, google har fyra miljarder sidor i sitt index...
Testa 20,000 gb