Edit: wget hade inga riktigt bra flaggor för att göra detta per default, men jag gör något liknande i två körningar för att spara ner Metros PDF-tidning:
wget -a log -nv -nc -nd --user-agent="" -O -
http://www.metro.se/se/pdf/ | grep -o "[^\"]*SE\(RIK\|STO\|TEK\)[^\"]*\.pdf" >> urls
följt av:
wget -a log -nv -nH --cut-dirs=3 -nc -w 400 --random-wait -P ~/public_html/metro/archive/ --user-agent="" -x -A pdf -B
http://www.metro.se/se/pdf/ -i urls