[emilv]

Edit: wget hade inga riktigt bra flaggor för att göra detta per default, men jag gör något liknande i två körningar för att spara ner Metros PDF-tidning:

wget -a log -nv -nc -nd --user-agent="" -O - http://www.metro.se/se/pdf/ | grep -o "[^\"]*SE\(RIK\|STO\|TEK\)[^\"]*\.pdf" >> urls

följt av:

wget -a log -nv -nH --cut-dirs=3 -nc -w 400 --random-wait -P ~/public_html/metro/archive/ --user-agent="" -x -A pdf -B http://www.metro.se/se/pdf/ -i urls