|
|
@@ -207,7 +207,6 @@ def fetch_wget(link_dir, link, requisites=FETCH_WGET_REQUISITES, warc=FETCH_WARC
|
|
|
'wget',
|
|
|
# '--server-response', # print headers for better error parsing
|
|
|
'--no-verbose',
|
|
|
- '--timestamping',
|
|
|
'--adjust-extension',
|
|
|
'--convert-links',
|
|
|
'--force-directories',
|
|
|
@@ -215,7 +214,8 @@ def fetch_wget(link_dir, link, requisites=FETCH_WGET_REQUISITES, warc=FETCH_WARC
|
|
|
'--span-hosts',
|
|
|
'--no-parent',
|
|
|
'--restrict-file-names=unix',
|
|
|
- f'--timeout={timeout}',
|
|
|
+ '--timeout={}'.format(timeout),
|
|
|
+ *(() if warc else ('--timestamping',)),
|
|
|
*(('--warc-file={}'.format(warc_path),) if warc else ()),
|
|
|
*(('--page-requisites',) if FETCH_WGET_REQUISITES else ()),
|
|
|
*(('--user-agent="{}"'.format(WGET_USER_AGENT),) if WGET_USER_AGENT else ()),
|