Wget

De SeRoM - Wiki
Aller à : navigation, rechercher

Introduction

wget est un logiciel libre permet de télécharger un fichier depuis Internet. Il sait s'adapter à de très nombreux cas :

  • HTTP
  • HTTPS
  • FTP

Indiquer la destination du téléchargement

Avec l'option -O suivit du nom de fichier d'output

 wget http://dl.monsite.com/monarchive.tar -O /tmp/MaPetiteArchiveQuiVaBien.tar

Avec l'option -P suivit du dossier de destination

 wget http://dl.monsite.com/monarchive.tar -P /tmp/

Astuces

Télécharger les fichiers nom01.gif, nom02.gif, …, nom30.gif :

 for i in $(seq -w 30); do
   wget http://images.ucomics.com/comics/ga/1992/ga9209$i.gif;
 done

Télécharger le contenu d'un répertoire :

 wget -r -np http://www.haypocalc.com/wiki/images/

où « -np » indique "no parent" (ne remonte pas dans les répertoires parents), et « -r » demande la récursion.

Faire un miroir d'un site

   wget -m -e robots=off --user-agent 'qqchose' URL

Détails :

  • "-m" active le mode miroir
  • "-e robots=off" ignore le fichier robots.txt (à utiliser avec précaution, c'est normalement interdit)
  • "--user-agent 'qqchose'" : Cache l'identité de wget

Idées de projet

un aspirateur de site pourrait être facilement réalisé a l'aide d'un petit script utilisant wget