En el siguiente artículo vamos a echar un vistazo a Wget. Hay que decir que GNU Wget es una herramienta libre que permite la descarga de contenidos desde servidores web de una forma simple y rápida. Su nombre deriva de World Wide Web (w) y de la palabra obtener (en inglés get). Este nombre viene a querer decir: obtener desde la WWW.

Hoy en día existen decenas de aplicaciones para descargar archivos de manera muy eficiente. La mayoría de ellas se basan en interfaces Web y de escritorio, y están desarrolladas para todos los sistemas operativos. Sin embargo en Gnu/Linux (también hay versión para Windows) existe el poderoso gestor de descargas de archivos wget. Esta considerado como el downloader más potente que existe. Soporta protocolos como http, https y ftp.

Descargar archivos con wget

Descarga de un archivo

La manera más simple de utilizar esta herramienta, es realizar la descarga indicando el archivo que queremos:

wget http://sitioweb.com/programa.tar.gz

Descargar utilizando diferentes protocolos

Como buen gestor de descargas, es posible solicitar más de una descarga a la vez. Incluso podremos utilizar distintos protocolos en la misma orden:

wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg

Descargar por extensión

Otra manera de descargar varios archivos que utilicen la misma extensión, será utilizando el comodín asterisco:

wget http://sitioweb.com/*.pdf

Descargar un listado de archivos

Si lo que queremos es descargar los archivos que nos vamos encontrando, solo tendremos que guardar sus URL en un archivo. Crearemos una lista llamada archivos.txt e indicaremos el nombre de la lista al comando. Es necesario colocar solo una URL por línea dentro de archivos.txt.

El comando que utilizaremos para descargar el listado creado y que guardamos en archivos.txt será el siguiente:

wget -i archivos.txt

Reiniciar una descarga

Si por el motivo que sea la descarga se interrumpió, vamos a poder continuar la descarga desde donde se haya quedado utilizando la opción c con el comando wget:

wget -i -c archivos.txt

Añade un log sobre la descarga

Si queremos obtener un log sobre la descarga, para poder controlar cualquier incidencia sobre la misma, tendremos que añadir la opción -o como se muestra a continuación:

wget -o reporte.txt http://ejemplo.com/programa.tar.gz

Limitar el ancho de banda de la descarga

En descargas muy largas podremos limitar el ancho de banda de la descarga. Con esto evitaremos que la descarga se lleve todo el ancho de banda mientras dure la descarga:

wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso

Descargar con usuario y contraseña

Si queremos realizar una descarga desde un sitio donde se requiere de usuario/contraseña, solo tendremos que utilizar estas opciones:

wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3

Intentos de descarga

Por defecto, este programa realiza 20 intentos de establecer la conexión e iniciar la descarga, en sitios muy saturados es posible que ni con 20 intentos se logré. Con la opción t aumenta a más intentos.

wget -t 50 http://ejemplo.com/pelicula.mpg

Descargar una web con wget

Ayuda man de Wget

Wget no está limitado a solo descargas de archivos.Vamos a poder descargar una página completa. Solo tendremos que escribir algo como:

wget www.ejemplo.com

Descarga una web y sus elementos extra

Con la opción p descargaremos además todos los elementos extras necesarios de la página como hojas de estilos, imágenes en línea, etc.

Si añadimos la opción r se descargará de manera recursiva hasta 5 niveles del sitio:

wget -r www.ejemplo.com -o reporte.log

Convierte los enlaces a locales

Por defecto, los enlaces dentro del sitio apuntan a la dirección del dominio completo. Si descargamos el sitio de manera recursiva para después estudiarlo fuera de línea, podremos utilizar la opción convert-links que los convertirá en enlaces locales:

wget --convert-links -r http://www.sitio.com/

Obtén una copia completa del sitio

Vamos a tener la posibilidad de obtener una copia completa de un sitio. La opción –mirror es igual a utilizar las opciones -r -l inf -N que indica recursividad a nivel infinito y obteniendo la marca de tiempo original de cada archivo descargado.

wget --mirror http://www.sitio.com/

Transforma las extensiones

Si descargas el sitio completo para verlo fuera de línea es posible que varios archivos descargados no se abran, debido a extensiones como .cgi, .asp o .php. Entonces es posible indicar con la opción –html-extension que se conviertan todos los archivos a una extensión .html.

wget --mirror --convert-links --html-extension http://www.ejemplo.com

Estas son solo unas pautas generales de lo que se puede hacer con Wget. Quién quiera podrá consultar el manual online para consultar todas las posibilidades que nos ofrece este maravilloso gestor de descargas.

El artículo Wget, algunos ejemplos de lo que se puede hacer con esta herramienta ha sido originalmente publicado en Ubunlog.