• Wget, algunos ejemplos de lo que se puede hacer con esta herramienta

    por  • 16 enero, 2018 • Ubunlog • 0 Comentarios

    About wget
    En el siguiente artículo vamos a echar un vistazo a Wget. Hay que decir que GNU Wget es una herramienta libre que permite la descarga de contenidos desde servidores web de una forma simple y rápida. Su nombre deriva de World Wide Web (w) y de la palabra obtener (en inglés get). Este nombre viene a querer decir: obtener desde la WWW.

    Hoy en día existen decenas de aplicaciones para descargar archivos de manera muy eficiente. La mayoría de ellas se basan en interfaces Web y de escritorio, y están desarrolladas para todos los sistemas operativos. Sin embargo en Gnu/Linux (también hay versión para Windows) existe el poderoso gestor de descargas de archivos wget. Esta considerado como el downloader más potente que existe. Soporta protocolos como http, https y ftp.

    Descargar archivos con wget

    Descarga de un archivo

    La manera más simple de utilizar esta herramienta, es realizar la descarga indicando el archivo que queremos:

    wget http://sitioweb.com/programa.tar.gz

    Descargar utilizando diferentes protocolos

    Como buen gestor de descargas, es posible solicitar más de una descarga a la vez. Incluso podremos utilizar distintos protocolos en la misma orden:

    wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg

    Descargar por extensión

    Otra manera de descargar varios archivos que utilicen la misma extensión, será utilizando el comodín asterisco:

    wget http://sitioweb.com/*.pdf

    Descargar un listado de archivos

    Si lo que queremos es descargar los archivos que nos vamos encontrando, solo tendremos que guardar sus URL en un archivo. Crearemos una lista llamada archivos.txt e indicaremos el nombre de la lista al comando. Es necesario colocar solo una URL por línea dentro de archivos.txt.

    El comando que utilizaremos para descargar el listado creado y que guardamos en archivos.txt será el siguiente:

    wget -i archivos.txt

    Reiniciar una descarga

    Si por el motivo que sea la descarga se interrumpió, vamos a poder continuar la descarga desde donde se haya quedado utilizando la opción c con el comando wget:

    wget -i -c archivos.txt

    Añade un log sobre la descarga

    Si queremos obtener un log sobre la descarga, para poder controlar cualquier incidencia sobre la misma, tendremos que añadir la opción -o como se muestra a continuación:

    wget -o reporte.txt http://ejemplo.com/programa.tar.gz

    Limitar el ancho de banda de la descarga

    En descargas muy largas podremos limitar el ancho de banda de la descarga. Con esto evitaremos que la descarga se lleve todo el ancho de banda mientras dure la descarga:

    wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso

    Descargar con usuario y contraseña

    Si queremos realizar una descarga desde un sitio donde se requiere de usuario/contraseña, solo tendremos que utilizar estas opciones:

    wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3

    Intentos de descarga

    Por defecto, este programa realiza 20 intentos de establecer la conexión e iniciar la descarga, en sitios muy saturados es posible que ni con 20 intentos se logré. Con la opción t aumenta a más intentos.

    wget -t 50 http://ejemplo.com/pelicula.mpg

    Descargar una web con wget

    Ayuda man de Wget

    Ayuda man de Wget

    Wget no está limitado a solo descargas de archivos.Vamos a poder descargar una página completa. Solo tendremos que escribir algo como:

    wget www.ejemplo.com

    Descarga una web y sus elementos extra

    Con la opción p descargaremos además todos los elementos extras necesarios de la página como hojas de estilos, imágenes en línea, etc.

    Si añadimos la opción r se descargará de manera recursiva hasta 5 niveles del sitio:

    wget -r www.ejemplo.com -o reporte.log

    Convierte los enlaces a locales

    Por defecto, los enlaces dentro del sitio apuntan a la dirección del dominio completo. Si descargamos el sitio de manera recursiva para después estudiarlo fuera de línea, podremos utilizar la opción convert-links que los convertirá en enlaces locales:

    wget --convert-links -r http://www.sitio.com/

    Obtén una copia completa del sitio

    Vamos a tener la posibilidad de obtener una copia completa de un sitio. La opción –mirror es igual a utilizar las opciones -r -l inf -N que indica recursividad a nivel infinito y obteniendo la marca de tiempo original de cada archivo descargado.

    wget --mirror http://www.sitio.com/

    Transforma las extensiones

    Si descargas el sitio completo para verlo fuera de línea es posible que varios archivos descargados no se abran, debido a extensiones como .cgi, .asp o .php. Entonces es posible indicar con la opción –html-extension que se conviertan todos los archivos a una extensión .html.

    wget --mirror --convert-links --html-extension http://www.ejemplo.com

    Estas son solo unas pautas generales de lo que se puede hacer con Wget. Quién quiera podrá consultar el manual online para consultar todas las posibilidades que nos ofrece este maravilloso gestor de descargas.

    El artículo Wget, algunos ejemplos de lo que se puede hacer con esta herramienta ha sido originalmente publicado en Ubunlog.

    Artículo original: Wget, algunos ejemplos de lo que se puede hacer con esta herramienta

    Deja un comentario

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *