Mastering Wget a učenie sa niektorých úhľadných trikov pri sťahovaní

Niekedy nestačí len lokálne uložiť webovú stránku z prehliadača. Niekedy potrebujete trochu viac energie. Na tento účel existuje elegantný malý nástroj príkazového riadka známy ako Wget. Wget je jednoduchý program, ktorý dokáže sťahovať súbory z internetu. O Wgetovi už možno viete veľa, ale po prečítaní tohto článku budete pripravení ju použiť na najrôznejšie triky.

Wget je k dispozícii na natívne použitie v príkazovom riadku systému UNIX a Windows, ale je to možné nainštalujte wget na Mac OS X Ako získať Wget pre MacMac sú skvelé, so svojim elegantným používateľským rozhraním a operačným systémom Unix. Niekedy máte pocit, že s nimi môžete robiť čokoľvek. Až jedného dňa sa snažíte urobiť niečo jednoduché a vy ... Čítaj viac s trochou coaxingu. Akonáhle budete vedieť, o čom všetkom môžete Wget použiť, je prenosný do každého OS, ktorý používate - a to je užitočné. Ešte lepšie je, že wget možno použiť v dávkových súboroch a úlohách cron. To je miesto, kde začíname vidieť skutočnú moc za wget.

Basic Wget

Základné použitie je adresa URL wget.

 wget //www.makeuseof.com/

Najjednoduchšie možnosti, ktoré väčšina ľudí potrebuje poznať, sú pozadie (wget -b), pokračovať v čiastočnom sťahovaní (wget -c), počet pokusov (wget –tries = NUMBER) a samozrejme pomoc (wget -h), aby ste si pripomenuli všetky možnosti.

wget -b -c --tries = NUMBER URL

Stredne pokročilé možnosti Wget

Wget môže bežať aj na pozadí (wget -b), obmedzte rýchlosť sťahovania (wget –limit-rate = SPEED), žiadny rodič, aby ste sa uistili, že si stiahnete iba podadresár (wget -np), aktualizujte iba zmenené súbory (Wget -N), zrkadlenie stránok (wget-m), uistite sa, že nie sú vytvorené žiadne nové adresáre (wget - a), akceptovať iba určité rozšírenia (wget –accept = LIST) a nastavte čakaciu dobu (wget - počkajte = SECONDS).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST - wait = SECONDS URL

Stiahnite si s Wget rekurzívne

Môžete si ich rekurzívne stiahnuť (wget -r), pokrývajú hostiteľa v iných doménach (wget -H), prevádzať odkazy na lokálne verzie (wget –convert-links) a nastavte úroveň rekurzií (wget –level = NUMBER pomocou inf alebo 0 pre nekonečné).

Niektoré weby vám však nechcú dovoliť rekurzívne sťahovanie a pri pokuse o zablokovanie robotov skontrolujú, ktorý prehliadač používate. Aby ste to obišli, vyhláste agenta používateľa, ako je Mozilla (wget –user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = AGENT URL

Heslo chránené heslom

Pri použití wgetu je možné deklarovať užívateľské meno a heslo pre konkrétnu URL.wget –http-user = USER –http-password = PASS). Toto sa neodporúča na zdieľaných počítačoch, pretože ktokoľvek, kto sleduje procesy, bude mať možnosť vidieť heslo v čistom texte.

wget --http-user = USER --http-password = PASS URL

Príkladom toho v akcii je pomocou wget zálohovať svoje úlohy z Pamätajte na mlieko Najlepšie zálohovacie tipy pre úlohy RememberTheMilkPre mnohých z nás, ktorí pracujú v cloude, sme sa dosť ťažko spoliehali na naše obľúbené služby. Niekedy ich tiež milujeme a dôverujeme im, možno trochu viac, ako by sme občas mali, ... Čítaj viac .

Hromadné sťahovanie Wget

Najskôr pomocou wgetu vytvorte textový súbor so všetkými adresami URL, ktoré chcete stiahnuť, a potom ho zavolajte wget_downloads.txt. Ak chcete hromadne stiahnuť adresy URL, zadajte tento príkaz:

wget -i wget_downloads.txt

Použitie v pohode na účel

Týmto sa prehľadá webová lokalita a vygeneruje sa súbor denníka so všetkými prerušenými odkazmi:

wget --spider -o wget.log -e roboty = vypnuté - počkajte 1-r -p http://www.mysite.com/

Týmto sa získa textový súbor z vašich obľúbených hudobných blogov a stiahnu sa všetky nové súbory MP3:

wget -r --level = 1 -H - timeout = 1 -nd -N -np --accept = mp3 -e roboty = off -i musicblogs.txt

Na čo ešte používaš wget?

Obrázok Kredit: Pripojenie sociálnych médií prostredníctvom ShutterStock, Mladý muž pozerá televíziu cez Shutterstock, Globe cez Shutterstock