Vytvorte si vlastné „neurónové obrazy“ pomocou služieb DeepStyle a Ubuntu

Reklama

Neurónové siete dokážu robiť veľa vecí. Dokážu interpretovať obrázky, pochopiť naše hlasy 6 Funkcie služby Asistent Google, ktoré zmenia spôsob vyhľadávania Možno už používate Asistenta Google na svojom zariadení s Androidom, ale získavate z toho všetko, čo môžete? Poznanie týchto malých funkcií môže mať veľký význam. Čítaj viac a prekladať konverzácie Ako funguje Skype Star Trek TranslatorNová funkcia prekladu Skype ponúka niečo, o čom sa snívalo od Star Trek - jednoduchý spôsob komunikácie medzi jazykmi. Čítaj viac . Ale vedeli ste, že môžu maľovať?

Nedávny výskumný dokument (s názvom „Neurálny algoritmus umeleckého štýlu“) Odštartoval príval online diskusie s niekoľkými nápadnými vizuálnymi príkladmi. V podstate sa v článku diskutuje o technike školenia a hlboká neurónová sieť Microsoft vs Google - Kto vedie preteky umelých spravodajských informácií?Vedci v oblasti umelej inteligencie dosahujú hmatateľný pokrok a ľudia o AI znova vážne začínajú hovoriť. Dvaja titáni, ktorí vedú preteky umelej inteligencie, sú Google a Microsoft. Čítaj viac

oddeliť umelecký štýl od obrazovej štruktúry a skombinovať štýl jedného obrázka so štruktúrou druhého. Výsledkom toho je, že môžete trénovať obrovskú neurónovú sieť na premenu fotografií na „neurálnu“ obrazy, ktoré vyzerajú, akoby ich namalovali slávni umelci - „digitálne falzifikáty“ prehovoriť.

Tu je niekoľko príkladov z tohto článku. Prvý obrázok je originál. Neskoršie obrázky sú generované výsledky, pričom obraz, z ktorého bol štýl vzorkovaný, sa zobrazuje miniatúrne.

Bohužiaľ pôvodní vedci svoj kód neuviedli. Niektorí neohrození programátori však za posledných pár dní replikovali svoje výsledky a ich kód je k dispozícii, otvorený zdroj na internete. Všetko, čo potrebujete na spustenie, je linuxový stroj a trochu trpezlivosti.

Dnes vám ukážem, ako to urobiť, a ukážem vám niektoré z mojich vlastných výsledkov. Môžete si to predstaviť ako voľné pokračovanie našej Výukový program DeepDream Vytvorte si vlastné sny z umelej horúčky pomocou programu DeepDream od spoločnosti GoogleVideli ste obrázky Trippy vychádzajúce z DeepDream? Chcete si vytvoriť svoj vlastný? Nehľadaj ďalej! Čítaj viac . Je to trochu komplikované, ale ktokoľvek s počítačom so systémom Linux to môže sledovať spolu - nepotrebujete žiadne skúsenosti s kódovaním.

Premenil som svetelný obraz Picasso na obraz v štýle Picasso #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. septembra 2015

Nastavenie softvéru

Po prvé, ak nie ste vo veľkom zhone alebo nemáte počítač so systémom Linux, stále môžete hrať s DeepStyle pomocou DeepForger Twitter bot (pošlite mu obrázok a štýl a nakoniec odpovie na požadované výsledky). Ak chcete rýchlejšie spracovať viac obrázkov (a mať lepšiu kontrolu nad výsledkami), prečítajte si príručku.

Po prvé, uistite sa, že máte aktuálnu kópiu ubuntu (14.04 je to, čo som použil). Mali by ste mať aspoň niekoľko ďalších koncertov na pevnom disku. Viac informácií nájdete v našom návode na tému duálne bootovanie Ubuntu popri Windows Už vás nebaví Windows 8? Ako Dual Boot Windows a UbuntuAk zistíte, že systém Windows 8 nie je úplne váš šálka čaju a nemáte žiadnu reálnu cestu k downgrade, môže byť dobrý nápad duálne spustiť systém Linux, aby ste mali alternatívu ... Čítaj viac . Budete tiež potrebovať oprávnenia typu root, preto sa pred pokračovaním uistite, že ste tak urobili.

Základné nástroje

Napravo od netopiera je to projekt s otvoreným zdrojovým kódom, takže ho chceme mať Git nainštalovaný. Git je zlatý štandard pre softvér na správu verzií Čo je to Git a prečo by ste mali používať kontrolu verzií, ak ste vývojárAko weboví vývojári veľa času máme tendenciu pracovať na stránkach miestneho rozvoja a potom, keď skončíme, všetko jednoducho odovzdáme. To je v poriadku, keď ste to len vy a zmeny sú malé, ... Čítaj viac . Takmer každý projekt s otvoreným zdrojovým kódom, ktorý stojí za to poznať, je hostiteľom Githubu.

Ak chcete stiahnuť a nainštalovať Git, stačí otvoriť terminál a napísať „sudo apt-get install git“A súhlasia s požiadavkami inštalátora.

Ďalej: ideme nastaviť niektoré základné nástroje potrebné, aby softvér fungoval.

Najskôr nainštalujte Lua. Toto je jazyk, v ktorom je nástroj napísaný. Je to celkom jednoduché. Stačí napísať „sudo apt-get install lua5.2“A postupujte podľa inštalačného procesu.

Po druhé, dostaneme sa Luarocks. Toto je nástroj, ktorý uľahčuje inštaláciu ďalších nástrojov (nemilujete Linux?). Za týmto účelom napíšte „sudo apt-get install luarocks“A postupujte podľa krokov inštalácie.

Po tretie, chystáme sa nainštalovať Luajit. Toto je kompilátor just-in-time pre Luu, ktorý nám trochu zjednoduší život. Stačí napísať „sudo apt-get install luajit.”

Zatiaľ je všetko dobré.

Som robot, ktorý vytvára falzifikáty z vašich fotografií v štýle slávnych maliarov. Kliknutím zobrazíte pokyny nižšie! pic.twitter.com/3MpThDNwRE

- Deep Forger (@DeepForger) 5. septembra 2015

kostry

Ďalej budeme inštalovať Fakľa, rámec pre vedecké výpočty a strojové učenie, ktorý tvorí chrbtovú kosť aplikácie. Túto verziu bohužiaľ nie je možné nainštalovať pomocou apt-get (štandardného správcu balíkov Ubuntu).

Našťastie majú jednoinštalačný inštalátor, ktorý používa určitú mágiu príkazového riadku. Vráťte sa do svojho terminálu a zadajte „stočiť https://raw.githubusercontent.com/torch/ezinstall/master/install-all | tresnúť“.

Po dokončení zadajte text „luajit -ltorch“. Tým sa otvorí rozhranie horáka a overí sa, či bolo všetko nainštalované správne.

Vystúpte z toho.

Teraz sa chystáme nainštalovať loadcaffe - špecifický balík pre neurónovú sieť. Nainštalujte svoju jedinú závislosť zadaním „sudo apt-get install libprotobuf-dev protobuf-compiler“. Potom môžete nainštalovať samotný balík pomocou „sudo luarocks nainštalujte loadcaffe “.

@Johnicholas Vaše zlyhanie falšovania v štýle školy Rembrandta van Rijna. #Digitálne umenie#StyleNetpic.twitter.com/pf0sZxWkaT

- Deep Forger (@DeepForger) 7. september 2015

Dvojitá kontrola závislostí

Nakoniec budeme preventívne aktualizovať niektoré veci, aby sme sa uistili, že všetko prebieha hladko.

Typ “inštalácia obrazu sudo luarocks“, Aby ste sa uistili, že balík obrázkov je aktuálny. Ďalej zadajte „inštalácia luarocks nn“, Čo bude rovnaké pre váš balík„ nn “.

Inštalácia hlbokého štýlu

V poriadku! V tejto chvíli sme pripravení skutočne nainštalovať samotný softvér. Z dôvodu čistoty si vo svojom domovskom adresári vytvorte nový priečinok („mkdir DeepStyle“). Potom ho zadajte pomocou „cd Deepstyle“. Teraz napíšte „klon sudo git https://github.com/jcjohnson/neural-style.git".

Ďalej musíme model stiahnuť. Urobte si šálku kávy alebo tak niečo, bude to chvíľu trvať. Späť na terminál a zadajte „sudo sh models / download_models.sh“. Začne to dlhý a komplikovaný proces sťahovania. Ak to zlyhá z dôvodu chýb povolenia, skúste sami udeliť oprávnenie na čítanie a zápis do príslušných priečinkov pomocou chmod.

@ 44thats44oars poveril to #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- Deep Forger (@DeepForger) 6. september 2015

Použitie hlbokého štýlu

Dobre, je dobré ísť. Používanie softvéru je celkom jednoduché.

Uistite sa, že ste v Adresár DeepStyle / neural-style v termináli. Teraz budete potrebovať nejaké obrázky, na ktorých budete pracovať. Stiahnite si ich z internetu (alebo čokoľvek) a potom ich skopírujte do Priečinok DeepStyle / neural pomocou prehliadača súborov.

Teraz môžete pomocou príkazového riadku spracovať jednotlivé obrázky. Formát je celkom jednoduchý:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Je zrejmé, že budete musieť nahradiť kúsky v VŠETKÝCH CAPS názvoch svojich súborov).

Tým sa spustí neurónová sieť. Bude to trvať asi hodinu a každé pár minút rozdeľuje nové čiastočne konvergované obrázky, až kým sa neskončí. -gpu -1 flag zastaví pokus o prístup k vášmu GPU.

Po niekoľkých hodinách pokusu (a niekoľkonásobnom zdrhovaní operačného systému) som nebol schopný prinútiť Ubuntu a CUDA hrať pekne s mojím GPU (NVIDIA GTX 970). Ak s tým budete mať viac šťastia, budete chcieť nainštalovať CUDA a cudann.torch (pozri github repo Pre viac informácií). Ak nie, je to v poriadku - bude stále fungovať s využitím vášho procesora; bude to len trochu pomalšie.

Ak máte nejaké problémy so zabezpečením tohto všetkého, jednoducho sa ma opýtajte v komentároch a urobím maximum, aby som vám pomohol.

výsledok

Tu je niekoľko obrázkov, ktoré som vygeneroval za posledných pár dní. Výsledky sú zmiešané, ale mnohé z nich sú dosť pôsobivé.

Kliknite sem pre plné rozlíšenie.

Toto je môj priateľ Zack na turistickom výlete do Yellowstonu. Štýl pochádza z abstraktnej maľby, ktorú vytvoril Theresa Paden. Bol som zvedavý, ako by to systém urobil s použitím obrazu bez absolútnej štruktúry. Výsledky sú pekne upravené a určite môžete vidieť podobnosti so štýlovým obrázkom.

Kliknite sem pre plné rozlíšenie.

Tento prichádza s láskavým dovolením jedného z mojich obľúbených umelcov Charlesa Demutha (pozri: Kadidlo novej cirkvia Obrázok 5 v zlate). Zaujímavé je, že Demuth je jednou z primárnych vizuálnych inšpirácií pre umenie Tímová pevnosť 2 Team Fortress 2: Parná hra zadarmo, ktorú musíte hraťJe Team Fortress 2 iba rýchlou hrou na testovanie grafiky a výkonu, alebo sa oplatí hrať opakovane? Čítaj viac , ako môžete vidieť na obrázku štýlu.

Nakŕmil som mu obraz Jersey City, ktorý som našiel na Wikimedia. Výsledky sú... celkom dobré. Nevzťahovalo sa na uhly Demuthovho štýlu, ale určite zachytilo jemný, textúrovaný vzhľad a farebnú paletu.

Kliknite sem pre plné rozlíšenie.

Toto je pokus o vytvorenie syntetického O'Keeffe pomocou pomerne svetského obrázka niektorých kvetov, ktoré som našiel. Výsledky sú, úprimne povedané, veľkolepé. Z estetického hľadiska je to jeden z mojich obľúbených výsledkov. Bohatstvo farieb a tvarov O'Keeffe sa prejavuje jasne. Vrstvené okraje okvetných lístkov sa stávajú okrajmi listov v pozadí. Samé kvety sa rozpúšťajú do farieb a stávajú sa takmer abstraktnými.

Bol by to dobrý obraz, keby to urobil človek. Som veľmi v pokušení stráviť pár dní vykreslovaním verzie tejto verzie s vyšším rozlíšením a mať ju zarámovanú.

Kliknite sem pre plné rozlíšenie.

Tu je moja priateľka Shannon vo svojom kostýme Halloween, pomocou tlače Picasso. Je zaujímavé, že zariadenie sa rozhodlo maľovať spodnú časť svojej tváre na bielo (podobne ako farebné rozloženie dielu Picasso). Nie som si istý, či to bola náhoda alebo nie, ale výsledky sú zarážajúce. Zdá sa tiež, že správne identifikoval Shannonove vlasy na ľavej strane a znova ich natiahol pomocou farby a línie z vlasov na obrázku v štýle. Ditto pre jej klobúk.

Toto je jedna z častí, kde sa začínajú objasňovať obmedzenia techniky. Keby Picasso vlastne maľoval Shannona, vyhodil by jej štruktúru tváre a skreslil črty, aby dosiahol požadovaný účinok. Tento systém nerozumie týmto druhom konceptov na vysokej úrovni a dokáže napodobňovať iba povrchové aspekty štýlu, ako sú tmavé, uhlové čiary a farebná paleta.

Kliknite sem pre plné rozlíšenie.

Pomerne jednoduché: fotografia Eiffelovej veže a Van Gogha ostatné Hviezdna noc. Robí dobrú prácu tým, že vykresľuje oblak v štýle Van Gogh-ey, napriek tomu, že v pôvodnom obrázku neboli žiadne oblaky. Tiež to robí dobrú prácu pri preklade scény zo dňa na noc.

Nebol som si istý, prečo sa rozhodol urobiť špičku Fiffelovej veže ako stĺp ohňa. Vyzerá to dobre, ale zo vstupných údajov to nie je naozaj opodstatnené. Potom som si uvedomil, že obraz štýlu obsahuje trinásť dlhých vertikálnych žltých prúžkov vo forme odrazov vo vode. Je to dosť masívny klaster, keďže je k dispozícii tak málo údajov o školeniach. Zlá vec sa pravdepodobne dozvedela, že akákoľvek vertikálna hrana s vysokým kontrastom musí byť jedným z týchto odrazov. V oblakoch môžete slabo vidieť ďalšie zvislé pruhy.

Kliknite sem pre plné rozlíšenie.

Rovnaký obraz Van Gogha, ale tentokrát som jej dal nejaké skutočné hviezdy na maľovanie. V tomto prípade je časťou stĺpikov hmloviny Orol. Výsledky sa mi páčia - aj keď opäť môžete vidieť jej posadnutosť žltými pruhmi. Každá zvislá časť stĺpu sa stáva svetlou, zvlnenou žltou čiarou. Je to tiež jasne naštvané zelenou farbou, ktorá sa nenašla v údajoch o školení, a snaží sa ju zbaviť v prospech modrej a čiernej.

technológie

Niektoré výsledky sú mimoriadne presvedčivé, hoci táto technika má jasné obmedzenia. Niektoré obrázky majú mizernú kompozíciu a systém má problémy s abstraktnejšími umelcami, ako je Picasso - ktorí skvele radi skresľovali jeho predmet a rozptyľovali jeho vlastnosti. Algoritmus zachytáva jeho uhlové čiary a zhodné farby, ale stále je otrokom pixelových hodnôt obrázka. Nemá to pochopenie, ktoré by ste sa museli odchýliť príliš ďaleko od východiskového materiálu.

To, čo ma vzrušuje, je, že si nemyslím, že tieto obmedzenia sú zásadné.

Prístup, ktorý sa tu používa - školiť sieť na jednom obrázku a použiť ho na vytvorenie iného - je v podstate druh hacku. Poskytuje sieti veľmi málo údajov na prácu. Pokročilejšia verzia tejto aplikácie by používala sieť, ktorá má informácie o mnohých maľby a možno aj skutočné obrázky, ktoré jej poskytujú veľa kontextu o obrázku, ktorý sa snaží "Maľovať".

Hlboké pochopenie štýlu môže existovať iba v širšom kontexte. Nemôžete odvodiť z jedného obrázka. Navrhovanie architektúry, ktorá umožňuje systému prístup k širším údajom, by jej mohlo umožniť odvodiť viac „Ľudským“ chápaním obrazu a toho, ako umelci predstavujú rôzne prvky skutočného sveta world. Takáto sieť by mohla byť schopná vytvárať obrázky, ktoré sú abstraktnejšie a majú lepšie zloženie. Takéto algoritmy by prestali byť cool hračkou (ako je táto) a stali by sa spôsobom, ako vytvoriť skutočné, originálne umenie.

To je v niektorých ohľadoch veľmi zvláštna myšlienka.

Vytvorenie vlastných obrázkov

Ak dostanete sklamaný výsledok, môžete si trochu zahrať s možnosťami a pokúsiť sa získať presvedčivejšie výsledky. Celý zoznam je na Github. Dôležité sú

• -content_weight -value Koľko váži termín rekonštrukcie obsahu. Predvolená hodnota je 5e0.
• -style_weight -value: Aká váha sa prikladá obrázku štýlu. Predvolená hodnota je 1e2.
• -style_scale - hodnota: Aký veľký počet obrazových záplat by mal systém analyzovať (väčšie sa stáva abstraktnejším). Predvolená hodnota je 1,0.

Akonáhle dosiahnete všetko, čo bude k vašej spokojnosti, uverejnite v komentároch vaše najzaujímavejšie obrázky. Skutočne ma zaujíma to, s čím ste prišli.

Kredity obrázkov: ľudský mozgový maliar prostredníctvom Shutterstocku