Čo je to Jukebox OpenAI a čo s ním môžete robiť?

Generatívna AI sa pomaly rozširuje do stále viac disciplín v kreatívnom priemysle. Začalo to s generátormi umenia AI a potom sa rozšírilo na písanie s textom generovaným AI. Teraz môžeme do tohto zoznamu pridať hudbu.

V blízkej budúcnosti sa hudba vygenerovaná umelou inteligenciou, splodená od nuly, stane realitou. V skutočnosti je to už možnosť s Jukeboxom, modelom umelej inteligencie na tvorbu hudby od OpenAI. Zatiaľ to nie je dostupné v ľahko použiteľnej aplikácii a ešte to neznie dosť dobre, ale algoritmické kosti sú tam.

Tu je to, čo potrebujete vedieť o OpenAI Jukebox a čo s ním môžete robiť.

Jukebox: AI, ktorá generuje hudbu ako surový zvuk

Jukebox je neurónová sieť, ktorá dokáže generovať hudbu v surovej zvukovej forme, keď jej dáte vstup ako žáner, interpret alebo text. V apríli 2020 ho vydala OpenAI, tá istá spoločnosť, ktorá nám priniesla generátor umenia AI s názvom Dall-E a chatbot AI s názvom ChatGPT.

Na rozdiel od Dall-E, ktorý sa rýchlo rozšíril po celom svete a vďaka nemu sa AI stala horúčkovitou témou správ a médií, Jukebox nezaznamenal po svojom vydaní veľký záujem. Jedným z dôvodov je, že nemá užívateľsky prívetivú webovú aplikáciu – aspoň zatiaľ nie.

Kód nájdete na Webová stránka OpenAI, spolu s podrobným vysvetlením, ako funguje proces kódovania a dekódovania.

Ďalším pravdepodobným dôvodom je, že to vyžaduje obrovské množstvo času a výpočtového výkonu. Aby ste mali predstavu, vykreslenie zvuku v hodnote len jednej minúty môže trvať 9 hodín. Budete potrebovať ochotu preskúmať model v jeho kódovej podobe a navyše veľa trpezlivosti, ak chcete zistiť, čo dokáže model AI pri generovaní hudby.

Alebo môžete preskočiť na Jukebox Sample Explorer. Toto je miesto, kde OpenAI zverejnil svoje experimenty s generovaním skladieb v podobe Elly Fitzgerald alebo 2Paca.

aby bolo jasné, ďalšie hudobné nástroje AI existujú, aby vám pomohli vytvoriť skladbu, ale negenerujú zvuk od začiatku. Namiesto toho buď kombinujú vopred nahrané vzorky alebo vytvárajú MIDI informácie, ktoré sa prenášajú cez digitálny syntetizátor.

Ako znie Jukebox?

Výsledky Jukeboxu sú rozpoznateľné, ale zvláštne. Nie je ťažké pochopiť tvar piesne a žáner, do ktorého patrí, ale kvalitu výsledkov vďaka tomu to znie, ako keby ste počúvali najstaršiu nahratú hudbu: to znamená, že je tlmená množstvom hluk.

Dá sa s istotou povedať, že Jukebox neprodukuje taký verný zvuk, aký by ste počuli z páru dobrých slúchadiel. Je to skôr počúvanie hudby z rozhlasovej stanice, ktorá nie je úplne naladená na správnu frekvenciu. Niektoré skladby sú prerobené, zatiaľ čo iné sú pokračovaním existujúcich skladieb. Je tu aj kategória pre nových umelcov a štýly a neviditeľné texty.

Napriek kvalite zvuku raní experimentátori opisujú, že sú ohromení strašidelnou krásou a bizarnou povahou hudby, ktorú vytvoril Jukebox. "Ako soundtrack k dokumentácii o neznámej krajine s neznámou kultúrou," píše Merzmench na Medium.

V súčasnosti nie sú výsledky ani zďaleka dosť dobré na to, aby kopírovali alebo dokonca nahradili hudbu vytvorenú ľuďmi, ale technológia sa rýchlo pohybuje a modely ako Jukebox budú čoskoro schopné dosiahnuť tieto výkony tiež.

Ako bol trénovaný jukebox OpenAI

Súčasťou toho, ako je Jukebox schopný vytvárať hudbu, ktorá nikdy predtým neexistovala, je to, že je trénovaný na hudbe skutočných hudobníkov. OpenAI vysvetľuje, že:

"Na trénovanie tohto modelu sme prehľadali web, aby sme vytvorili nový súbor údajov 1,2 milióna skladieb (600 000 z nich je v angličtine), spárovaných so zodpovedajúcimi textami a metadátami z LyricWiki."

Prehľadávanie údajov je postup, ktorý používajú niektoré spoločnosti AI na vytvorenie súboru údajov, z ktorých sa môže model AI učiť a rozhodovať sa pri vytváraní obrázka, textu – alebo v tomto prípade – hudby. Množiny údajov vytvorené indexovým prehľadávaním sú kontroverzné, pretože súhlas sa v prvom rade nezískava od vlastníkov údajov. Niektoré platformy vám to však umožňujú odhlásiť svoj obsah zo súborov údajov.

Možno si myslíte, že 1,2 milióna skladieb je veľa, ale na porovnanie, Dall-E 2 bol natrénovaný na stovkách miliónov párov obrázkov a textu z internetu. S ohľadom na to má Jukebox svoje obmedzenia.

Jeho relatívne malý tréningový bazén nedokáže zachytiť bohatstvo a rozmanitosť ľudskej hudby. OpenAI uviedla, že je z veľkej časti trénovaná na západnej hudbe, čo predstavuje jasnú zaujatosť v tom, akú hudbu dokáže generovať.

Čo môžete robiť s Jukeboxom?

Čo teda môžete s Jukeboxom robiť, ak vezmete do úvahy jeho obmedzenia? Rýchly spôsob, ako odpovedať na túto otázku, je povedať, čo nemôžete robiť s Jukeboxom.

Pretože vykreslenie jednej minúty hudby trvá takmer pol dňa, nie je to veľmi užitočné na produkciu hudby. Aspoň nie v tradičnom zmysle. Za normálnych okolností sa hudobníci pohybujú tam a späť medzi hraním na nástroji (improvizáciou) a plánovaním štruktúry piesne. Rovnaký druh experimentovania nie je možný s Jukeboxom.

Keďže v tejto fáze nie je ľahké vytvoriť skladbu pomocou Jukeboxu, môžete si to predstaviť skôr ako nový spôsob generovania hudobných vzoriek. Keď vygenerujete zvuk, ktorý sa vám páči, môžete ho použiť vo svojich kreatívnych projektoch, ako by ste to bežne robili.

Video nižšie je výsledkom toho, že niekto použil hudbu vytvorenú pomocou Jukeboxu na podčiarknutie krátkeho zostrihového videa.

Umelá inteligencia má široké uplatnenie aj mimo kreatívnych aplikácií, a preto sa oplatí pochopiť, čo je AI a aké nebezpečenstvo predstavuje.

Ste dojatí hudbou AI?

Hudbu generovanú Jukeboxom nie je ľahké zavrhnúť a napriek všetkej jej zvláštnosti a strašidelnej kvalite človek-stroj nakoniec znie ako hudba. Zatiaľ čo hudobný priemysel už nejaký čas používa nástroje AI, možnosť generovať hudbu ako nespracovaný zvuk je realitou až teraz.

Ale zatiaľ čo modely ako Jukebox existujú, musia byť ešte zabalené do komerčného nástroja a stále zaostávajú za schopnosťami ľudských hudobníkov.