Čo je učenie s nulovým výstrelom a ako môže zlepšiť AI

Kľúčové informácie

• Zovšeobecnenie je nevyhnutné v hlbokom učení, aby sa zabezpečili presné predpovede s novými údajmi. Učenie s nulovým záberom to pomáha dosiahnuť tým, že umožňuje AI využívať existujúce znalosti na presné predpovede o nových alebo neviditeľných triedach bez označených údajov.
• Učenie s nulovým záberom napodobňuje spôsob, akým sa ľudia učia a spracúvajú údaje. Poskytnutím dodatočných sémantických informácií môže vopred vyškolený model presne identifikovať nové triedy, rovnako ako sa človek môže naučiť identifikovať gitaru s dutým telom pochopením jej charakteristík.
• Zero-shot learning zlepšuje AI zlepšením zovšeobecňovania, škálovateľnosti, znížením nadmerného vybavenia a cenovou efektívnosťou. Umožňuje trénovať modely na väčších súboroch údajov, získať viac vedomostí prostredníctvom prenosového učenia, lepšie porozumieť kontextu a znížiť potrebu rozsiahlych označených údajov. Ako AI napreduje, učenie s nulovým výstrelom bude ešte dôležitejšie pri riešení zložitých výziev v rôznych oblastiach.
  instagram viewer

Jedným z najväčších cieľov hlbokého učenia je trénovať modely, ktoré získali zovšeobecnené vedomosti. Zovšeobecnenie je nevyhnutné, pretože zaisťuje, že model sa naučil zmysluplné vzorce a môže robiť presné predpovede alebo rozhodnutia, keď čelí novým alebo neviditeľným údajom. Tréning takýchto modelov si často vyžaduje značné množstvo označených údajov. Takéto údaje však môžu byť nákladné, náročné na prácu a niekedy aj nemožné.

Na preklenutie tejto medzery je implementované učenie s nulovým záberom, čo umožňuje AI využívať svoje existujúce znalosti na vytváranie pomerne presných predpovedí napriek nedostatku označených údajov.

Čo je Zero-Shot Learning?

Učenie s nulovým záberom je špecifický typ techniky prenosového učenia. Zameriava sa na použitie vopred pripraveného modelu na identifikáciu nových alebo nikdy predtým nevidených tried jednoducho poskytnutím ďalších informácií, ktoré popisujú podrobnosti o novej triede.

Použitím všeobecných znalostí modelu o určitých témach a poskytnutím extra sémantiky tomu, čo hľadať, by mal byť schopný celkom presne určiť, aký predmet má identifikovať.

Povedzme, že potrebujeme identifikovať zebru. Nemáme však model, ktorý by takéto zvieratá dokázal identifikovať. Takže získame už existujúci model, ktorý vycvičí, aby identifikoval kone a povedal modelu, že kone s čiernymi a bielymi pruhmi sú zebry. Keď začneme odvodzovať model poskytnutím obrázkov zebier a koní, existuje veľká šanca, že model správne identifikuje každé zviera.

Rovnako ako mnohé techniky hlbokého učenia, aj učenie s nulovým záberom napodobňuje spôsob, akým sa ľudia učia a spracúvajú údaje. O ľuďoch je známe, že sa prirodzene učia nula. Ak ste dostali za úlohu nájsť gitaru s dutým telom v hudobnom obchode, možno budete mať problém ju nájsť. Ale akonáhle vám poviem, že duté telo je v podstate gitara s otvorom v tvare písmena F na jednej alebo oboch stranách, pravdepodobne ju okamžite nájdete.

Ako príklad zo skutočného sveta použijeme klasifikačnú aplikáciu zero-shot by open source LLM hostingová stránka Hugging Face pomocou modelu clip-vit-large.

Táto fotografia zobrazuje obraz chleba v taške s potravinami pripútanej na vysokej stoličke. Keďže model bol trénovaný na veľkom súbore údajov, model pravdepodobne dokáže identifikovať každú položku na fotografii, ako je chlieb, potraviny, stoličky a bezpečnostné pásy.

Teraz chceme, aby model klasifikoval obrázok pomocou predtým nevidených tried. V tomto prípade by nové alebo neviditeľné triedy boli „Uvoľnený chlieb“, „Bezpečný chlieb“, „Chlieb na sedenie“, „Vozenie s potravinami“ a „Bezpečný obchod s potravinami“.

Všimnite si, že sme zámerne použili nezvyčajné neviditeľné triedy a obrázky, aby sme demonštrovali účinnosť klasifikácie nulového záberu na obrázku.

Po odvodení modelu bolo možné s približne 80 % istotou klasifikovať, že najvhodnejšia klasifikácia pre obrázok bol „Bezpečný chlieb“. Je to pravdepodobne preto, že modelka si myslí, že vysoká stolička je skôr pre bezpečnosť ako sedenie, relax, príp šoférovanie.

Úžasné! Osobne by som súhlasil s výstupom modelu. Ako presne však model k takémuto výstupu prišiel? Tu je všeobecný pohľad na to, ako funguje učenie s nulovým výstrelom.

Ako funguje učenie s nulovým výstrelom

Zero-shot learning môže pomôcť vopred vyškolenému modelu identifikovať nové triedy bez poskytnutia označených údajov. Vo svojej najjednoduchšej forme sa učenie s nulovým výstrelom vykonáva v troch krokoch:

1. Príprava

Učenie sa začína prípravou troch typov údajov

• Videná trieda: Údaje použité pri trénovaní vopred trénovaného modelu. Model už poskytuje videné triedy. Najlepšie modely pre učenie s nulovým záberom sú modely trénované na triedach, ktoré úzko súvisia s novou triedou, ktorú chcete, aby model identifikoval.
• Nevidené/Románová trieda: Údaje, ktoré neboli nikdy použité pri trénovaní modelu. Tieto údaje budete musieť upraviť sami, pretože ich nemôžete získať z modelu.
• Sémantické/pomocné údaje: Extra bity údajov, ktoré môžu pomôcť modelu identifikovať novú triedu. Môže to byť v slovách, frázach, vložených slovách alebo názvoch tried.

2. Sémantické mapovanie

Ďalším krokom je zmapovanie vlastností neviditeľnej triedy. To sa dosiahne vytvorením vloženia slov a vytvorením sémantickej mapy, ktorá spája atribúty alebo charakteristiky neviditeľnej triedy s poskytnutými pomocnými údajmi. Učenie prenosu AI robí proces oveľa rýchlejším, pretože mnoho atribútov súvisiacich s neviditeľnou triedou už bolo zmapovaných.

3. Vyvodzovanie záverov

Inferencia je použitie modelu na generovanie predpovedí alebo výstupov. Pri klasifikácii obrázkov s nulovým záberom sa na danom obrazovom vstupe vygenerujú vloženia slov, ktoré sa potom vykreslia a porovnajú s pomocnými údajmi. Úroveň istoty bude závisieť od podobnosti medzi vstupnými a poskytnutými pomocnými údajmi.

Ako Zero-Shot Learning zlepšuje AI

Zero-shot learning zlepšuje modely AI tým, že rieši niekoľko výziev strojového učenia, vrátane:

• Vylepšené zovšeobecnenie: Zníženie závislosti na označených údajoch umožňuje trénovať modely vo väčších súboroch údajov, čím sa zlepšuje zovšeobecnenie a model je robustnejší a spoľahlivejší. Ako sa modely stávajú skúsenejšími a zovšeobecňovanými, dokonca je možné, aby sa modelky naučili zdravému rozumu namiesto typického spôsobu analýzy informácií.
• Škálovateľnosť: Modely možno neustále trénovať a získavať viac vedomostí prostredníctvom prenosu vzdelávania. Spoločnosti a nezávislí výskumníci môžu svoje modely neustále vylepšovať, aby boli v budúcnosti schopnejšie.
• Znížená šanca na preťaženie: Prepracovanie môže nastať v dôsledku trénovania modelu na malom súbore údajov, ktorý neobsahuje dostatočnú rozmanitosť na reprezentáciu všetkých možných vstupov. Trénovanie modelu pomocou učenia sa nulovým záberom znižuje šance na premontovanie tým, že model trénujete tak, aby lepšie chápal predmety v kontexte.
• Nákladovo efektívne: Poskytnutie veľkého množstva označených údajov môže vyžadovať čas a zdroje. Pomocou učenia prenosu s nulovým záberom je možné trénovať robustný model s oveľa kratším časom a označenými údajmi.

S pokrokom AI budú techniky, ako je učenie s nulovým výstrelom, ešte dôležitejšie.

Budúcnosť učenia s nulovým výstrelom

Učenie s nulovým záberom sa stalo nevyhnutnou súčasťou strojového učenia. Umožňuje modelom rozpoznať a klasifikovať nové triedy bez explicitného školenia. S neustálym pokrokom v modelových architektúrach, prístupoch založených na atribútoch a multimodálnej integrácii môže učenie s nulovým záberom výrazne pomáhajú urobiť modely oveľa prispôsobivejšími pri riešení zložitých výziev v robotike, zdravotníctve a počítačoch vízie.