Veľké jazykové modely (LLM) sú základnou technológiou, ktorá poháňala raketový vzostup generatívnych chatbotov AI. Nástroje ako ChatGPT, Google Bard a Bing Chat sa spoliehajú na LLM pri vytváraní ľudských odpovedí na vaše výzvy a otázky.

Ale čo sú LLM a ako fungujú? Tu sme sa pustili do demystifikácie LLM.

Čo je veľký jazykový model?

Zjednodušene povedané, LLM je rozsiahla databáza textových údajov, na ktoré je možné odkazovať a vytvárať tak reakcie podobné ľuďom na vaše výzvy. Text pochádza z rôznych zdrojov a môže obsahovať miliardy slov.

Medzi bežne používané zdroje textových údajov patria:

  • Literatúra: LLM často obsahujú obrovské množstvo súčasnej a klasickej literatúry. To môže zahŕňať knihy, poéziu a hry.
  • Online obsah: LLM bude najčastejšie obsahovať veľké úložisko online obsahu vrátane blogov, webového obsahu, otázok a odpovedí na fórach a iného online textu.
  • Správy a aktuálne udalosti: Niektoré, ale nie všetky LLM majú prístup k aktuálnym témam správ. Niektoré LLM, ako napríklad GPT-3.5, sú v tomto zmysle obmedzené.
    • instagram viewer
  • Sociálne médiá: Sociálne médiá predstavujú obrovský zdroj prirodzeného jazyka. LLM používajú text z hlavných platforiem, ako sú Facebook, Twitter a Instagram.

Samozrejme, mať obrovskú databázu textov je jedna vec, ale LLM musia byť vyškolení, aby im rozumeli, aby produkovali odpovede podobné ľuďom. Ako sa to robí, popíšeme ďalej.

Ako fungujú LLM?

Ako LLM používajú tieto úložiská na vytváranie svojich odpovedí? Prvým krokom je analýza údajov pomocou procesu nazývaného hlboké učenie.

Hlboké učenie sa používa na identifikáciu vzorov a nuansy ľudského jazyka. To zahŕňa pochopenie gramatiky a syntaxe. Čo je však dôležité, zahŕňa aj kontext. Pochopenie kontextu je kľúčovou súčasťou LLM.

Pozrime sa na príklad, ako môžu LLM využiť kontext.

Výzva na nasledujúcom obrázku hovorí o tom, že ste v noci videli netopiera. Z toho ChatGPT pochopil, že hovoríme o zvierati a nie napríklad o bejzbalovej pálke. Samozrejme, ostatným chatbotom sa páči Bing Chat alebo Google Bard môže na to odpovedať úplne inak.

Nie je to však neomylné a ako ukazuje tento príklad, niekedy budete musieť poskytnúť ďalšie informácie, aby ste dostali požadovanú odpoveď.

V tomto prípade sme zámerne hodili trochu zakrivenej gule, aby sme demonštrovali, ako ľahko sa stráca kontext. Ale ľudia môžu tiež nesprávne pochopiť kontext otázok a na opravu odpovede potrebuje iba ďalšiu výzvu.

Na generovanie týchto odpovedí používajú LLM techniku ​​nazývanú generovanie prirodzeného jazyka (NLG). Zahŕňa to skúmanie vstupu a používanie vzorov získaných z jeho dátového úložiska na generovanie kontextovo správnej a relevantnej odpovede.

Ale LLM idú hlbšie ako toto. Môžu tiež prispôsobiť odpovede tak, aby vyhovovali emocionálnemu tónu vstupu. V kombinácii s kontextovým porozumením sú tieto dva aspekty hlavnými hnacími silami, ktoré umožňujú LLM vytvárať reakcie podobné ľuďom.

Aby som to zhrnul, LLM používajú rozsiahlu textovú databázu s kombináciou hlbokého učenia a techník NLG na vytváranie ľudských reakcií na vaše výzvy. Existujú však obmedzenia toho, čo sa tým dá dosiahnuť.

Aké sú obmedzenia LLM?

LLM predstavujú pôsobivý technologický úspech. Technológia však nie je ani zďaleka dokonalá a stále existuje veľa obmedzení, pokiaľ ide o to, čo môžu dosiahnuť. Niektoré z najvýznamnejších z nich sú uvedené nižšie:

  1. Kontextové chápanie: Spomenuli sme to ako niečo, čo LLM začleňujú do svojich odpovedí. Nie vždy sa im to však podarí a často nedokážu pochopiť kontext, čo vedie k nevhodným alebo jednoducho nesprávnym odpovediam.
  2. Zaujatosť: Akékoľvek predsudky prítomné v trénovacích údajoch môžu byť často prítomné v odpovediach. To zahŕňa predsudky voči pohlaviu, rase, geografii a kultúre.
  3. Zdravý rozum: Zdravý rozum je ťažké kvantifikovať, ale ľudia sa to učia už od útleho veku jednoducho tým, že sledujú svet okolo seba. LLM nemajú túto vlastnú skúsenosť, o ktorú by sa mohli oprieť. Rozumejú len tomu, čo im bolo poskytnuté prostredníctvom ich tréningových údajov, a to im nedáva skutočné pochopenie sveta, v ktorom existujú.
  4. LLM je len taký dobrý, ako sú jeho tréningové údaje: Presnosť nemožno zaručiť nikdy. Staré počítačové príslovie „Garbage In, Garbage Out“ toto obmedzenie dokonale vystihuje. LLM sú len tak dobré, ako im to umožňuje kvalita a množstvo ich tréningových údajov.

Existuje aj argument, že etické obavy možno považovať za obmedzenie LLM, ale táto téma nespadá do rámca tohto článku.

3 Príklady populárnych LLM

Pokračujúci pokrok AI je teraz z veľkej časti podporovaný LLM. Takže aj keď nie sú úplne novou technológiou, určite dosiahli bod kritického momentu a teraz existuje veľa modelov.

Tu sú niektoré z najpoužívanejších LLM.

1. GPT

Generative Pre-trained Transformer (GPT) je snáď najznámejší LLM. GPT-3.5 poháňa platformu ChatGPT použitú v príkladoch v tomto článku, zatiaľ čo najnovšia verzia, GPT-4, je k dispozícii prostredníctvom predplatného ChatGPT Plus. Microsoft tiež používa najnovšiu verziu na svojej platforme Bing Chat.

2. LaMDA

Toto je prvý LLM, ktorý používa Google Bard, AI chatbot spoločnosti Google. Verzia, s ktorou bol Bard pôvodne uvedený, bola opísaná ako „odľahčená“ verzia LLM. Výkonnejšia iterácia PaLM LLM to nahradila.

3. BERT

BERT je skratka pre Bi-directional Encoder Representation od Transformers. Obojsmerné charakteristiky modelu sa líšia BERT z iných LLM, ako je GPT.

Bolo vyvinutých oveľa viac LLM a odnože hlavných LLM sú bežné. Ako sa budú vyvíjať, budú naďalej rásť v zložitosti, presnosti a relevantnosti. Aká je však budúcnosť LLM?

Budúcnosť LLM

Tieto budú nepochybne formovať spôsob, akým budeme v budúcnosti komunikovať s technológiou. Rýchly nástup modelov ako ChatGPT a Bing Chat je dôkazom tejto skutočnosti. z krátkodobého hľadiska AI vás v práci pravdepodobne nenahradí. Stále však panuje neistota, akú veľkú úlohu v našich životoch zohrajú v budúcnosti.

Etické argumenty môžu mať ešte slovo v tom, ako integrujeme tieto nástroje do spoločnosti. Ak to však vezmeme na jednu stranu, niektoré z očakávaných vývojov LLM zahŕňajú:

  1. Vylepšená účinnosť:S LLM so stovkami miliónov parametrov sú neuveriteľne hladné po zdrojoch. S vylepšeniami hardvéru a algoritmov budú pravdepodobne energeticky efektívnejšie. Tým sa tiež zrýchli časy odozvy.
  2. Vylepšené kontextové povedomie:LLM sú samotréningové; čím viac využívajú a získavajú spätnú väzbu, tým sú lepšie. Dôležité je, že je to bez ďalšieho veľkého inžinierstva. S pokrokom technológie sa budú zlepšovať jazykové schopnosti a kontextové povedomie.
  3. Vyškolení na špecifické úlohy:Nástroje Jack-of-all-trade, ktoré sú verejnou tvárou LLM, sú náchylné na chyby. Ale keď sa LLM vyvíjajú a užívatelia trénujú pre špecifické potreby, môžu hrať veľkú úlohu v oblastiach ako medicína, právo, financie a vzdelávanie.
  4. Väčšia integrácia: LLM by sa mohli stať osobnými digitálnymi asistentmi. Pomyslite na Siri na steroidoch a dostanete nápad. LLM by sa mohli stať virtuálnymi asistentmi, ktorí vám pomôžu so všetkým, od navrhovania jedál až po vybavovanie vašej korešpondencie.

Toto je len niekoľko oblastí, v ktorých sa LLM pravdepodobne stanú väčšou súčasťou nášho života.

Transformácia a vzdelávanie LLM

LLM otvárajú vzrušujúci svet možností. Rýchly nárast chatbotov, ako sú ChatGPT, Bing Chat a Google Bard, je dôkazom toho, že zdroje sa nalievajú do tejto oblasti.

Vďaka takémuto množeniu zdrojov sa tieto nástroje stanú len výkonnejšími, všestrannejšími a presnejšími. Potenciálne aplikácie takýchto nástrojov sú rozsiahle a v súčasnosti len poškriabame povrch neuveriteľného nového zdroja.