ChatGPT je chatbot s umelou inteligenciou od OpenAI, ktorý mení hru a robí internet v úžase. Napriek všetkým zavedeným technologickým trendom netrvalo dlho a ChatGPT si našiel cestu takmer do každej oblasti nášho digitálneho života.
Len veľmi málo technologických inovácií vyvolalo taký záujem ako ChatGPT za tak krátky čas. Zdá sa, že sa nikdy nevyčerpajú skvelé triky – každý deň sa dozvedáme o vzrušujúcich nových veciach, o ktorých sme nevedeli, že to dokáže.
Ale ako je ChatGPT schopný robiť veci, ktoré dokáže? Ako funguje ChatGPT?
Ako bol ChatGPT vytvorený?
Aby ste pochopili, ako ChatGPT funguje, stojí za to pozrieť sa na jeho pôvod a mozog za špičkovým chatbotom AI.
Po prvé, akokoľvek sa ChatGPT môže zdať magické, vytvoril ho ľudský génius, rovnako ako každú užitočnú softvérovú technológiu. OpenAI vytvoril ChatGPT, revolučnú spoločnosť na výskum a vývoj AI, ktorá stojí za ďalšími výkonnými nástrojmi AI, ako sú DALL-E, InstructGPT a Codex. Predtým sme odpovedali
niekoľko otázok, ktoré by ste mohli mať o ChatGPT, tak sa pozrite.Zatiaľ čo sa ChatGPT stal virálnym ku koncu roka 2022, väčšina základnej technológie, ktorá poháňa ChatGPT, je tu už oveľa dlhšie, aj keď s oveľa menšou publicitou. Model ChatGPT je postavený na GPT-3 (alebo konkrétnejšie na GPT-3.5). GPT je skratka pre „Generative Pre-trained Transformer 3“.
GPT-3 je treťou iteráciou radu GPT modelov AI a predchádzali mu GPT-2 a GPT. Skoršie iterácie modelov GPT sú rovnako užitočné, ale GPT-3 a jemne vyladená iterácia GPT-3.5 sú oveľa výkonnejšie. Väčšina z toho, čo ChatGPT dokáže je vďaka základnej technológii GPT-3.
Čo je GPT?
Takže sme zistili, že ChatGPT je postavený na tretej generácii modelu GPT. Ale čo je vlastne GPT?
Začnime rozbalením skratiek ľahko stráviteľným a netechnickým spôsobom.
- „Generatív“ v GPT predstavuje jej schopnosť generovať text v prirodzenom ľudskom jazyku.
- „Pretrénovaný“ predstavuje skutočnosť, že model už bol natrénovaný na nejakom konečnom súbore údajov. Podobne ako by ste si prečítali knihu alebo možno niekoľko kníh predtým, ako vás požiadajú, aby ste odpovedali na otázky o nej.
- „Transformátor“ predstavuje základnú architektúru strojového učenia, ktorá poháňa GPT.
Keď to všetko zhrnieme, Generative Pre-trained Transformer (GPT) je jazykový model, ktorý bol trénovaný s použitím údajov z internetu s cieľom vygenerovať text v ľudskom jazyku, keď je prezentovaný s a výzva. Takže sme opakovane hovorili, že GPT bola trénovaná, ale ako bola trénovaná?
Ako bol ChatGPT vyškolený?
Samotný ChatGPT nebol trénovaný od základov. Namiesto toho je to vyladená verzia GPT-3.5, ktorá je sama o sebe vyladenou verziou GPT-3. Model GPT-3 bol trénovaný s obrovským množstvom údajov zozbieraných z internetu. Spomeňte si na Wikipediu, Twitter a Reddit – boli to údaje a ľudský text zoškrabaný zo všetkých kútov internetu.
Ak vás zaujíma, ako funguje školenie GPT, GPT-3 bol trénovaný pomocou kombinácie učenia pod dohľadom a učenia sa posilňovaním prostredníctvom ľudskej spätnej väzby (RLHF). Učenie pod dohľadom je fáza, v ktorej sa model trénuje na veľkom súbore údajov skopírovaných z internetu. Fáza učenia posilňovania je miesto, kde sa trénuje, aby produkovalo lepšie reakcie, ktoré sú v súlade s tým, čo by ľudia akceptovali ako ľudské a správne.
Školenie s riadeným učením
Aby ste lepšie pochopili, ako sa učenie pod dohľadom a posilňovanie vzťahuje na ChatGPT, predstavte si scenár, v ktorom učiteľ učí študenta písať esej. Učenie pod dohľadom by bolo ekvivalentom toho, keby učiteľ dal študentovi prečítať stovky esejí. Cieľom je, aby sa študent naučil, ako by sa mala písať esej, tým, že si zvykne na tón, slovnú zásobu a štruktúru stoviek esejí.
Medzi tými stovkami esejí sa však nájdu dobrí aj zlí. Keďže študent bol trénovaný na dobrých aj zlých kópiách, niekedy mohol študent napísať zlú esej, pretože študent bol v určitom okamihu tiež kŕmený zlými esejami. To znamená, že keď je študent požiadaný o napísanie eseje, môže napísať kópiu, ktorá nie je pre učiteľa prijateľná alebo dostatočne dobrá. Tu prichádza na rad posilňovacie učenie.
Školenie s posilňovaním
Keď učiteľ prečítaním stoviek esejí zistí, že študent rozumie všeobecným pravidlám písania esejí, učiteľ potom študentovi zadá domácu úlohu na písanie esejí. Následne by učiteľ poskytol spätnú väzbu na esej na písanie domácej úlohy, povedal študentom, čo urobili dobre a čo by mohli zlepšiť. Študent využíva spätnú väzbu na usmernenie následného písania domácich úloh, čím pomáha študentovi zlepšovať sa v priebehu času.
Je to podobné ako fáza učenia sa posilňovania pri trénovaní modelu GPT. Po nakŕmení obrovského množstva textu zoškrabaného z internetu môže model odpovedať na otázky. Jeho presnosť však nebude dostatočná. Ľudskí tréneri kladú modelu otázku a poskytujú spätnú väzbu, ktorá odpoveď je pre každú otázku vhodnejšia.
Model využíva spätnú väzbu na zlepšenie svojej schopnosti odpovedať na otázky presnejšie a podobnejšie, ako by reagoval človek. Takto môže ChatGPT generovať ľudsky znejúce odpovede, ktoré sú koherentné, pútavé a vo všeobecnosti presné.
Ako je ChatGPT schopný odpovedať na otázky?
Navštívte teda webovú stránku ChatGPT a prihláste sa. Vyzvete ChatGPT: "napíšte rapovú pieseň v štýle Snoop Dogg." Reaguje textom na rapovú skladbu, ktorá sa nápadne podobá na to, čo by napísal Snoop Dogg. Ako je to možné?
No, „kúzlo“ za ChatGPT všetko úhľadne súvisí s jeho tréningom.
Po pokrytí každého centimetra učebnice Fyzika 101 je veľká šanca, že budete vedieť odpovedať na akúkoľvek otázku, ktorá vás napadne. prečo? Pretože ste to čítali a naučili ste sa to. S ChatGPT je to to isté – učí sa. A ako ukázala ľudská civilizácia, s dostatočným tréningom je možné vyriešiť takmer každý problém.
Zatiaľ čo za svoj život pravdepodobne zvládnete spravovať stovky kníh, ChatGPT alebo GPT už spotrebovali obrovský kus internetu. To je obrovské množstvo informácií. Tam niekde sú pravdepodobne texty mnohých piesní Snoop Dogga. Takže, samozrejme, ChatGPT to musel skonzumovať (nezabudnite, že je to vopred natrénované) a rozpoznať vzory v textoch Snoop Dogga. Potom by použil „znalosť“ tohto vzoru na „predpovedanie“ textu piesne podobnej tomu, čo by napísal Snoop Dogg.
Dôraz sa tu kladie na „predvídať“. ChatGPT neodpovedá na otázky rovnakým spôsobom ako my ľudia. Napríklad, keď sa stretnete s otázkou typu: "Aké je hlavné mesto Portugalska?" môžete povedať Lisabon a povedať to ako „fakt“. ChatGPT však neodpovedá na otázky so 100% istotou. Namiesto toho sa snaží predpovedať správnu odpoveď na základe údajov, ktoré spotreboval vo svojom tréningovom súbore údajov.
Prístup ChatGPT k odpovedaniu na otázky
Aby ste lepšie pochopili koncept predpovedania odpovedí, predstavte si ChatGPT ako detektíva, ktorý má za úlohu vyriešiť vraždu. Detektívovi predložia dôkazy, no nevedia, kto vraždu spáchal a ako sa to stalo. S dostatkom dôkazov však detektív dokáže s veľkou presnosťou „predpovedať“, kto je zodpovedný za vraždu a ako bol zločin spáchaný.
Po spotrebovaní údajov z internetu ChatGPT zahodí pôvodné údaje a uloží neurónové spojenia alebo vzory, ktoré sa naučil z údajov. Tieto spojenia alebo vzory sú ako dôkazy, ktoré ChatGPT analyzuje, keď sa pokúša reagovať na akúkoľvek výzvu.
Takže teoreticky je ChatGPT ako veľmi dobrý detektív. Nevie s istotou, aké by mali byť fakty odpovede, ale snaží sa to pôsobivo presnosť, predpovedať logickú postupnosť textu v ľudskom jazyku, ktorá by najvhodnejšie odpovedala na otázka. Takto získate odpovede na svoje otázky.
A to je tiež dôvod, prečo niektoré z týchto odpovedí vyzerajú veľmi presvedčivo, ale sú strašne nesprávne.
ChatGPT: Odpovedá ako človek, myslí ako stroj
Základné technické detaily ChatGPT sú zložité. Avšak zo základného hľadiska funguje tak, že sa učí a reprodukuje to, čo sa naučil, keď je k tomu vyzvaný, rovnako ako my ako ľudia.
Ako sa ChatGPT vyvíja prostredníctvom výskumu, spôsob, akým funguje, sa môže zmeniť. Jeho základné pracovné princípy však zostanú na chvíľu rovnaké, aspoň kým nepríde nová rušivá technológia.