Veľké jazykové modely (LLM) sa dodávajú vo všetkých tvaroch a veľkostiach a pomôžu vám akýmkoľvek spôsobom, ktorý uznáte za vhodný. Ale ktorá je najlepšia? Otestovali sme dominantné AI od Alphabet, OpenAI a Meta.
Čo potrebujete vedieť o chatbotoch AI
Umelá všeobecná inteligencia bola cieľom počítačových vedcov už desaťročia a AI slúžila ako základ pre spisovateľov sci-fi a filmárov ešte dlhšie.
AGI vykazuje inteligenciu podobnú ľudským kognitívnym schopnostiam a Turingov test— test schopnosti stroja prejavovať inteligentné správanie na nerozoznanie od ľudského — zostal takmer nespochybniteľný počas siedmich desaťročí od jeho prvého uvedenia.
Nedávna konvergencia extrémne rozsiahlej výpočtovej techniky, obrovské množstvo peňazí a ohromujúci objem voľne dostupných informácií dostupný na otvorenom internete umožnil technologickým gigantom trénovať modely, ktoré dokážu predpovedať nasledujúcu slovnú sekciu – alebo token – v sekvencii žetóny.
V čase písania článku oboje Bard spoločnosti Google a
ChatGPT od OpenAI sú vám k dispozícii na používanie a testovanie prostredníctvom ich webových rozhraní.Jazykový model Meta, LLaMa, nie je dostupný na webe, ale môžete ho jednoducho použiť stiahnuť a spustiť LLaMa na svojom vlastnom hardvéri a použite ho cez príkazový riadok alebo spustiť Dalai na svojom vlastnom počítači—jedna z niekoľkých aplikácií s užívateľsky prívetivým rozhraním.
Na účely testu spustíme model Alpaca 7B Stanfordskej univerzity – adaptáciu LLaMa – a postavíme ho proti Bardovi a ChatGPT.
Nasledujúce porovnania a testy nemajú byť vyčerpávajúce, ale skôr vám naznačia kľúčové body a možnosti.
Ktorý veľký jazykový model je najjednoduchšie použiť?
Bard aj ChatGPT vyžadujú na používanie služby účet. Vytvorenie účtov Google aj OpenAI je jednoduché a bezplatné a môžete sa okamžite začať pýtať.
Ak však chcete spustiť LLaMa lokálne, budete potrebovať určité špecializované znalosti alebo schopnosť sledovať návod. Budete tiež potrebovať značné množstvo úložného priestoru.
Ktorý je najsúkromnejší veľký jazykový model?
Bard aj ChatGPT majú rozsiahle zásady ochrany osobných údajov a Google to vo svojich dokumentoch opakovane zdôrazňuje že by ste nemali „zahŕňať informácie, ktoré možno použiť na identifikáciu vás alebo iných osôb vo vašom Bardovi rozhovory."
Google predvolene zhromažďuje vaše konverzácie a vašu všeobecnú polohu na základe vašej adresy IP, vašej spätnej väzby a informácií o používaní. Tieto informácie sú uložené vo vašom účte Google po dobu až 18 mesiacov. Aj keď môžete pozastaviť ukladanie vašej aktivity Barda, mali by ste si byť vedomí toho, že „na pomoc s kvalitou a zlepšovaním našich produktov ľudskí recenzenti čítajú, pridávajú anotácie a spracovávajú vaše konverzácie s Bardom“.
Používanie Bardu tiež podlieha štandardu Zásady ochrany osobných údajov Google.
Zásady ochrany osobných údajov OpenAI sú vo všeobecnosti podobné a zhromažďujú IP adresy a údaje o používaní. Na rozdiel od časovo obmedzeného uchovávania údajov Google, OpenAI bude „uchovávať vaše osobné údaje len tak dlho, ako to potrebujeme na poskytnutie služby pre vás alebo na iné legitímne obchodné účely, ako je riešenie sporov, bezpečnostné dôvody alebo dodržiavanie našich právnych predpisov povinnosti."
Na rozdiel od toho lokálny model na vašom vlastnom počítači nevyžaduje účet ani zdieľanie používateľských údajov s nikým.
Ktorá LLM má najlepšie všeobecné znalosti?
Aby sme otestovali, ktorá LLM má najlepšie všeobecné znalosti, položili sme tri otázky.
Prvá otázka: "Ktorá národná vlajka má päť strán?" správne odpovedal iba Bard, ktorý určil, že národná vlajka Nepálu má päť strán.
ChatGPT s istotou tvrdil, že „Neexistuje žiadna národná vlajka, ktorá má päť strán. Štátne vlajky sú zvyčajne obdĺžnikového alebo štvorcového tvaru, vyznačujúce sa ich odlišnými farbami, vzormi a symbolmi.
Náš miestny model sa priblížil a uviedol, že „Indická národná vlajka má päť strán a bola navrhnutá v roku 1916, aby reprezentovala Indiu. Hnutie za nezávislosť." Aj keď táto vlajka existovala a mala päť strán, bola to vlajka indického hnutia za samosprávu – nie Národná vlajka.
Žiadny z našich modelov nedokázal odpovedať, že správny výraz pre objekt v tvare hrášku je „pisiform“, pričom ChatGPT pokračuje tak ďaleko, že naznačuje, že hrášok má „trojrozmerný geometrický tvar, ktorý je dokonale okrúhly a symetrický."
Všetci traja chatboti správne identifikovali Franca Malerbu ako talianskeho astronauta a člena skupiny Európsky parlament, pričom Bard odpovedal identicky s časťou Malerbovej Wikipédie vstup.
Ktorý LLM je vhodný pre technické pokyny?
Keď máte technické problémy, môžete byť v pokušení obrátiť sa na chatbota o pomoc. Zatiaľ čo technológia napreduje, niektoré veci zostávajú rovnaké. Elektrická zástrčka BS 1363 sa v Británii, Írsku a mnohých ďalších krajinách používa od roku 1947. Spýtali sme sa jazykových modelov, ako to správne pripojiť.
Káble pripojené k zástrčke majú živý vodič (hnedý), uzemňovací vodič (žltý/zelený) a neutrálny vodič (modrý). Tieto musia byť pripojené k správnym svorkám v kryte zástrčky.
Naša implementácia Dalai správne identifikovala zástrčku ako „anglický štýl“, potom sa odklonila z kurzu a namiesto toho poskytla pokyny pre staršiu zástrčku BS 546 s okrúhlym kolíkom spolu so staršími farbami káblov.
ChatGPT bol o niečo užitočnejší. Správne označil farby zapojenia a dal zoznam materiálov a súbor ôsmich pokynov. ChatGPT tiež navrhol vložiť hnedý vodič do svorky označenej „L“, modrý vodič do „N“ a žltý vodič do "E." To by bolo správne, keby boli terminály BS1363 označené, ale oni nie sú.
Bard identifikoval správne farby vodičov a dal nám pokyn, aby sme ich pripojili k živým, neutrálnym a uzemňovacím svorkám. Neposkytla žiadne pokyny, ako ich identifikovať.
Podľa nášho názoru. žiadny z chatbotov neposkytol dostatočné pokyny na to, aby niekomu pomohol správne zapojiť elektrickú zástrčku BS 1363. Stručná a správna odpoveď by bola: "Vľavo modrá, vpravo hnedá."
Ktorý LLM je vhodný na písanie kódu?
Python je užitočný programovací jazyk ktorý beží na väčšine moderných platforiem. Našim modelom sme dali pokyn, aby používali Python a „zostavte si základný program kalkulačky, ktorý dokáže vykonávať aritmetické operácie ako sčítanie, odčítanie, násobenie a delenie. Mal by prijať používateľský vstup a zobraziť výsledok." Toto je jeden z najlepšie programovacie projekty pre začiatočníkov.
Aj keď Bard aj ChatGPT okamžite vrátili použiteľný a dôkladne komentovaný kód, ktorý sme mohli otestovať a overiť, žiadny kód z nášho lokálneho modelu sa nespustil.
Ktorá LLM rozpráva najlepšie vtipy?
Humor je jedným zo základov ľudského bytia a určite jedným z najlepších spôsobov, ako odlíšiť človeka od stroja. Každému z našich modelov sme dali jednoduchú výzvu: "Vytvorte originálny a vtipný vtip."
Našťastie pre komikov a ľudskú rasu ako takú, žiadny z modelov nedokázal vyčarovať originálny vtip.
Bard predstavil klasiku: „Prečo ten strašiak získal cenu? Bol výnimočný vo svojom odbore."
Naša miestna implementácia aj ChatGPT ponúkli úpenlivé: „Prečo vedci neveria atómom? Pretože oni tvoria všetko!"
Odvodený, ale originálny vtip by bol: „Ako sú veľké jazykové modely ako atómy? Obaja si veci vymýšľajú!"
Najprv si to prečítajte tu, ľudia.
Žiadny chatbot nie je dokonalý
Zistili sme, že hoci všetky tri veľké jazykové modely majú svoje výhody a nevýhody, žiadny z nich nedokáže nahradiť skutočnú odbornosť človeka špecializovanými znalosťami.
Aj keď Bard aj ChatGPT poskytli lepšie odpovede na našu otázku o kódovaní a veľmi ľahko sa používajú, prevádzkovanie veľkého jazykového modelu lokálne znamená, že sa nemusíte starať o súkromie alebo cenzúra.
Ak by ste chceli vytvoriť skvelé umenie AI bez toho, aby ste sa museli báť, že sa vám niekto pozerá cez rameno, je ľahké spustiť umelecký model AI aj na vašom miestnom počítači.
