Google PaLM 2 vs. OpenAI GPT-4: Aký je rozdiel?

Google predstavil ďalšiu generáciu svojho jazykového modelu Pathways (PaLM 2) 10. mája 2023 na Google I/O 2023. Jeho nový model veľkého jazyka (LLM) sa môže pochváliť mnohými vylepšeniami oproti svojmu predchodcovi (PaLM) a môže byť konečne pripravený postaviť sa svojmu najväčšiemu rivalovi, OpenAI GPT-4.

Ale ako veľa sa Google zlepšil? Je PaLM 2 tým rozdielom, ako Google dúfa, že ním bude, a čo je dôležitejšie, s toľkými podobnými schopnosťami, ako sa PaLM 2 líši od OpenAI GPT-4?

PaLM 2 vs. GPT-4: Prehľad výkonnosti

PaLM 2 je nabitý novými a vylepšenými funkciami oproti svojmu predchodcovi. Jednou z jedinečných výhod, ktoré má PaLM 2 oproti GPT-4, je skutočnosť, že je k dispozícii v menších veľkostiach špecifických pre určité aplikácie, ktoré nemajú taký výkon na palube.

Všetky tieto rôzne veľkosti majú svoje vlastné menšie modely s názvom Gecko, Otter, Bison a Unicorn, pričom Gecko je najmenší, nasleduje Otter, Bison a nakoniec Unicorn, najväčší model.

Google tiež tvrdí, že vo WinoGrande a DROP došlo k zlepšeniu schopností uvažovania oproti GPT-4, pričom prvý z nich má v ARC-C úzky náskok. Pokiaľ však ide o PaLM a SOTA, došlo k výraznému celkovému zlepšeniu.

PaLM 2 je podľa 91-stranovej stránky Google tiež lepší v matematike PaLM 2 výskumná práca [PDF]. Spôsob, akým Google a OpenAI štruktúrovali svoje výsledky testov, však sťažuje priame porovnanie týchto dvoch modelov. Google tiež vynechal niektoré porovnania, pravdepodobne preto, že PaLM 2 nefungoval ani zďaleka tak dobre ako GPT-4.

V MMLU získal GPT-4 skóre 86,4, zatiaľ čo PaLM 2 dosiahol skóre 81,2. To isté platí pre HellaSwag, kde zabodoval GPT-4 95,3, ale PaLM 2 mohol získať iba 86,8 a ARC-E, kde GPT-4 a PaLM 2 dostali 96,3 a 89,7, resp.

Najväčší model v rodine PaLM 2 je PaLM 2-L. Aj keď nepoznáme jeho presnú veľkosť, vieme, že je výrazne menší ako najväčší model PaLM, ale využíva viac tréningových výpočtov. Podľa Google, PaLM má 540 miliárd parametrov, takže "výrazne menší" by mal dať PaLM 2 kdekoľvek medzi 10 až 300 miliardami parametrov. Majte na pamäti, že tieto čísla sú len predpoklady založené na tom, čo Google povedal v dokumente PaLM 2.

Ak sa toto číslo blíži k 100 miliardám alebo menej, PaLM 2 je z hľadiska parametrov s najväčšou pravdepodobnosťou menší ako GPT-3.5. Ak vezmeme do úvahy, že model, ktorý má potenciál pod 100 miliárd, môže ísť s GPT-4 od päty k päte a dokonca ho v niektorých úlohách poraziť. pôsobivé. GPT-3.5 spočiatku vyfúkol všetko z vody, vrátane PaLM, ale PaLM 2 sa celkom zotavil.

Rozdiely v tréningových údajoch GPT-4 a PaLM 2

Aj keď Google neodhalil veľkosť súboru tréningových údajov PaLM 2, spoločnosť vo svojom výskumnom dokumente uvádza, že súbor tréningových údajov nového LLM je výrazne väčší. OpenAI tiež použil rovnaký prístup pri odhalení GPT-4, pričom nerobil žiadne nároky na veľkosť množiny tréningových údajov.

Google sa však chcel zamerať na hlbšie pochopenie matematiky, logiky, uvažovania a vedy, čo znamená, že veľká časť tréningových údajov PaLM 2 je zameraná na vyššie uvedené témy. Google vo svojom dokumente uvádza, že predtréningový korpus PaLM 2 pozostáva z viacerých zdrojov vrátane webových dokumentov, knihy, kódy, matematiku a konverzačné údaje, čím sa vo všeobecnosti zlepšili, aspoň v porovnaní s PaLM.

Konverzačné schopnosti PaLM 2 by tiež mali byť na inej úrovni vzhľadom na to, že model bol vyškolený vo viac ako 100 jazykoch, aby bolo možné lepšie porozumieť kontextu a lepšie prekladať schopnosti.

Pokiaľ sú tréningové údaje GPT-4 potvrdené, OpenAI nám povedal, že model trénoval pomocou verejne dostupných údajov a údajov, ktoré licencoval. Výskumná stránka GPT-4 uvádza: „Údaje sú súborom údajov na webe vrátane správnych a nesprávnych riešení matematických problémov, slabých a silné zdôvodnenie, protichodné a konzistentné vyhlásenia a zastupujúce veľké množstvo ideológií a nápady."

Keď je GPT-4 položená otázka, môže produkovať širokú škálu odpovedí, z ktorých nie všetky môžu byť relevantné pre váš dopyt. Aby sa to zosúladilo so zámerom používateľa, OpenAI doladilo správanie modelu pomocou posilňovacieho učenia s ľudskou spätnou väzbou.

Aj keď možno nevieme presné údaje o tréningu, na ktorom bol ktorýkoľvek z týchto modelov trénovaný, vieme, že zámer školenia bol veľmi odlišný. Budeme musieť počkať a uvidíme, ako sa tento rozdiel v tréningovom zámere odlišuje medzi týmito dvoma modelmi v nasadení v reálnom svete.

Chatboty a služby PaLM 2 a GPT-4

Prvý portál pre prístup k obom LLM využíva ich príslušných chatbotov, PaLM 2's Bard a GPT-4's ChatGPT. To znamená, že GPT-4 je za platenou stenou s ChatGPT Plus a bezplatní používatelia majú prístup iba k GPT-3.5. Na druhej strane Bard je zadarmo pre všetkých a dostupný v 180 krajinách.

To neznamená, že nemáte prístup k GPT-4 zadarmo. Microsoft Bing AI Chat používa GPT-4 a je úplne zadarmo, otvorený pre všetkých a je dostupný hneď vedľa Bing Search, najväčšieho rivala Google v tomto priestore.

Google I/O 2023 bol plný oznámení o tom, ako PaLM 2 a generatívna integrácia AI zlepší Google Workspace skúsenosti s funkciami AI, ktoré prichádzajú do Dokumentov, Tabuliek, Prezentácií Google, Gmailu a takmer každej služby, ktorú vyhľadávací gigant ponúka. Okrem toho Google potvrdil, že PaLM 2 už bol integrovaný do viac ako 25 produktov Google, vrátane Androidu a YouTube.

Na porovnanie, Microsoft už priniesol funkcie AI do balíka programov Microsoft Office a mnohých svojich služieb. V súčasnosti môžete zažiť obe LLM v ich vlastných verziách podobných ponúk od dvoch konkurenčných spoločností, ktoré sa stretnú v boji o AI.

Keďže však GPT-4 vyšiel skoro a dával si pozor, aby sa vyhol mnohým chybám, ktoré Google urobil s pôvodným Bardom, de facto LLM pre vývojárov tretích strán, startupy a takmer každého, kto chce do svojich služieb začleniť schopný model AI, takže ďaleko. Máme zoznam aplikácií GPT-4, ak si ich chcete pozrieť.

To neznamená, že vývojári neprejdú na PaLM 2 alebo ho aspoň nevyskúšajú, ale Google musí v tomto smere stále dobiehať OpenAI. A skutočnosť, že PaLM 2 je open source, namiesto toho, aby bol uzamknutý za plateným API, znamená, že má potenciál byť rozšírenejší ako GPT-4.

Dokáže PaLM 2 zvládnuť GPT-4?

PaLM 2 je stále veľmi nový, takže odpoveď na to, či môže alebo nemôže prijať GPT-4, zostáva zodpovedať. Avšak so všetkým, čo Google sľubuje, a agresívnym spôsobom, ktorý sa rozhodol použiť na jeho propagáciu, to vyzerá, že PaLM 2 môže GPT-4 zarobiť.

GPT-4 je však stále celkom schopný model a ako už bolo spomenuté, v mnohých porovnaní poráža PaLM 2. To znamená, že niekoľko menších modelov PaLM 2 mu dáva nevyvrátiteľnú výhodu. Gecko je samo o sebe také ľahké, že môže pracovať na mobilných zariadeniach, aj keď je offline. To znamená, že PaLM 2 môže podporovať úplne inú triedu produktov a zariadení, ktoré môžu mať problémy s používaním GPT-4.

Preteky AI sa zahrievajú

So spustením PaLM2 sa preteky o dominanciu AI vyostrili, pretože toto môže byť len prvý dôstojný súper, ktorý sa postaví proti GPT-4. S novším multimodálnym modelom AI s názvom „Gemini“ sa tiež trénuje, Google tu nevykazuje žiadne známky spomalenia.