Zatiaľ čo OpenAI vedie cestu pre generatívny vývoj AI, mnohí obviňujú Google, že zaostáva. Aby sme však nezostali pozadu, Google na svojej konferencii Google I/O v roku 2023 spustil nový veľký jazykový model, PaLM 2.
Nový LLM od spoločnosti Google, ktorý má prísť v štyroch rôznych veľkostiach pre celý rad aplikácií, už zjavne poháňa niekoľko služieb Google a mnohé ďalšie pribudnú.
Čo je PaLM 2?
Na Google I/O 2023, ktorá sa konala 10. mája, odhalila generálna riaditeľka Google Sunda Pichai najnovšiu hračku spoločnosti Google: PaLM 2.
Skratka pre Pathways Language Model 2, inovovaný LLM od Googlu je druhou iteráciou PaLM, pričom prvá verzia bude spustená v apríli 2022. Nepamätáte si PaLM? No, v tom čase to bola veľká novinka a vyvolala veľký záujem pre svoju schopnosť trochu konverzovať, rozprávať základné vtipy atď. Rýchly posun vpred o šesť mesiacov a OpenAI GPT-3.5 vyhodil všetko z vody, vrátane PaLM.
Odvtedy, OpenAI spustilo GPT-4, masívny upgrade na GPT-3.5. Zatiaľ čo sa novší model integruje do mnohých nástrojov, najmä do Bing AI Chat od spoločnosti Microsoft, Google sa zameriava na na OpenAI a GPT-4 s PaLM 2 a bude dúfať, že jeho inovovaný LLM dokáže zaplniť to, čo sa zdalo byť značnou medzerou – spustenie Google Bard bolo sotva burcujúce úspech.
Pichai oznámil, že PaLM 2 bude k dispozícii v štyroch rôznych veľkostiach modelu: Gecko, Otter, Bison a Unicorn.
Gecko je také ľahké, že môže pracovať na mobilných zariadeniach a je dostatočne rýchle pre skvelé interaktívne aplikácie na zariadení, dokonca aj keď je offline. Táto všestrannosť znamená, že PaLM 2 môže byť vyladený tak, aby podporoval celé triedy produktov viacerými spôsobmi, aby pomohol viacerým ľuďom.
Vzhľadom na to, že Gecko dokáže spracovať približne 20 tokenov za sekundu – tokeny sú hodnoty priradené skutočným slovám na použitie v generatívnych modeloch AI – zdá sa, že to pravdepodobne zmení hru pre mobilné nasaditeľné nástroje AI.
Tréningové údaje PaLM 2
Google nebol úplne ústretový s tréningovými údajmi PaLM 2, čo je pochopiteľné vzhľadom na to, že boli práve vydané. Ale Google Správa PaLM 2 [PDF] povedal, že chce, aby mal PaLM 2 hlbšie pochopenie matematiky, logiky a prírodných vied a že veľká časť jeho tréningového korpusu sa zameriavala na tieto témy.
Napriek tomu stojí za zmienku, že PaLM nebol žiadny flákač. Kedy Google odhalila PaLM, potvrdila, že bola trénovaná na 540 miliardách parametrov, čo bolo v tom čase kolosálne číslo.
OpenAI GPT-4 údajne používa viac ako jeden bilión parametrov, pričom niektoré špekulácie uvádzajú toto číslo až na 1,7 bilióna. Je to istá stávka, že keďže Google chce, aby PaLM 2 priamo konkuroval LLM od OpenAI, bude mať prinajmenšom porovnateľné číslo, ak nie viac.
Ďalším významným prínosom pre PaLM 2 sú údaje o jazykovom školení. Google vyškolil PaLM 2 vo viac ako 100 jazykoch, aby mu poskytol hlbšie a kontextové porozumenie a zvýšil jeho možnosti prekladu.
Nejde však len o hovorené jazyky. Prepojením s dopytom spoločnosti Google po PaLM 2 na poskytovanie lepšieho vedeckého a matematického uvažovania, LLM má bol tiež vyškolený vo viac ako 20 programovacích jazykoch, čo z neho robí fenomenálny prínos pre programátorov.
PaLM 2 už poháňa služby Google, ale stále vyžaduje jemné doladenie
Nebude to dlho trvať, kým sa nám dostane do rúk PaLM 2 a uvidíme, čo dokáže. Pri troche šťastia bude spustenie akýchkoľvek aplikácií a služieb PaLM 2 lepšie ako Bard.
Ale možno ste už (technicky!) PaLM 2 používali. Google potvrdil, že PaLM 2 je už nasadený a používa sa v 25 svojich produktoch vrátane Androidu, YouTube, Gmail, Google Docs, Google Slides, Google Sheets a ďalších.
Správa PaLM 2 však tiež odhaľuje, že je stále potrebné vykonať veľa práce, najmä pokiaľ ide o toxické reakcie v rôznych jazykoch.
Napríklad, keď sú špecificky podávané toxické výzvy, PaLM 2 generuje toxické reakcie viac ako 30 percent času. Okrem toho v špecifických jazykoch – angličtine, nemčine a portugalčine – PaLM 2 poskytoval toxické reakcie viac viac ako 17 percent času, pričom výzvy zahŕňajúce rasovú identitu a náboženstvo presadzujú toto číslo vyššie.
Bez ohľadu na to, do akej miery sa výskumníci pokúšajú vyčistiť tréningové údaje LLM, je nevyhnutné, aby niektorí prepadli. Ďalšou fázou je pokračovať v tréningu PaLM 2 na zníženie týchto toxických reakcií.
Je to obdobie boomu pre veľké jazykové modely
OpenAI nebolo prvé, kto spustil veľký jazykový model, ale jeho modely GPT-3, GPT-3.5 a GPT-4 nepochybne rozsvietili modrý dotykový papier na generatívnej AI.
PaLM 2 od Google má nejaké problémy, ktoré treba vyriešiť, ale to, že sa už používa v niekoľkých službách Google, svedčí o dôvere, ktorú má spoločnosť vo svoje najnovšie LLM.
