Používanie miestneho veľkého jazykového modelu nie je pre každého, ale existuje niekoľko dobrých dôvodov, prečo by ste to mohli skúsiť.
Kľúčové poznatky
- Menej cenzúry: Miestne LLM ponúkajú slobodu diskutovať o podnetných témach bez obmedzení kladených na verejných chatbotov, čo umožňuje otvorenejšie konverzácie.
- Lepšie súkromie údajov: Pri používaní lokálneho LLM zostanú všetky vygenerované údaje vo vašom počítači, čím sa zabezpečí súkromie a zabráni sa prístupu spoločností prevádzkujúcich verejne prístupné LLM.
- Offline použitie: Lokálne LLM umožňujú neprerušované používanie vo vzdialených alebo izolovaných oblastiach bez spoľahlivého prístupu na internet, čo predstavuje cenný nástroj v takýchto scenároch.
Od príchodu služby ChatGPT v novembri 2022 sa pojem veľký jazykový model (LLM) rýchlo zmenil z úzkych výrazov pre umelcov AI na módne slovo na perách každého. Najväčším lákadlom miestneho LLM je schopnosť replikovať schopnosti chatbota, ako je ChatGPT, na vašom počítači bez batožiny verzie hostovanej v cloude.
Existujú argumenty pre a proti nastaveniu lokálneho LLM na vašom počítači. Prerušíme humbuk a prinesieme vám fakty. Mali by ste použiť miestnu LLM?
Výhody používania miestnych LLM
Prečo sú ľudia tak medializovaní, keď si založia svoje vlastné veľké jazykové modely na ich počítačoch? Aké sú praktické výhody okrem humbuku a chvastania sa?
1. Menej cenzúry
Keď boli ChatGPT a Bing AI prvýkrát online, veci, ktoré boli obaja chatboti ochotní povedať a urobiť, boli rovnako fascinujúce, ako aj alarmujúce. Bing AI pôsobila vrúcne a milo, akoby mala emócie. ChatGPT bol ochotný použiť nadávky, ak ste pekne požiadali. V tom čase by vám obaja chatboti dokonca pomohli vyrobiť bombu, ak by ste použili správne výzvy. Môže to znieť ako všetky odtiene zla, ale schopnosť urobiť čokoľvek bola symbolom neobmedzených schopností jazykových modelov, ktoré ich poháňali.
Dnes obaja chatboty boli tak prísne cenzurované že vám nepomôžu ani napísať fiktívny kriminálny román s násilnými scénami. Niektorí chatboti AI nebudú ani hovoriť o náboženstve alebo politike. Hoci LLM, ktoré si môžete nastaviť lokálne, nie sú úplne bez cenzúry, mnohé z nich s radosťou urobia veci, ktoré by viedli k zamysleniu, ktoré verejne prístupné chatboty neurobia. Ak teda nechcete, aby vám robot prednášal o morálke pri diskusiách o témach osobného záujmu, správou môže byť vedenie miestnej LLM.
2. Lepšie súkromie údajov
Jedným z hlavných dôvodov, prečo sa ľudia rozhodnú pre lokálny LLM, je zabezpečiť, aby čokoľvek, čo sa deje na ich počítači, zostalo v ich počítači. Keď používate miestne LLM, je to ako mať súkromnú konverzáciu vo vašej obývačke – nikto vonku vás nemôže počúvať. Či už experimentujete s údajmi o svojej kreditnej karte alebo vediete citlivé osobné rozhovory s LLM, všetky výsledné údaje sú uložené iba vo vašom počítači. Alternatívou je použitie verejne prístupných LLM, ako je GPT-4, ktoré poskytujú zodpovedným spoločnostiam prístup k informáciám z vášho chatu.
3. Používanie offline
Keďže internet je široko dostupný a prístupný, offline prístup sa môže zdať ako triviálny dôvod na používanie lokálneho LLM. Offline prístup sa môže stať obzvlášť kritickým na vzdialených alebo izolovaných miestach, kde je internetová služba nespoľahlivá alebo nedostupná. V takýchto scenároch sa miestny LLM fungujúci nezávisle od internetového pripojenia stáva životne dôležitým nástrojom. Umožňuje vám pokračovať v tom, čo chcete, bez prerušenia.
4. Úspora nákladov
Priemerná cena za prístup k schopnému LLM ako GPT-4 alebo Claude 2 je 20 dolárov mesačne. Aj keď sa to nemusí zdať ako alarmujúca cena, za túto sumu stále dostanete niekoľko nepríjemných obmedzení. Napríklad s GPT-4, ku ktorému sa pristupuje cez ChatGPT, vám zostane 50 správ za tri hodiny. Tieto limity môžete prekonať len tak prechod na plán ChatGPT Enterprise, čo by mohlo stáť tisíce dolárov. S miestnou LLM, po nastavení softvéru, nemusíte platiť žiadne mesačné predplatné vo výške 20 USD ani opakujúce sa náklady. Je to ako kúpiť si auto namiesto spoliehania sa na služby spolujazdy. Spočiatku je to drahé, ale časom ušetríte.
5. Lepšie prispôsobenie
Verejne dostupné chatboty AI obmedzili prispôsobenie z dôvodu obáv o bezpečnosť a cenzúru. Pomocou lokálne hosťovaného asistenta AI môžete model plne prispôsobiť svojim špecifickým potrebám. Asistenta môžete vyškoliť na proprietárnych údajoch prispôsobených vašim prípadom použitia, čím sa zlepší relevantnosť a presnosť. Právnik by napríklad mohol optimalizovať svoju miestnu umelú inteligenciu, aby vytvoril presnejšie právne poznatky. Kľúčovou výhodou je kontrola nad prispôsobením vašim jedinečným požiadavkám.
Nevýhody používania lokálnych LLM
Pred prechodom by ste mali zvážiť niektoré nevýhody používania lokálneho LLM.
1. Intenzívne na zdroje
Na spustenie výkonného lokálneho LLM budete potrebovať špičkový hardvér. Myslite na výkonné procesory, veľa pamäte RAM a pravdepodobne aj vyhradený GPU. Nečakajte, že notebook s rozpočtom 400 dolárov poskytne dobrý zážitok. Reakcie budú bolestivo pomalé, najmä pri väčších modeloch AI. Je to ako spustenie špičkových videohier – na optimálny výkon potrebujete silné špecifikácie. Možno budete dokonca potrebovať špeciálne chladiace riešenia. Pointa je, že miestne LLM vyžadujú investíciu do špičkového hardvéru, aby získali rýchlosť a odozvu, ktorú si užívate na webových LLM (alebo dokonca zlepšili). Výpočtové nároky na vašom konci budú značné v porovnaní s používaním webových služieb.
2. Pomalšie reakcie a nižší výkon
Bežným obmedzením lokálnych LLM sú pomalšie časy odozvy. Presná rýchlosť závisí od konkrétneho modelu AI a použitého hardvéru, no väčšina nastavení zaostáva za online službami. Po okamžitých odpovediach od ChatGPT, Bard a ďalších sa miestne LLM môžu cítiť nepríjemne pomalé. Slová pomaly stekajú von, nie sú rýchlo vrátené. Toto neplatí všeobecne, pretože niektoré lokálne nasadenia dosahujú dobrý výkon. Priemerní používatelia však čelia prudkému poklesu zo svižného webového zážitku. Pripravte sa teda na „kultúrny šok“ od rýchlych online systémov po pomalšie lokálne ekvivalenty.
Stručne povedané, pokiaľ nemáte absolútne špičkové nastavenie (hovoríme o AMD Ryzen 5800X3D s Nvidia RTX 4090 a dostatok pamäte RAM na potopenie lode), celkový výkon vášho miestneho LLM nebude porovnateľný s online generatívnymi chatbotmi AI, ktoré ste zvyknutý.
3. Komplexné nastavenie
Nasadenie lokálneho LLM je náročnejšie ako len registrácia do webovej služby AI. S internetovým pripojením môže byť váš účet ChatGPT, Bard alebo Bing AI pripravený na spustenie výzvy v priebehu niekoľkých minút. Nastavenie úplného lokálneho zásobníka LLM vyžaduje sťahovanie rámcov, konfiguráciu infraštruktúry a integráciu rôznych komponentov. Pri väčších modeloch môže tento zložitý proces trvať hodiny, dokonca aj s nástrojmi, ktorých cieľom je zjednodušiť inštaláciu. Niektoré špičkové systémy AI stále vyžadujú hlboké technické znalosti, aby sa dali spustiť lokálne. Takže na rozdiel od webových modelov AI typu plug-and-play si správa vlastnej AI vyžaduje značné technické a časové investície.
4. Obmedzené vedomosti
Veľa miestnych LLM uviazlo v minulosti. Majú obmedzené znalosti o aktuálnom dianí. Pamätáte si, keď ChatGPT nemal prístup na internet? Kedy mohla poskytnúť odpovede len na otázky o udalostiach, ktoré sa udiali pred septembrom 2021? Áno? Podobne ako v prípade skorých modelov ChatGPT, lokálne hostované jazykové modely sa často trénujú iba na údajoch pred určitým dátumom uzávierky. V dôsledku toho im chýba povedomie o najnovšom vývoji po tomto bode.
