Ako spustiť veľký jazykový model v systéme Linux (a prečo by ste mali)

Veľké jazykové modely majú potenciál zmeniť spôsob, akým žijete a pracujete, a dokážu viesť konverzácie a odpovedať na otázky s rôznym stupňom presnosti.

Ak ho chcete použiť, zvyčajne potrebujete účet u poskytovateľa LLM a prihlásiť sa prostredníctvom webovej stránky alebo vyhradenej aplikácie. Vedeli ste však, že v systéme Linux môžete spustiť svoj vlastný veľký jazykový model úplne offline?

Prečo spustiť veľký jazykový model v systéme Linux?

Veľké jazykové modely (LLM) sú v dnešnej dobe všade a dokážu spracovať prirodzený jazyk a poskytnúť vhodné odpovede, ktoré vás môžu oklamať, aby ste si mysleli, že odpovedal človek. Microsoft uvádza na trh novú verziu Bing poháňanú AI, zatiaľ čo Alphabet's Bard je teraz neoddeliteľnou súčasťou vyhľadávania Google.

Mimo vyhľadávacích nástrojov môžete používať takzvané „AI chatboty“ na zodpovedanie otázok, písanie poézie alebo dokonca na robenie domácich úloh.

Ale prístupom k LLM online ste závislí na dobrej vôli poskytovateľa tretej strany – ktorú možno kedykoľvek stiahnuť.

Tiež sa na vás vzťahujú obmedzenia používania. Požiadajte OpenAI, aby napísala 6000-slovnú erotickú novelu odohrávajúcu sa napríklad v nacistickom Nemecku, a dostanete odpoveď v zmysle „Ospravedlňujem sa, ale nebudem môcť pre vás vygenerovať ten príbeh.“

Všetko, čo zadáte do online LLM, sa použije na ich ďalšie školenie a údaje, ktoré možno budete chcieť zostať dôverné, môžu byť v budúcnosti vypľúvané ako súčasť odpovede na otázku niekoho iného.

Máte tiež nedostatok služieb, pretože systém je zaplavený používateľmi a núkajú vás prihlásiť sa na odber, takže máte prístup k platforme, keď je dopyt vysoký.

Dalai je bezplatná a open-source implementácia Meta's LLaMa LLM a Stanford's Alpaca. Pobeží pohodlne na skromnom hardvéri a poskytuje praktické webové rozhranie a celý rad šablón výziev – takže sa môžete pýtať na čokoľvek ak chcete, bez obáv, že správca zatvorí váš účet, LLM odmietne odpovedať alebo vaše pripojenie pokles.

Keď nainštalujete LLM lokálne na Linux, je váš a môžete ho používať, ako chcete.

Ako nainštalovať Dalai na Linuxe

Najjednoduchší spôsob, ako nainštalovať Dalai na Linux, je použiť Docker a Docker Compose. Ak ich ešte nemáte, pozrite si našu príručku, ako na to nainštalujte Docker a Docker Compose.

Keď to prekáža, ste pripravení začať inštalovať Dalai. Naklonujte úložisko Dalai GitHub a pomocou príkazu cd sa doň presuňte:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

Ak chcete spustiť Dalai s webovým rozhraním, najprv vytvorte súbor Docker Compose:

zostava docker-compose

Docker Compose stiahne a nainštaluje Python 3.11, Node Version Manager (NVM) a Node.js.

V siedmej z deviatich fáz sa zdá, že zostava zamrzne, keď Docker Compose stiahne Dalai. Nebojte sa: skontrolujte využitie šírky pásma, aby ste sa uistili, že sa niečo deje, a simulujte vývoj virtuálnych organizmov vo vašom termináli kým čakáš.

Nakoniec sa vrátite do príkazového riadka.

Modely Dalai a LLaMa/Alpaca vyžadujú na spustenie veľa pamäte. Aj keď neexistuje žiadna oficiálna špecifikácia, dobrý hrubý sprievodca je 4 GB pre model 7B, 8 GB pre model 13B, 16 GB pre model 30B a 32 GB pre model 65B.

Modely Alpaca sú relatívne malé, pričom model 13B dosahuje skromných 7,6 GB, ale hmotnosti LLaMA môžu byť obrovské: ekvivalentné 13B sťahovanie má kapacitu 60,21 GB a 65B model zaberie na vašom pevnom disku úžasných pol terabajtu. disk.

Rozhodnite sa, ktorý model je pre vaše prostriedky najvhodnejší, a nainštalujte ho pomocou nasledujúceho príkazu:

docker-compose spustiť dalai npx dalai alpaca install 13B

alebo:

docker-compose spustiť dalai npx dalai llama install 13B

Existuje šanca, že modely stiahnuté cez Dalai môžu byť poškodené. Ak je to tak, vezmite si ich z Objímajúca tvár namiesto toho.

Po návrate do príkazového riadka otvorte Docker Compose v oddelenom režime:

docker-zložiť -d

Skontrolujte, či nádoba funguje správne pomocou:

docker-compose ps

Ak všetko funguje ako má, otvorte webový prehliadač a zadajte localhost: 3000 v paneli s adresou.

Bavte sa s vlastným veľkým jazykovým modelom v systéme Linux

Po otvorení webového rozhrania sa zobrazí textové pole, do ktorého môžete písať svoje výzvy.

Písanie efektívnych výziev je ťažké a vývojári Dalai užitočne poskytli celý rad šablón, ktoré vám pomôžu získať užitočnú odpoveď od Dalai.

Toto sú Dialóg AI, Chatbot, Predvolené, Inštrukcia, Prepísať, Preložiť, a Tweet-sentiment.

Ako by ste očakávali, Dialóg AI a Chatbot šablóny sú štruktúrované spôsobom, ktorý vám umožňuje viesť s LLM určitý druh konverzácie. Hlavný rozdiel medzi nimi je v tom, že chatbot má byť „vysoko inteligentný“, zatiaľ čo AI-Dialog je „užitočný, láskavý, poslušný, čestný a pozná svoje hranice“.

Samozrejme, toto je vaša „AI“ a ak sa vám to páči, môžete výzvu zmeniť tak, aby bol chatbot hlúpy a vlastnosti dialógu AI boli „sadistické“ a „neužitočné“. Je to na tebe.

Vyskúšali sme si Preložiť skopírovaním úvodného odseku správy BBC a požiadaním Dalaia, aby ho preložil do španielčiny. Preklad bol dobrý a keď sme ho prešli cez Google Translate, aby sme ho vrátili späť do angličtiny, zistili sme, že je celkom čitateľný a odráža fakty a sentiment pôvodného diela.

Rovnako tak, Prepísať šablóna presvedčivo pretavila text do úvodu nového článku.

The Predvolené a Inštrukcia výzvy sú štruktúrované tak, aby vám pomohli klásť otázky alebo priamo inštruovať Dalai.

Presnosť odozvy Dalai sa bude značne líšiť v závislosti od modelu, ktorý používate. Model 30B bude oveľa užitočnejší ako model 7B. Ale aj tak vám pripomenieme, že LLM sú jednoducho sofistikované systémy na uhádnutie ďalšieho slova vo vete.

Ani modely 7B, ani 13B Alpaca neboli schopné poskytnúť presné 200-slovné zhrnutie poviedky, „Cat in the Rain“ od Ernesta Hemingwaya a obaja vymysleli dôkladne presvedčivé dejové línie a detaily o tom, o aký príbeh ide obsahoval.

A zatiaľ čo „užitočný, láskavý, poslušný, čestný“ AI-Dialog, ktorý „pozná svoje hranice“ a „vysoko inteligentný“ Chatbot, sa bude brániť kontroverzné výzvy, môžete dať Dalaiovi priamu inštrukciu alebo predvolenú požiadavku a napíše, čo sa vám páči – akokoľvek chcete to.

Veľký jazykový model na vašom počítači so systémom Linux je váš

Spustením veľkého jazykového modelu na vašom vlastnom Linuxovom boxe nie ste predmetom dohľadu ani odňatia služby. Môžete ho použiť, ako uznáte za vhodné, bez obáv z dôsledkov porušenia pravidiel pre firemný obsah.

Ak máte málo výpočtových zdrojov, môžete dokonca spustiť LLM lokálne na skromnom Raspberry Pi.