7 najlepších lokálnych/offline LLM, ktoré môžete hneď teraz vyskúšať

Používatelia zvyčajne pristupujú k veľkým jazykovým modelom (LLM) pomocou používateľského rozhrania prostredníctvom rozhrania API. Aj keď poskytuje niekoľko výhod, používanie rozhraní API prináša aj obmedzenia, ako je potreba neustáleho internetu pripojenie, obmedzené prispôsobenia, možné bezpečnostné problémy a spoločnosti obmedzujúce možnosti modelu prostredníctvom a paywall.

Vďaka kvantizovaným LLM, ktoré sú teraz k dispozícii na HuggingFace, a v ekosystémoch AI, ako sú H20, Text Gen a GPT4All čo vám umožní načítať LLM závažia do vášho počítača, máte teraz možnosť bezplatnej, flexibilnej a bezpečnej AI.

Aby ste mohli začať, tu je sedem najlepších miestnych/offline LLM, ktoré môžete práve teraz použiť!

1. Hermes GPTQ

Najmodernejší jazykový model doladený pomocou súboru údajov 300 000 inštrukcií od Nous Research. Hermes je založený na Meta LlaMA2 LLM a bol doladený pomocou väčšinou syntetických výstupov GPT-4.

Použitie LlaMA2 ako základného modelu umožňuje spoločnosti Hermes zdvojnásobiť veľkosť kontextu alebo maximálnu veľkosť tokenu 4 096. Je známe, že Hermes spáruje veľkú veľkosť kontextu a architektúru kódovača, že poskytuje dlhé odpovede a nízku mieru halucinácií. Vďaka tomu je Hermes skvelým modelom pre rôzne spracovanie prirodzeného jazyka (NLP) úlohy, ako je písanie kódu, vytváranie obsahu a byť chatbotom.

Existuje niekoľko kvantizácií a verzií nového Hermes GPTQ. Odporúčame vám najskôr vyskúšať model Hermes-Llama2 13B-GPTQ, pretože je to najjednoduchšia verzia na nasadenie a zároveň má skvelý výkon.

2. Falcon Instruct GPTQ

Táto kvantovaná verzia Falconu je založená na architektúre iba dekodéra vyladenej na vrchole surového modelu Flacon-7b od TII. Základný model Falcon bol trénovaný pomocou vynikajúcich 1,5 bilióna tokenov získaných z verejného internetu. Ako model dekodéra založený iba na pokynoch licencovaný pod Apache 2 je Falcon Instruct ideálny pre malé podniky, ktoré hľadajú model na preklad jazyka a zadávanie údajov.

Táto verzia Falconu však nie je ideálna na dolaďovanie a slúži len na odvodzovanie. Ak chcete Falcon doladiť, budete musieť použiť surový model, ktorý môže vyžadovať prístup k školiacemu hardvéru podnikovej úrovne, ako je NVIDIA DGX alebo AMD Instinct AI akcelerátory.

3.GPT4ALL-J Groovy

GPT4All-J Groovy je model len s dekodérom vyladený spoločnosťou Nomic AI a licencovaný pod Apache 2.0. GPT4ALL-J Groovy je založený na pôvodnom modeli GPT-J, o ktorom je známe, že je skvelý na generovanie textu z výziev. GPT4ALL -J Groovy bol vyladený ako model chatu, čo je skvelé pre rýchle a kreatívne aplikácie na generovanie textu. Vďaka tomu je GPT4All-J Groovy ideálny pre tvorcov obsahu, ktorí im pomáhajú pri písaní a tvorivých prácach, či už ide o poéziu, hudbu alebo príbehy.

Bohužiaľ, základný model GPT-J bol trénovaný na súbore údajov iba v angličtine, čo znamená, že aj tento jemne vyladený model GPT4ALL-J môže chatovať a vykonávať aplikácie na generovanie textu v angličtine.

4.WizardCoder-15B-GPTQ

Hľadáte model špeciálne vyladený na kódovanie? Napriek podstatne menšej veľkosti je WizardCoder známy ako jeden z najlepších modelov kódovania, ktorý prekonáva iné modely, ako sú LlaMA-65B, InstructCodeT5+ a CodeGeeX. Tento model bol trénovaný pomocou metódy Evol-Instruct špecifickej pre kódovanie, ktorá automaticky upravuje vaše výzvy tak, aby boli efektívnejšou výzvou súvisiacou s kódovaním, ktorej model lepšie porozumie.

Vďaka kvantovaniu do 4-bitového modelu je teraz WizardCoder možné použiť na bežných počítačoch, kde ho jednotlivci môžu použiť na experimentovanie a ako asistenta kódovania pre jednoduchšie programy a skripty.

5. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ je kvantovaná verzia Wizard Vicuna založená na modeli LlaMA. Na rozdiel od väčšiny LLM uvoľnených pre verejnosť je Wizard-Vicuna necenzurovaný model s odstráneným zarovnaním. To znamená, že model nemá rovnaké bezpečnostné a morálne štandardy ako väčšina modelov.

Aj keď možno predstavuje an Problém s ovládaním zarovnania AI, s necenzurovaným LLM tiež prináša to najlepšie z modelu tým, že môže odpovedať bez akýchkoľvek obmedzení. To tiež umožňuje používateľom pridať svoje vlastné zarovnanie, ako by mala AI konať alebo odpovedať na základe danej výzvy.

6. Orca Mini-GPTQ

Chcete experimentovať s modelom vyškoleným na jedinečnej metóde učenia? Orca Mini je neoficiálna modelová implementácia výskumných prác Orca spoločnosti Microsoft. Bol trénovaný pomocou metódy učenia učiteľ – študent, kde bol súbor údajov plný vysvetlení namiesto iba výziev a odpovedí. Teoreticky by to malo viesť k inteligentnejšiemu študentovi, kde model dokáže pochopiť problém, a nie len hľadať vstupné a výstupné páry, ako napríklad to, ako fungujú typické LLM.

Orca Mini GPTQ s iba tromi miliardami parametrov sa ľahko spúšťa aj na menej výkonných systémoch. Tento model by sa však nemal používať na nič profesionálne, pretože generuje nepravdivé informácie, zaujaté a urážlivé reakcie. Tento model by sa mal použiť na učenie a experimentovanie s Orcou a jej metódami.

7.LlaMA 2 Chat GPTQ

LlaMA 2 je nástupcom pôvodného LlaMA LLM, ktorý priniesol väčšinu modelov na tomto zozname. LlaMA 2 je súbor niekoľkých LLM, každý trénovaný pomocou 7-70 miliárd parametrov. Celkovo bola LlaMA 2 vopred vyškolená pomocou 2 biliónov tokenov údajov prevzatých z verejne dostupných inštrukcií.

LlaMA 2 je určený na komerčné a výskumné použitie. Ako taký sa tento model najlepšie používa po doladení pre lepší výkon pri konkrétnych úlohách. Tento špecifický model LlaMA 2 chatu GPTQ bol doladený a optimalizovaný pre anglický dialóg, vďaka čomu je ideálny model pre spoločnosti a organizácie ako chatbot s malým alebo žiadnym dodatočným školením požadovaný. Podľa podmienok môžu spoločnosti, ktoré majú menej ako 700 miliónov používateľov, používať LlaMA 2 bez platenia akéhokoľvek licenčného poplatku od spoločnosti Meta alebo Microsoft.

Vyskúšajte miestne veľké jazykové modely ešte dnes

Niektoré z vyššie uvedených modelov majú niekoľko verzií z hľadiska parametrov. Vo všeobecnosti verzie s vyššími parametrami prinášajú lepšie výsledky, ale vyžadujú výkonnejší hardvér, zatiaľ čo verzie s nižšími parametrami budú generovať výsledky nižšej kvality, ale môžu bežať na hardvéri nižšej kategórie. Ak si nie ste istí, či váš počítač dokáže spustiť model, skúste najprv zvoliť verziu s nižšími parametrami a potom pokračujte, kým nebudete mať pocit, že pokles výkonu už nie je prijateľný.

Keďže kvantované modely v tomto zozname zaberajú iba niekoľko gigabajtov priestoru a platformy na nasadenie modelov, ako sú GPT4All a Text-Generation-WebUI je možné jednoducho nainštalovať prostredníctvom ich inštalačných programov na jedno kliknutie, pričom vyskúšanie niekoľkých modelov a verzií modelu by nemalo trvať veľa času a úsilia.

Tak na čo čakáš? Vyskúšajte miestny model ešte dnes!