Čo je limit tokenov ChatGPT a môžete ho prekročiť?

ChatGPT zachvátil technologický svet a nechýbajú ani vylepšenia a aktualizácie. Ale napriek použitiu pokročilých technológií existuje v rámci aktuálnej verzie pomerne veľa obmedzujúcich faktorov.

Jedným z takýchto faktorov je systém tokenov, ktorý naďalej narúša vývojový cyklus a zráža užitočnosť aplikácie na kolená. Ak používate ChatGPT, možno budete chcieť vedieť o tokenoch ChatGPT a o tom, čo robiť, keď sa vám minú tokeny.

Vráťme sa o krok späť a dáme vám prehľad o všetkom, čo je potrebné vedieť o základných pracovných mechanizmoch aplikácie.

Čo je to token ChatGPT?

Ak prejdete cez fasádu aplikácie, všetko, čo uvidíte, je počítačový jazyk, ktorý poslúcha vaše príkazy a dáva vám odpovede, ktoré hľadáte. Backend je však len veľa kódu, ktorý sa učí každú minútu a dostáva sa do tempa s otázkami, na ktoré odpovedá.

ChatGPT prevádza každé slovo na čitateľný token vždy, keď položíte otázku. Aby sme to ďalej rozdelili, tokeny sú textové fragmenty a každý programovací jazyk používa inú sadu hodnôt tokenov na pochopenie požiadaviek.

Keďže počítače nerozumejú textovým hodnotám priamo, rozložia ich na kombináciu čísel, ktoré sa často nazývajú vloženia. Môžete dokonca zvážiť vloženia ako Python zoznamy, ktoré pripomínajú zoznam súvisiacich čísel, ako napríklad [1.1,2.1,3.1,4.1…n].

Keď ChatGPT vezme počiatočný vstup, pokúsi sa predpovedať ďalší možný vstup na základe predchádzajúcich informácií. Vyberie celý zoznam predchádzajúcich tokenov a pomocou syntézy kódovania sa pokúsi zabrániť následnému vstupu používateľa. Využíva a predpovedá jeden token naraz, aby jazyk jednoduchšie pochopil použitie.

Na zlepšenie predpovedí a zlepšenie presnosti vyberie celý zoznam vložení a prenesie ho cez vrstvy transformátora, aby vytvoril asociácie medzi slovami. Napríklad, keď položíte otázku ako „Kto je Thomas Edison?“, ChatGPT vyberie najhodnotnejšie slová zo zoznamu: SZO a Edison.

Transformátorové vrstvy majú svoju úlohu v celom procese. Tieto vrstvy sú formou architektúry neurónovej siete trénovanej na vyberanie najrelevantnejších kľúčových slov z reťazca slov. Tréningový proces však nie je taký jednoduchý, ako sa zdá, pretože trénovanie vrstiev transformátora na gigabajtoch údajov trvá dlho.

Aj keď ChatGPT predpovedá naraz iba jeden token, jeho automatická regresívna technológia je naprogramovaná tak, aby predpovedala a vrátila sa do primárneho modelu na uvoľnenie výstupu. Model je vyladený tak, aby bežal iba raz pre každý token, takže výsledok sa tlačí po jednom slove. Výstup sa automaticky zastaví, keď aplikácia narazí na príkaz stop tokenu.

Ak sa napríklad pozriete na kalkulačku tokenov na webovej stránke ChatGPT, môžete si vypočítať svoje otázky na základe používania tokenov.

Zadajte nejaký vzorový text, napríklad:

Ako mám vysvetliť použitie tokenov v ChatGPT?

Podľa kalkulačky je v tomto reťazci 46 znakov, čo spotrebuje 13 tokenov. Ak to rozdelíte na Token ID, vyzerá to asi takto:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Podľa Kalkulačka tokenov OpenAI:

Užitočné pravidlo je, že jeden token vo všeobecnosti zodpovedá ~ 4 znakom textu pre bežný anglický text. To znamená približne ¾ slova (takže 100 tokenov ~= 75 slov).

Zadarmo vs. Platené tokeny

Aby ste získali predstavu o tom, čo je v aplikácii ChatGPT, OpenAI vám ponúka bezplatné obmedzené predplatné tokenov. Ak chcete experimentovať s rozhraním ChatGPT API, použite bezplatný kredit 5 USD, ktorý je platný tri mesiace. Po vyčerpaní limitu (alebo po uplynutí skúšobnej doby) môžete priebežne platiť, čím sa maximálna kvóta zvýši na 120 USD.

ChatGPT Plus: Stojí za to platené predplatné?

Ak chcete ísť o niečo vyššie, môžete sa dokonca zaregistrovať Ponuka ChatGPT Plus, čo vás vráti o 20 dolárov mesačne. Vzhľadom na rozsiahle používanie a popularitu celého modelu AI sú tu hlavné funkcie modelu plateného predplatného:

• Prístup k ChatGPT, aj keď je webová stránka prerušená kvôli prílevu používateľov
• Vylepšená miera odozvy
• Prístup k novým funkciám a vydaniam z prvej ruky

Ak máte pocit, že tieto funkcie stoja za to a sú vo vašej uličke, môžete sa zaregistrovať na platené predplatné a okamžite ich využívať.

Cenová štruktúra tokenov ChatGPT

K dispozícii je niekoľko rôznych modelov aplikácií, ktoré si môžete vybrať podľa svojich požiadaviek:

Ada je najrýchlejší, zatiaľ čo DaVinci je najvýkonnejší model z tohto zoznamu modelov. Výzvou je otázka, zatiaľ čo dokončenie sa zaoberá odpoveďami.

Maximálne limity tokenov

Každý model vám umožňuje nastaviť maximálny počet tokenov v rámci každého dotazu. Táto metóda riadi maximálny počet tokenov, ktoré aplikácia vygeneruje v jednom volaní, čím obmedzuje výstup. Funkcia max_token je celkom užitočná, najmä ak chcete kontrolovať dĺžku svojho výstupu a zároveň sa vyhnúť nadmernému využívaniu tokenov a kreditov. Predvolená dĺžka je pevne stanovená na 2048 tokenov, zatiaľ čo maximum je možné nastaviť na 4096 tokenov.

Obmedzenie používania tokenu môže viesť ku krátkym odpovediam, čo môže obmedziť výstup a narušiť vašu skúsenosť s používaním.

ChatGPT3 má horný limit 4096; so zavedením ChatGPT4 sa však limity tokenov zvyšujú takto:

Ak je váš výstup skrátený, musíte zvýšiť zadaný maximálny limit z vášho dashboardu. Pamätajte, že súčet vašich výziev a maximálneho počtu žetónov by mal byť vždy menší ako maximálny limit žetónov modelu.

Napríklad v rámci modelu ChatGPT je prompt_tokens + max_tokens <= 4096 žetóny.

Naučte sa ovládať výzvy ChatGPT, aby ste dosiahli čo najlepšie výsledky

Bez ohľadu na to, ako používate aplikáciu riadenú AI, je pravdepodobné, že budete musieť vymyslieť spôsoby, ako sa inteligentne pohrať so svojimi otázkami a frázami. V závislosti od vašich vzorov používania budete pravdepodobne používať ChatGPT vo veľkej miere pre každú úlohu.

Ak chcete dosiahnuť najlepšie výsledky, musíte sa naučiť pracovať s metodikou tokenov a zlepšiť svoje zručnosti, aby ste zaistili, že vaše limity používania zostanú nedotknuté a zároveň vám poskytnú najlepšie možné odpovede.