Prečo je ChatGPT-4 taký pomalý v porovnaní s ChatGPT-3.5?

S najnovšou verziou ChatGPT, GPT-4, vydanou v marci 2023, sa mnohí teraz čudujú, prečo je taká pomalá v porovnaní s jej predchodcom GPT-3.5. Takže, aký je tu hlavný dôvod?

Prečo je ChatGPT-4 taký pomalý a mali by ste sa radšej držať GPT-3.5?

Čo je ChatGPT-4?

ChatGPT-4 je najnovší model Chatbot OpenAI, všeobecne známy ako ChatGPT. ChatGPT je poháňaný umelou inteligenciou, ktorá mu umožňuje odpovedať na vaše otázky a výzvy oveľa lepšie ako predchádzajúce chatboty. ChatGPT využíva rozsiahly jazykový model poháňaný GPT (Generative Pre-trained Transformer) na poskytovanie informácií a obsahu používateľom a zároveň je schopný konverzovať.

ChatGPT má širokú škálu možností, vďaka čomu je užitočný pre milióny ľudí. ChatGPT môže napríklad písať príbehy, formulovať vtipy, prekladať text, vzdelávať používateľov a podobne. Zatiaľ čo ChatGPT je možné použiť aj na viac nezákonných činov, ako napr tvorba malvéru, jeho všestrannosť je do istej miery revolučná.

Model GPT-4 od ChatGPT

bol vydaný 14. marca 2023. Táto verzia ChatGPT je navrhnutá tak, aby lepšie porozumela emocionálnemu jazyku prostredníctvom textu a zároveň lepšie porozumela rôznym jazykovým dialektom a spracovaniu obrázkov. GPT-4 dokáže viesť aj dlhšie konverzácie a efektívne reagovať na dlhšie výzvy používateľov.

Okrem toho parametre GPT-4 do značnej miery prevyšujú parametre GPT-3.5. Parametre ChatGPT určujú, ako AI spracováva a reaguje na informácie. Stručne povedané, parametre určujú schopnosť chatbota komunikovať s používateľmi. Zatiaľ čo GPT-3.5 má 175 miliárd parametrov, GPT-4 má neuveriteľných 100 biliónov až 170 biliónov (povráva sa, že OpenAI toto číslo nepotvrdilo).

Bol to OpenAI GPT-3.5, ktorý bol použitý na napájanie ChatGPT, ktorý je teraz najpopulárnejším chatbotom AI na svete. Takže GPT-3.5 urobil nepopierateľnú značku v oblasti AI. Ale veci v technickom priemysle vždy napredujú, takže nie je prekvapením, že GPT-3.5 má teraz nástupcu v GPT-4.

GPT-4 však v žiadnom prípade nie je dokonalý. V skutočnosti spôsobuje zdĺhavá odozva GPT-4 značný rozruch. Poďme sa teda pozrieť na tento problém a prečo sa to môže stať.

ChatGPT-4 je pomalý

Mnohí si pri vydaní GPT-4 všimli, že nový chatbot OpenAI bol neuveriteľne pomalý. To zanechalo množstvo používateľov frustrovaných, pretože GPT-4 mal byť krokom nahor oproti GPT-3.5, nie späť. Výsledkom je, že používatelia GPT-4 využívajú online platformy, ako je Reddit a komunitná rada OpenAI, aby o tomto probléme diskutovali.

Zapnuté Komunitné fórum OpenAI, množstvo používateľov prišlo s frustráciou z oneskorenia GPT-4. Jeden používateľ uviedol, že GPT-4 bol na jeho strane „extrémne pomalý“ a že dokonca aj malé požiadavky na chatbota viedli k nezvyčajne dlhým oneskoreniam viac ako 30 sekúnd.

Ostatní používatelia sa rýchlo podelili o svoje skúsenosti s GPT-4, pričom jeden z nich pod príspevkom poznamenal, že „rovnaký hovor s rovnakými dátami môže trvať až 4-krát pomalšie ako 3,5 turbo“.

V inom Príspevok na komunitnom fóre OpenAI, používateľ poznamenal, že ich výzvy sa niekedy stretávajú s „chyba v telesnom prúde“, výsledkom čoho nie je žiadna odpoveď. V tom istom vlákne iná osoba uviedla, že nedokázali dosiahnuť, aby GPT-4 „úspešne odpovedal a kompletný skript." Ďalší používateľ poznamenal, že pri pokuse o použitie neustále narážali na chyby siete GPT-4.

Zdá sa, že s oneskoreniami a neúspešnými alebo neúplnými odpoveďami je GPT-4 posiaty problémami, ktoré používateľov rýchlo odradia.

Tak prečo sa to vlastne deje? Je niečo zlé s GPT-4?

Prečo je GPT-4 pomalý v porovnaní s GPT-3.5?

Vo vyššie uvedenom príspevku komunitného fóra OpenAI jeden používateľ odpovedal, že oneskorenie bolo spôsobené „aktuálnym problémom s celou infraštruktúrou preťaženie,“ dodáva, že existuje výzva, ktorú predstavuje „riešenie škálovateľnosti v tak krátkom časovom rámci s takouto popularitou a počtom používateľov chatu a API."

V Príspevok na Reddit nahraný do subredditu r/singularity používateľ uviedol niekoľko možných dôvodov pomalosti GPT-4, počnúc väčšou veľkosťou kontextu. V rámci ekosystému GPT veľkosť kontextu označuje, koľko informácií môže daná verzia chatbotu spracovať a následne produkovať. Zatiaľ čo veľkosť kontextu GPT-3.5 bola 4K, veľkosť GPT-4 je dvojnásobná. Takže veľkosť kontextu 8K môže mať vplyv na celkové rýchlosti GPT-4.

Autor Redditu tiež naznačil, že vylepšená ovládateľnosť a kontrola GPT-4 by mohla hrať úlohu v časoch spracovania chatbota. Tu autor uviedol, že GPT-4 je väčšia ovládateľnosť a kontrola halucinácií a nevhodné jazyk môže byť vinníkom, pretože tieto funkcie pridávajú ďalšie kroky k metóde spracovania GPT-4 informácie.

Okrem toho bolo navrhnuté, že schopnosť GPT-4 spracovávať obrázky by mohla veci spomaliť. Táto užitočná funkcia je milovaná mnohými, ale môže mať háčik. Vzhľadom na to, že sa hovorí, že GPT-4 trvá 10-20 sekúnd, kým spracuje poskytnutý obrázok, je tu šanca, že tento komponent predlžuje časy odozvy (hoci to nevysvetľuje oneskorenia, s ktorými sa stretávajú používatelia, ktorí poskytujú iba textové výzvy).

Iní používatelia naznačili, že novosť ChatGPT-4 hrá veľkú úlohu v týchto oneskoreniach. Inými slovami, niektorí si myslia, že najnovší chatbot OpenAI musí zažiť nejaké rastúce bolesti, kým sa dajú odstrániť všetky nedostatky.

Ale najväčší dôvod, prečo je GPT-4 pomalý, je počet parametrov, ktoré môže GPT-4 použiť oproti GPT-3.5. The fenomenálny nárast parametrov jednoducho znamená, že novšiemu modelu GPT trvá spracovanie informácií a odozva dlhšie presne. Lepšie odpovede získate so zvýšenou zložitosťou, no dostať sa k nim trvá trochu dlhšie.

Mali by ste si vybrať GPT-3.5 pred GPT-4?

Takže s ohľadom na tieto problémy by ste mali použiť GPT-3.5 alebo GPT-4?

V čase písania tohto článku sa zdá, že GPT-3.5 je rýchlejšia možnosť ako GPT-4. Toľko používateľov zažilo oneskorenia, že je pravdepodobné, že problém s časom je prítomný všade, nielen u niekoľkých jednotlivcov. Ak teda ChatGPT-3.5 v súčasnosti spĺňa všetky vaše očakávania a nechcete čakať na odpoveď výmenou za ďalšie funkcie, možno bude múdre zostať zatiaľ pri tejto verzii.

Mali by ste si však uvedomiť, že GPT-4 nie je len GPT-3.5, ale je aj pomalší. Táto verzia chatbota OpenAI má oproti svojmu predchodcovi množstvo výhod. Ak hľadáte pokročilejšieho AI chatbota a nevadí vám dlhšie čakať na odpovede, možno sa oplatí prejsť z GPT-3.5 na GPT-4.

Postupom času sa oneskorenia GPT-4 môžu zmenšiť alebo úplne vyriešiť, takže trpezlivosť tu môže byť cnosť. Či už teraz skúsite prejsť na GPT-4 alebo ešte chvíľu počkáte, aby ste videli, ako sa veci vyvinú s touto verziou, stále môžete zo šikovného malého chatbota OpenAI vyťažiť veľa.

GPT-4 je pokročilejší, ale prichádza s oneskorením

Zatiaľ čo GPT-4 má oproti GPT-3.5 množstvo pokročilých funkcií, jeho značné oneskorenia a chyby odozvy spôsobili, že je pre niektorých nepoužiteľný. Tieto problémy môžu byť vyriešené v blízkej budúcnosti, ale zatiaľ musí GPT-4 určite prekonať nejaké prekážky, kým bude prijatý v širšom meradle.