K dispozícii je veľa chatbotov poháňaných AI, ale ktorý používa najlepší LLM? Tu je návod, ako môžete porovnať LLM, aby ste zistili, ktorý je najlepší.
S niekoľkými chatbotmi dostupnými online môže byť mimoriadne ťažké vybrať ten, ktorý vyhovuje vašim potrebám. Hoci môžete manuálne porovnať ľubovoľné dva chatboty, bude to vyžadovať veľa času a úsilia.
Lepším a jednoduchším spôsobom je použiť Chatbot Arena na porovnanie rôznych LLM, ktoré poháňajú populárne chatboty. Ponúka niekoľko režimov na porovnávanie rôznych modelov, ktoré vysvetlíme nižšie.
Čo je Chatbot Arena?
Chatbot Arena, ktorú vytvoril LMSYS Org, je platforma na porovnávanie rôznych LLM. Na hodnotenie rôznych modelov používa systém Elo Rating.
Chatbot Arena ponúka používateľom niekoľko spôsobov, ako porovnávať a hodnotiť LLM. Na základe odoslanej spätnej väzby Chatbot Arena zaraďuje rôzne LLM do verejnej rebríčka. Projekt je sponzorovaný spoločnosťou HuggingFace, open-source alternatíva k ChatGPT.
Ako porovnať anonymné LLM s Chatbot Arena
Bojový režim Chatbot Arena vám umožňuje anonymne porovnávať LLM. Napríklad môžete porovnajte ChatGPT (GPT 3.5) a Claude. To znamená, že samotná Chatbot Arena vyberie ľubovoľné dva jazykové modely a bez zverejnenia ich názvov vám ich umožní porovnať.
Keď zadáte prvú výzvu, Chatbot Arena načíta odpovede z oboch modelov a prezentuje ich vedľa seba. Platforma vám umožňuje regenerovať odpovede (pre obe LLM) a vymazať históriu, aby ste mohli začať inú konverzáciu. Môžete klásť ďalšie otázky, kým nevyberiete jasného víťaza.
Potom si môžete vybrať, či je lepší model A alebo B. Pri výbere víťaza Chatbot Arena odhalí mená oboch robotov. Tento režim funguje skvele, pretože vaše rozhodnutie nie je ovplyvnené predchádzajúcim vnímaním alebo obľúbenosťou modelov. Chatbot Arena vám tiež umožňuje upraviť parametre, ako je teplota, Top P a maximálne výstupné tokeny.
Ako porovnať vybrané LLM s Chatbot Arena
Ak chcete porovnať akékoľvek dva konkrétne LLM, môžete prepnúť do režimu vedľa seba v Chatbot Arena. Okrem toho, že si LLM môžete vybrať sami, tento režim funguje takmer rovnako ako bojový režim. Môžete upravovať parametre, regenerovať odpovede, vymazať históriu a nakoniec vybrať víťaza.
Počet LLM dostupných v tomto režime je však obmedzený. Môžete si vybrať rôzne verzie Llama 2, Vicuna a ChatGLM. Hoci populárne LLM, ako GPT-4, GPT-3.5, Claude 1, Claude 2 atď., sú momentálne v tomto režime nedostupné, Chatbot Arena ich plánuje pridať.
Porovnajte LLM pomocou Chatbot Arena
Či už hľadáte vhodného chatbota pre vaše potreby alebo len chcete otestovať rôzne LLM, Chatbot Arena je skvelá platforma.
Poskytuje zjednodušený spôsob porovnávania rôznych jazykových modelov vedľa seba. A keďže si udržiava rebríček na základe spätnej väzby od používateľov, môžete si priamo prezerať poradie rôznych modelov bez toho, aby ste sami spúšťali testy.
