4 príklady, ktoré ukazujú, že nemôžete dôverovať ZeroGPT a iným nástrojom na detekciu AI

AI chatboty sú nepochybne výkonné a užitočné nástroje. Schopnosť rozlišovať medzi obsahom vytvoreným človekom a obsahom AI sa však stáva dôležitou témou.

Na vyriešenie tohto problému sa objavili nástroje ako ZeroGPT. Sú navrhnuté tak, aby rozlišovali medzi AI a obsahom vytvoreným ľuďmi. Ale fungujú?

Pozrime sa bližšie na nástroje na detekciu AI a uvidíme, či dokážu rozlíšiť medzi ľudským textom a textom vygenerovaným AI.

Hovorí sa, že dôkaz pudingu je v jedení. Takže vyskúšajme niekoľko testov a uvidíme, aké efektívne sú tieto nástroje. Nie je možné otestovať každý nástroj, preto testujeme jeden z najpopulárnejších nástrojov – ZeroGPT.

Čo sa týka materiálu, mysleli sme si, že by bolo celkom zábavné vyskúšať ChatGPT napísať úvod k tomuto článku a potom ho porovnať s úvodom „vytvoreným človekom“:

Prvý test: Porovnanie úvodu článku vytvoreného človekom a AI

Prvá vec, ktorú sme urobili, bolo, že ChatGPT vytvoril úvod. Zadali sme názov a neposkytli sme k nemu žiadne ďalšie informácie. Pre poriadok sme na test použili GPT-3.5.

Potom sme text skopírovali a vložili do ZeroGPT. Ako vidíte, výsledky boli menej ako hviezdne.

Nenápadný začiatok, ale ilustruje, aké efektívne sú chatboty AI. Na dokončenie testu sme nechali ZeroGPT analyzovať úvodný koncept vytvorený ľuďmi.

Aspoň v tejto časti je to správne. Celkovo ZeroGPT v tomto kole neuspel. Zistilo sa, že aspoň časť úvodu vygenerovaného AI bola podozrivá, ale nedokázala zdôrazniť konkrétne problémy.

Druhý test: Falošný pozitívny problém

S rastúcim využívaním ChatGPT a ďalších nástrojov AI sa zvyšuje pravdepodobnosť, že sa niekto dozvie alebo bude počuť o niekom, kto je konfrontovaný s tvrdeniami, že jeho práca bola vygenerovaná AI. Tieto obvinenia sú jedným z vážnejších problémov s nástrojmi ChatGPT a AI na detekciu, ako je ZeroGPT, pretože tento druh chyby môže poškodiť reputáciu a ovplyvniť živobytie.

K falošným pozitívam dochádza, keď je obsah vytvorený ľuďmi nesprávne označený ako dielo AI. Ako ukazuje príklad nižšie, problém sa dá ľahko replikovať. Som vášnivý rybár, a tak som sa rozhodol napísať úvod k imaginárnemu článku o rybárčení na Floride. Potom som nechal ZeroGPT analyzovať text - označilo to, že text bol 100% vygenerovaný AI.

Aby som bol spravodlivý, smeroval som k tomuto výsledku. Ponechal som text všeobecný a použil som „predajný“ jazyk. Ale pointa, že to napísal človek, zostáva rovnako platná. Nie je to nepríjemnosť alebo niečo, nad čím sa dá len pokrčiť plecami. Chyby, ako je táto, môžu mať vážne následky pre spisovateľov, študentov a iných profesionálov, ktorí vytvárajú písomné diela.

Tretí test: Testovanie ZeroGPT na beletrii

Pre tretí test použijeme ChatGPT a požiadame ho, aby napísal nejakú fikciu. Aby sme to urobili, vytvorili sme scenár a vyzvali ChatGPT, aby napísal krátky úvod do fiktívneho príbehu.

Nechali sme to jednoducho a požiadali sme len o napísanie úvodu k príbehu o dvoch cudzincoch, ktorí sa stretli na železničnom nástupišti:

A tu bola odpoveď od ZeroGPT:

Ako je zrejmé z výsledku, ZeroGPT nedokáže rozlíšiť fakt od fikcie, keď ide o fikciu!

Štvrtý test: Spravodajské články

Na tom, že nás AI dokáže informovať o tom, čo sa deje vo svete okolo nás, je niečo znepokojujúce. Nie sú to vždy nevyhnutne „falošné správy“, pretože môžu byť relevantné a informatívne, ale existujú jednoznačné etické obavy z AI.

Aby sme boli spravodliví voči ZeroGPT, v tomto teste dopadol dobre. Požiadali sme ChatGPT a Bing Chat, aby napísali spravodajské články o niekoľkých témach a ZeroGPT to zakaždým zvládlo. Nižšie uvedený príklad ukazuje správne deklarovanie článku vygenerovaného Bing Chat ako 100% vygenerovaného AI.

Nástroj tak dôsledne označoval každý spravodajský článok ako vytvorený AI, že sme sa ho rozhodli otestovať na fiktívnom spravodajskom článku, ktorý sme na tento účel napísali.

Prinajmenšom identifikoval niektoré články ako vytvorené ľuďmi, ale viac ako 70 % označil za vytvorené AI. Opäť tu musíme byť spravodliví; toto bolo celkom základné prepracovanie článku Bing a sotva to malo kvalitu Pulitzerovej ceny.

Pointa však zostáva v platnosti. Toto napísal človek pomocou výskumu nájdeného na internete.

Neexistuje jediný dôvod za chybami v nástrojoch ako ZeroGPT. Jedným zo základných problémov je však efektivita generatívnych AI chatbotov. Predstavujú neuveriteľne výkonnú a rýchlo sa vyvíjajúcu technológiu, ktorá z nich efektívne robí pohyblivý cieľ pre nástroje na detekciu AI.

AI chatboty neustále zlepšujú kvalitu a „ľudskosť“ svojho výstupu, a preto je táto úloha mimoriadne náročná. Avšak, bez ohľadu na ťažkosti, AI strana rovnice musí urobiť rozhodnutie bez ľudského dohľadu.

Nástroje ako ZeroGPT používajú na rozhodovanie AI. Ale AI sa nielen ráno zobudí a vie, čo robiť. Treba to trénovať a tu začína byť dôležitá technická stránka rovnice.

Skreslenie algoritmov a trénovacích údajov je nevyhnutné vzhľadom na veľkosť samotného súboru veľké jazykové modely, na ktorých sú tieto nástroje trénované. Toto nie je problém, ktorý sa obmedzuje na nástroje na detekciu AI, rovnaké predsudky môžu spôsobiť, že AI chatboty generujú nesprávne odpovede a halucinácie AI.

Tieto chyby sa však prejavujú ako nesprávne „príznaky AI“ v detekčných nástrojoch. To je sotva ideálne, ale je to odrazom súčasného stavu technológie AI. Zaujatosti obsiahnuté v tréningových údajoch môžu viesť k falošne pozitívnym alebo falošne negatívnym výsledkom.

Ďalším faktorom, ktorý treba zvážiť, je obsah generovaný AI. Ak je obsah generovaný AI jednoducho preformulovaný, je to ľudský obsah alebo obsah generovaný AI? To predstavuje ďalšiu veľkú výzvu – rozmazanie čiar medzi týmito dvoma je takmer nemožné definovať obsah vytvorený strojom.

Pohľad do budúcnosti detekcie AI

Môže to znieť, akoby sme klepali na nástroje ako ZeroGPT. Toto nie je tento prípad; čelia obrovským výzvam a technológia sa sotva vyčerpala. Rýchly nástup nástrojov, ako je ChatGPT, vytvoril dopyt po detekcii AI a táto technológia by mala dostať šancu dozrieť a učiť sa.

Od týchto nástrojov nemožno očakávať, že budú čeliť výzvam, ktoré predstavujú chatboty, samy. Môžu však zohrávať cennú úlohu v sústredenom a mnohostrannom úsilí riešiť výzvy AI. Predstavujú jeden kúsok väčšej skladačky, ktorá zahŕňa etické postupy AI, ľudský dohľad a prebiehajúci výskum a vývoj.

Výzvy, ktorým tieto nástroje čelia, sú zrkadlovým obrazom výziev, ktorým spoločnosť čelí, keď zápasíme s dilemami spojenými s novým technologickým vekom.

AI alebo nie AI? To je otázka

Nástroje ako ZeroGPT sú chybné, o tom niet pochýb. Nie sú však bezcenné a predstavujú dôležitý krok, keď sa snažíme riadiť a regulovať AI. Zlepší sa ich presnosť, ale aj sofistikovanosť AI, na ktorú sú vycvičení. Niekde uprostred týchto pretekov v zbrojení musíme nájsť rovnováhu, ktorá bude spoločnosti vyhovovať.

Otázka – AI alebo nie AI? Je to viac než len diskusia o tom, či je niečo generované AI alebo nie. Svedčí to o väčších otázkach, ktorým spoločnosť čelí, keď sa prispôsobujeme odvážnemu novému svetu AI.

Pre záznam, podľa ZeroGPT bolo 27,21 % tohto záveru vygenerovaných AI. Hmm.