Čo je GPTZero? Ako ho použiť na detekciu textu generovaného AI

Od svojho uvedenia na trh sa ChatGPT OpenAI stal záujmom vzdelávacích inštitúcií na celom svete, pretože ho študenti začali používať na písanie esejí a podvádzanie pri hodnotení. Vzhľadom na to, ako prirodzene vyzerá text generovaný chatbotom, majú inštruktori ťažšie určiť, či je práca študentov originálna.

Aby pomohol učiteľom pri hodnotení úloh študentov, absolvent informatiky vyvinul nástroj s názvom GPTZero, ktorý určuje, či bol text umelo vytvorený. Tento článok vysvetlí, ako nástroj funguje, ako ho používať a či dokáže rozpoznať obsah generovaný AI.

Čo je GPTZero a ako to funguje?

GPTZero je nástroj na analýzu textu AI vyvinutý Edwardom Tianom, absolventom informatiky, aby pomohol inštruktorom rozlíšiť plagiát od pôvodného diela. Tento nástroj kontroluje zmätenosť a roztrhanie textu, aby zistil, či je umelo vytvorený alebo vytvorený človekom.

Bez toho, aby sme zachádzali do podrobností, pozrime sa, čo znamenajú tieto pojmy:

• Zmätenosť je miera náhodnosti textu v spracovaní prirodzeného jazyka (NLP). Text napísaný človekom má tendenciu byť menej štruktúrovaný a nepredvídateľnejší, takže jeho hodnota zmätenosti by mala byť vyššia, zatiaľ čo text generovaný AI by mal mať nízke skóre zmätenosti.
• Burstiness berie do úvahy ďalšie premenné, ktoré nie sú zohľadnené pri zmätku, aby sa zlepšila analýza textu. Termín sa vzťahuje na výskyt nezvyčajných položiek v náhodných zhlukoch. Text generovaný AI má tendenciu mať konzistentnejšiu štruktúru ako text napísaný ľuďmi. Burstiness nám to pomáha identifikovať.

GPTZero Classic je verejne prístupný od začiatku roku 2023 a od marca 2023 je bezplatný. Bezplatná verzia má však limit počtu znakov 5 000 na dokument a naraz môžete analyzovať iba tri dokumenty.

GPTZero ponúka dve prémiové verzie na uspokojenie potrieb pedagógov a používateľov, ktorí chcú analyzovať milióny slov mesačne: GPTZero Educator a GPTZero Pro. Limit počtu znakov na dokument je vyšší v prémiových verziách ako v bezplatnej verzii a umožňujú vám analyzovať neobmedzené množstvo súborov v dávkovom režime.

Ak sa chcete prihlásiť na odber týchto prémiových verzií, postupujte podľa týchto krokov:

1. Ísť do Dashboard GPTZero.
2. Prihláste sa pomocou svojho existujúceho účtu alebo si vytvorte nový účet.
3. Po prihlásení môžete prejsť na prémiovú verziu podľa vlastného výberu.

Ako používať GPTZero na detekciu textu generovaného AI

Na rozdiel od ChatGPT sa na GPTZero nevyžaduje žiadna registrácia. K nástroju sa dostanete jednoducho cez webovú stránku. Pozrime sa, ako k nemu môžete pristupovať a používať ho:

1. Ísť do GPTZero.
2. Skopírujte a prilepte text, ktorý chcete analyzovať, do poľa alebo nahrajte súbor.
3. Začiarknite políčko vedľa Súhlasím s podmienkami služby.
4. Klikni na Získajte výsledky box.

Po dokončení skenovania vám GPTZero povie, či text napísal človek alebo ho vygenerovala umelá inteligencia.

Dokáže GPTZero správne rozpoznať text vygenerovaný AI?

Aby sme otestovali, ako presne GPTZero deteguje text generovaný AI, analyzujeme tri texty v nástroji: text generovaný AI, text písaný človekom a text generovaný AI, ktorý bol parafrázovaný iným nástroj. Pozrime sa, ako GPTZero reaguje na každý vstup.

Zahrnieme pokyny, ako sme tieto testy vykonali, aby ste ich mohli spustiť sami.

1. Analýza textu generovaného AI v GPTZero

Ak chcete analyzovať text vygenerovaný AI, najprv vygenerujte text pomocou ChatGPT, chatbota AI založeného na technológii GPT. Ak to chcete urobiť, postupujte takto:

1. Ísť do OpenAI.
2. Klikni na Vyskúšajte ChatGPT tlačidlo.
3. Prihláste sa alebo si zaregistrujte účet.
4. Zadajte ľubovoľnú výzvu na vygenerovanie textu.
5. Po dokončení skopírujte text vygenerovaný nástrojom.
6. Analyzujte text v GPTZero, ako sme už vysvetlili.

Môžete použiť aj iné Nástroje na písanie AI na vygenerovanie textu, ktorý chcete analyzovať.

Keď sme v nástroji analyzovali text generovaný AI, GPTZero vrátilo nasledujúci výstup:

Vzhľadom na to, že text bol vygenerovaný AI, GPTZero správne predpovedal, že ho pravdepodobne generovala AI. Aby bol test náročnejší, parafrázovali sme text generovaný ChatGPT.

2. Analýza parafrázovaného textu generovaného AI v GPTZero

Môžete si vybrať zo stoviek nástroje na parafrázovanie parafrázovať text. V tomto prípade sme použili Scribbr. Ak chcete použiť rovnaký nástroj, postupujte takto:

1. Ísť do Scribbr.
2. Skopírujte text vygenerovaný AI, ktorý sme predtým analyzovali v GPTZero, a vložte ho do nástroja.
3. Klikni na Parafráza tlačidlo.
4. Nechajte Scribbr parafrázovať text za vás.
5. Po parafrázovaní znova spustite test GPTZero.

Tu je výstup GPTZero, keď sme analyzovali parafrázovaný text vygenerovaný AI:

Mierne parafrázovanie sťažilo GPTZero určiť, či je celý text vygenerovaný AI.

3. Analýza ľudského písaného obsahu v GPTZero

V niektorých prípadoch nástroje ako GPTZero vrátia falošne pozitívny výsledok, čo znamená, že niečo považujú za nesprávne, keď to tak nie je. Aby sme zistili, či GPTZero prináša aj falošné pozitíva, vykonali sme v nástroji tri testy, ktoré analyzovali tri rôzne texty písané ľuďmi.

Z týchto troch testov nástroj vrátil jeden falošne pozitívny tým, že uviedol, že pôvodný text bol vygenerovaný AI; raz nedokázal urobiť záver a raz správne označil text ako napísaný človekom.

Ak chcete otestovať ľudský písaný obsah, môžete ho buď skopírovať z autentického zdroja, alebo napísať pár odsekov sami.

Mali by ste dôverovať výsledkom GPTZero?

Na základe nášho testovania môže byť spoliehanie sa len na výsledky tohto nástroja riskantné. V skutočnosti sa pri každom vygenerovaní výsledku pomocou nástroja zobrazí vyhlásenie o odmietnutí zodpovednosti, ktoré varuje pedagógov, aby sa nespoliehali na výsledky tohto nástroja.

Takže, pokiaľ vývojár nástroja nezaručí, že jeho výsledky sú spoľahlivé, pedagógovia by sa naň nemali úplne spoliehať. prečo? Pretože by bolo nespravodlivé, keby študent dostal zlú známku len preto, že GPTZero vrátilo falošne pozitívny výsledok.

Vyššie uvedené testy sa uskutočnili vo februári 2023. GPTZero je v súčasnosti pomerne nový nástroj, takže jeho presnosť sa môže časom meniť.

Neverte vždy výsledkom detekcie AI

Ako potenciálny liek na technológiu GPT OpenAI má GPTZero veľký potenciál; je však ešte len v plienkach. V tomto bode to nie je úplne dôveryhodné. Bude však hlavná verzia GPTZero schopná prekonať všetky obmedzenia a presne zachytiť obsah AI? Aby sme to zistili, budeme musieť počkať.

ChatGPT okrem toho, že dáva študentom ďalší dôvod na podvádzanie pri hodnotení, predstavuje aj vážnu hrozbu pre kybernetickú bezpečnosť.