Halucinácie AI môžu predstavovať riziko kybernetickej bezpečnosti

Veľké jazykové modely AI sú nedokonalé a niekedy generujú falošné informácie. Tieto prípady, nazývané halucinácie, môžu predstavovať kybernetickú hrozbu pre podniky a individuálnych nadšencov AI.

Našťastie môžete zvýšiť obranu pred halucináciami AI so zvýšeným povedomím a zdravým tipovaním.

Prečo AI halucinuje?

Neexistuje konsenzus o tom, prečo modely AI halucinujú, aj keď existuje niekoľko pravdepodobných odhadov.

Umelá inteligencia je trénovaná na základe rozsiahlych súborov údajov, ktoré často obsahujú nedostatky, ako sú myšlienkové medzery, rozdiely vo významnosti obsahu alebo škodlivé predsudky. Akékoľvek školenie z týchto neúplných alebo neadekvátnych súborov údajov by mohlo byť koreňom halucinácií, aj keď neskoršie iterácie súboru údajov získali od vedcov údajov.

Vedci údajov môžu časom spresniť informácie a vložiť ďalšie poznatky, aby zaplnili voľné miesta a minimalizovali potenciál halucinácií. Dozorcovia môžu nesprávne označiť údaje. Programovací kód môže obsahovať chyby. Oprava týchto položiek je nevyhnutná, pretože modely AI postupujú na základe algoritmov strojového učenia.

Tieto algoritmy používajú údaje na určovanie. Rozšírením tohto je neurónová sieť AI, ktorá vytvára nové rozhodnutia od skúseností so strojovým učením až po pripomínajú originalitu ľudských myslí presnejšie. Tieto siete obsahujú transformátory, ktoré analyzujú vzťahy medzi vzdialenými dátovými bodmi. Keď sa transformátory pokazia, môžu sa vyskytnúť halucinácie.

Ako AI halucinácie poskytujú príležitosti pre hackerov

Bohužiaľ, nie je všeobecne známe, že AI má halucinácie a AI bude znieť sebavedomo, aj keď je úplne nesprávna. To všetko prispieva k tomu, že používatelia sú spokojnejší a dôverujú AI a aktéri hrozieb sa spoliehajú na toto správanie používateľov, aby ich prinútili stiahnuť alebo spustiť svoje útoky.

Napríklad model AI môže vyvolať halucinácie falošnej knižnice kódu a odporučiť používateľom, aby si túto knižnicu stiahli. Je pravdepodobné, že model bude naďalej odporúčať rovnakú halucinovanú knižnicu mnohým používateľom, ktorí sa pýtajú na podobnú otázku. Ak hackeri objavia túto halucináciu, môžu vytvoriť skutočnú verziu vymyslenej knižnice, ale naplnenú nebezpečným kódom a škodlivým softvérom. Teraz, keď AI naďalej odporúča knižnicu kódov, nevedomí používatelia si stiahnu kód hackerov.

Prenos škodlivého kódu a programov využívaním halucinácií AI je neprekvapivým ďalším krokom pre aktérov hrozieb. Hackeri nevyhnutne nevytvárajú nespočetné množstvo nových kybernetických hrozieb – len hľadajú nové spôsoby, ako ich bez podozrenia doručiť. Halucinácie AI sa živia rovnakou ľudskou naivitou, klikanie na e-mailové odkazy závisí od (čo je dôvod, prečo by ste mali na overenie adries URL použite nástroje na kontrolu odkazov).

Hackeri to tiež môžu posunúť na ďalšiu úroveň. Ak hľadáte pomoc s kódovaním a stiahnete si falošný škodlivý kód, aktér hrozby môže kód skutočne sfunkčniť, pričom na pozadí beží škodlivý program. To, že to funguje tak, ako očakávate, neznamená, že to nie je nebezpečné.

Nedostatok vzdelania vás môže povzbudiť k stiahnutiu odporúčaní vygenerovaných AI kvôli správaniu autopilota online. Každý sektor je pod kultúrnym tlakom, aby prijal AI do svojich obchodných praktík. Nespočetné množstvo organizácií a odvetví vzdialených od technológií sa hrá s nástrojmi AI s malými skúsenosťami a ešte riedšou kybernetickou bezpečnosťou, len aby zostali konkurencieschopné.

Ako zostať v bezpečí pred halucináciami AI so zbraňou

Pokrok je na obzore. Vytváranie malvéru pomocou generatívnej AI bolo jednoduché predtým, ako spoločnosti upravili súbory údajov a zmluvné podmienky, aby zabránili neetickým generáciám. Keď poznáte spoločenské, technické a osobné nedostatky, ktoré môžete mať proti nebezpečným halucináciám AI, aké sú spôsoby, ako zostať v bezpečí?

Každý v tomto odvetví môže pracovať na zdokonaľovaní technológie neurónových sietí a overovaní knižníc. Predtým, ako odpovede zasiahnu koncových používateľov, musia existovať kontroly a rovnováhy. Napriek tomu, že ide o nevyhnutný pokrok v odvetví, musíte tiež zohrávať úlohu pri ochrane seba a ostatných pred generatívnymi hrozbami AI.

Priemerní používatelia môže trénovať odhaľovanie halucinácií AI s týmito stratégiami:

• Hľadanie pravopisných a gramatických chýb.
• Vidieť, kedy sa kontext dopytu nezhoduje s kontextom odpovede.
• Uznanie, keď sa obrázky založené na počítačovom videní nezhodujú s tým, ako by tento koncept videli ľudské oči.

Pri sťahovaní obsahu z internetu buďte vždy opatrní, aj keď to odporúča AI. Ak AI odporúča stiahnuť kód, nerobte to naslepo; skontrolujte všetky recenzie, aby ste sa uistili, že kód je legitímny, a zistite, či môžete nájsť informácie o tvorcovi.

Najlepšou odolnosťou proti útokom založeným na AI halucináciách je vzdelanie. Hovoriť o svojich skúsenostiach a čítať, ako iní vyvolali škodlivé halucinácie, či už náhodou alebo úmyselným testovaním, je neoceniteľné pri navigácii AI v budúcnosti.

Zlepšenie kybernetickej bezpečnosti AI

Musíte byť opatrní, čo požadujete, keď hovoríte s AI. Obmedzte potenciál nebezpečných výsledkov tým, že budete čo najkonkrétnejší a spochybňujete čokoľvek, čo sa objaví na obrazovke. Testujte kód v bezpečnom prostredí a overte si ďalšie zdanlivo dôveryhodné informácie. Okrem toho môžete spolupracovať s ostatnými, diskutovať o svojich skúsenostiach a zjednodušiť žargón o AI halucinácie a hrozby kybernetickej bezpečnosti môžu pomôcť masám byť ostražitejšími a odolnejšími voči hackermi.