Čo je to OpenAI Gym a ako ho môžete používať?

Ak nemôžete vytvoriť model strojového učenia od nuly alebo vám chýba infraštruktúra, medzeru vyriešite iba pripojením vašej aplikácie k funkčnému modelu.

Umelá inteligencia je tu na to, aby ju každý využíval jedným alebo druhým spôsobom. Pokiaľ ide o OpenAI Gym, existuje veľa preskúmateľných tréningových ihrísk, ktoré nakŕmia vašich posilňovacích vzdelávacích agentov.

Čo je OpenAI Gym, ako funguje a čo pomocou neho môžete postaviť?

Čo je to OpenAI Gym?

OpenAI Gym je Pythonic API, ktoré poskytuje simulované tréningové prostredia pre posilňovacích vzdelávacích agentov, aby konali na základe pozorovaní prostredia; každá akcia prichádza s pozitívnou alebo negatívnou odmenou, ktorá narastá v každom časovom kroku. Zatiaľ čo agent sa snaží maximalizovať odmeny, dostane penalizáciu za každé neočakávané rozhodnutie.

Časový krok je diskrétny čas prechodu prostredia do iného stavu. Sčítava sa, keď akcie agenta menia stav prostredia.

Ako funguje OpenAI Gym?

Prostredia OpenAI Gym sú založené na Markovovom rozhodovacom procese (MDP), dynamickom modeli rozhodovania, ktorý sa používa pri posilňovaní vzdelávania. Z toho teda vyplýva, že odmeny prichádzajú až vtedy, keď prostredie zmení stav. A udalosti v nasledujúcom stave závisia iba od súčasného stavu, pretože MDP nezohľadňuje minulé udalosti.

Skôr než prejdeme ďalej, ponorme sa do príkladu pre rýchle pochopenie aplikácie OpenAI Gym v posilňovacom učení.

Za predpokladu, že máte v úmysle trénovať auto v závodnej hre, môžete roztočiť pretekársku dráhu v OpenAI Gym. V posilňovacom učení, ak vozidlo odbočí vpravo namiesto vľavo, môže získať negatívnu odmenu -1. Závodná dráha sa mení v každom časovom kroku a v nasledujúcich stavoch sa môže skomplikovať.

Negatívne odmeny alebo tresty nie sú zlé pre agenta pri posilňovaní. V niektorých prípadoch ho povzbudzuje k rýchlejšiemu dosiahnutiu svojho cieľa. Vozidlo sa tak časom dozvie o trati a ovláda jej navigáciu pomocou sérií odmien.

Iniciovali sme napríklad FrozenLake-v1 prostredie, kde je agent potrestaný za pád do ľadových dier, ale odmenený za získanie darčekovej krabičky.

Naša prvá jazda priniesla menej trestov bez odmien:

Tretia iterácia však vytvorila zložitejšie prostredie. Agent však dostal niekoľko odmien:

Vyššie uvedený výsledok neznamená, že agent sa v ďalšej iterácii zlepší. Aj keď sa nabudúce môže úspešne vyhnúť ďalším jamkám, nemusí dostať žiadnu odmenu. Ale úprava niekoľkých parametrov môže zvýšiť rýchlosť učenia.

OpenAI Gym Components

OpenAI Gym API sa točí okolo nasledujúcich komponentov:

• The prostredia kde trénujete agenta. Môžete ho spustiť pomocou telocvičňa.vyrobiť metóda. OpenAI Gym podporuje aj prostredia s viacerými agentmi.
• The obaly na úpravu existujúceho prostredia. Hoci je každé základné prostredie predvolene vopred zabalené, môžete ho zmeniť pomocou parametrov, ako sú max_actions, min_actions a max odmeny.
• An akcie; definuje, čo agent robí, keď pozoruje zmeny vo svojom prostredí. Každá akcia v prostredí je krokom, ktorý definuje reakciu agenta na pozorovania. Dokončenie kroku vráti pozorovanie, odmenu, informácie a hodnotu skrátenia alebo ukončenia.
• The pozorovanie; definuje skúsenosť agenta v prostredí. Po pozorovaní nasleduje akcia s informáciami. Parameter info je protokol vykonávania, ktorý je užitočný pri ladení. Po ukončení kroku sa prostredie resetuje n-krát, v závislosti od počtu zadaných iterácií.

Čo môžete urobiť s OpenAI Gym?

Keďže OpenAI Gym vám umožňuje vytvoriť vlastné vzdelávacie prostredia, tu je niekoľko spôsobov, ako ho použiť v reálnom živote.

1. Simulácia hry

Herné prostredia OpenAI Gym môžete využiť na odmeňovanie požadovaného správania, vytváranie herných odmien a zvyšovanie zložitosti na úroveň hry.

2. Rozpoznávanie obrázkov

Tam, kde je k dispozícii obmedzené množstvo údajov, zdrojov a času, môže byť OpenAI Gym užitočný pri vývoji systému rozpoznávania obrázkov. Na hlbšej úrovni ho môžete škálovať a vybudovať systém rozpoznávania tvárí, ktorý odmeňuje agenta za správnu identifikáciu tvárí.

3. Školenie robotov

OpenAI Gym tiež ponúka intuitívne modely prostredia pre 3D a 2D simulácie, kde môžete do robotov implementovať požadované správanie. Roboškola je príkladom softvéru na simuláciu škálovaného robota vytvoreného pomocou OpenAI Gym.

4. marketing

Pomocou OpenAI Gym môžete tiež vytvárať marketingové riešenia, ako sú reklamné servery, roboty na obchodovanie s akciami, roboty na predpovedanie predaja, systémy odporúčaní produktov a mnohé ďalšie. Môžete si napríklad vytvoriť vlastný model OpenAI Gym, ktorý penalizuje reklamy na základe počtu zobrazení a kliknutí.

5. Spracovanie prirodzeného jazyka

Niekoľko spôsobov, ako použiť OpenAI Gym spracovanie prirodzeného jazyka sú otázky s možnosťou výberu z viacerých odpovedí zahŕňajúce dokončovanie viet resp vytvorenie klasifikátora spamu. Môžete napríklad trénovať agenta, aby sa naučil variácie viet, aby ste sa vyhli zaujatosti pri označovaní účastníkov.

Ako začať s OpenAI Gym

OpenAI Gym podporuje Python 3.7 a novšie verzie. Ak chcete nastaviť prostredie OpenAI Gym, nainštalujete ho gymnázium, rozvetvená nepretržite podporovaná verzia telocvične:

pip install gymnasium

Ďalej vytvorte prostredie. Môžete si však vytvoriť vlastné prostredie. Ale začnite tým, že sa pohráte s existujúcim, aby ste zvládli koncept OpenAI Gym.

Nižšie uvedený kód sa otáča FrozenLake-v1. The env.reset metóda zaznamenáva počiatočné pozorovanie:

importovať gymnázium ako telocvičňa
env = gym.make(„FrozenLake-v1“, render_mode="ľudský")
pozorovanie, info = env.reset()

Niektoré prostredia vyžadujú na fungovanie ďalšie knižnice. Ak potrebujete nainštalovať inú knižnicu, Python to odporúča prostredníctvom správy o výnimke.

Napríklad si nainštalujete ďalšiu knižnicu (telocvičňa[hračka-text]) spustiť FrozenLake-v1 životné prostredie.

Stavte na silu OpenAI Gym

Jednou z prekážok vývoja AI a strojového učenia je nedostatok infraštruktúry a tréningových dátových súborov. Ale keď sa snažíte integrovať modely strojového učenia do svojich aplikácií alebo zariadení, všetko je teraz jednoduchšie s hotovými modelmi AI lietajúcimi po internete. Zatiaľ čo niektoré z týchto nástrojov sú lacné, iné, vrátane OpenAI Gym, sú bezplatné a s otvoreným zdrojom.