Čo je TensorFlow Lite a ako je to rámec hlbokého učenia?

Možno ste sa s TensorFlow Lite stretli pri prechádzaní vývojovými doskami Edge AI alebo projektmi akcelerácie AI.

TensorFlow Lite je rámec softvérových balíkov, ktorý umožňuje lokálne školenie ML na hardvéri. Toto spracovanie a výpočet na zariadení umožňuje vývojárom spúšťať svoje modely na cieľovom hardvéri. Hardvér obsahuje vývojové dosky, hardvérové ​​moduly, zabudované zariadenia a zariadenia IoT.

Prehľad rámca TensorFlow Lite

TensorFlow je populárny pojem v hlbokom učení, pretože mnoho vývojárov ML používa tento rámec pre rôzne prípady použitia. Poskytuje jednoduchú implementáciu modely strojového učenia a závery pre aplikácie AI.

Ale TensorFlow Lite je rámec hlbokého učenia pre miestnu inferenciu, konkrétne pre hardvér s nízkym výpočtom. Umožňuje strojové učenie na zariadení tým, že pomáha vývojárom pri spúšťaní ich modelov na kompatibilnom hardvéri a zariadeniach internetu vecí.

Vývojár musí zvoliť vhodný model v závislosti od prípadu použitia. Rámec tiež poskytuje možnosť preškolenia existujúceho modelu na vlastný súbor údajov. Pretože model vyrovnávacej pamäte protokolu TensorFlow má veľkú veľkosť a vyžaduje pokročilý výpočtový výkon, umožňuje konverziu modelu TensorFlow na model TensorFlow Lite.

Prispôsobenie optimalizačných a kvantizačných parametrov umožňuje zníženie veľkosti a latencie modelu.

Okrem výhod latencie a veľkosti, ktoré poskytuje TensorFlow Lite, rámec poskytuje zabezpečenie údajov pri lokálnom školení na zariadení. Ďalej nie je potrebné pripojenie na internet. Nasadenie aplikácií sa teda neobmedzuje na konkrétne oblasti s pripojením.

Tieto faktory v konečnom dôsledku znižujú zaťaženie zariadenia spotrebou energie tým, že eliminujú faktor pripojenia a zvyšujú efektivitu hlbokej inferencie.

Modely rámca TensorFlow Lite existujú vo formáte pre rôzne platformy známom ako FlatBuffers. Je to serializačná knižnica, ktorá ukladá hierarchické údaje do plochej binárnej medzipamäte, takže je možný priamy prístup bez rozbalenia. Môžete tiež pozorovať príponu „.tflite“ pre modely TensorFlow Lite. Táto technika znázornenia umožňuje optimalizáciu výpočtov a znižuje požiadavky na pamäť. Preto je oveľa lepší ako modely TensorFlow

TinyML na TensorFlow Lite Micro

Pretože je TensorFlow Lite kompatibilný s rôznymi platformami pre aplikácie Edge AI, bola nutná ďalšia konvergencia knižnice. Preto organizácia prišla s knižnicou podmnožiny TensorFlow Lite, známou ako TensorFlow Lite Micro. TensorFlow Lite Micro konkrétne prevádzkuje modely strojového učenia na mikrokontroléroch lokálne s minimálnymi požiadavkami na pamäť okolo niekoľkých kilobajtov.

Základné prevádzkové obdobie procedúry je integrované do 16 kB na Arm Cortex M3 a môže pracovať na rôznych modeloch. Rámec nevyžaduje ďalšiu podporu OS ani iné knižnice na vysokej úrovni ako závislosti na spustenie dedukcie na zariadení.

Vývoj TensorFlow Lite Micro vychádza z C ++ 11, ktorý pre kompatibilitu vyžaduje 32-bitovú architektúru. Keď už hovoríme viac o architektúrach, knižnica funguje dobre na robustnej rade procesorov založených na architektúre Arm Cortex-M Series pre ďalšie návrhové architektúry ako ESP32.

Postup práce pre prípady použitia Micro TensorFlow Lite

Výcvikový proces neurónovej siete vyžaduje vysoký výpočtový hardvér. Preto sa trénuje všeobecne Model TensorFlow. Výcvik sa však vyžaduje, iba ak sa vlastný dátový súbor hodí pre model hlbokého učenia, zatiaľ čo pre aplikácie sa dajú použiť aj vopred vyškolené modely v rámci.

Za predpokladu vlastného prípadu použitia s údajovou sadou špecifickou pre aplikáciu používateľ trénuje model na všeobecnom rámci TensorFlow s vysokou kapacitou spracovania a architektúrou. Po ukončení školenia overí model vyhodnotenie pomocou testovacích techník presnosť a spoľahlivosť modelu. Ďalej nasleduje proces prevedením modelu TensorFlow na hardvérovo kompatibilný model TensorFlow Lite vo formáte .tflite.

Formát .tflite je plochý súbor medzipamäte spoločný pre rámec TensorFlow Lite a kompatibilný hardvér. Model možno ďalej použiť na inferenčné školenie o dátach v reálnom čase prijatých na modeli. Inferenčné školenie optimalizovalo modely pre robustné prípady použitia. Preto je pre okraj dôležitá možnosť inferenčného tréningu Aplikácie AI.

Väčšina firmvéru mikrokontroléra nepodporuje natívny súborový systém na priame vkladanie formátu plochej vyrovnávacej pamäte modelu TensorFlow Lite. Preto je konverzia súboru .tflite nevyhnutná do formátu štruktúry poľa, ktorý je kompatibilný s mikrokontrolérmi.

Ľahká technika pre takúto konverziu je zahrnutie programu do poľa C, po ktorom nasleduje normálna kompilácia. Výsledný formát funguje ako zdrojový súbor a pozostáva z pole znakov kompatibilných s mikrokontrolérmi.

Zariadenia podporujúce TensorFlow Lite Micro

TensorFlow Lite je vhodný pre výkonné zariadenia, prichádza však s nevýhodou väčšieho pracovného zaťaženia procesora. Aj keď má TensorFlow Lite Micro malé súbory náchylné na nedostatočné vybavenie, optimalizuje veľkosť súboru zapadá do pamäte môže výrazne zlepšiť výkon pri nízkom výkone a hardvéri s nízkym procesorom, ako napr mikrokontroléry.

Tu je zoznam vývojových dosiek z oficiálnej dokumentácie TensorFlow, ktorá podporuje TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• Sada STM32F746 Discovery
• Adafruit EdgeBadge
• Súprava Adafruit TensorFlow Lite pre mikrokontroléry
• Okruhové ihrisko Adafruit Bluefruit
• Espressif ESP32-DevKitC
• Espressif ESP-OČI
• Wio terminál: ATSAMD51
• Doska na vývoj AI koncového bodu Himax WE-I Plus EVB

TensorFlow Lite Micro je k dispozícii aj ako knižnica Arduino pre rozšírenú podporu pre mikrokontroléry. Môže tiež vytvárať projekty pre vývojové prostredia hardvéru podobné Mbedu.

TensorFlow Lite ponúka veľa

Rámec hlbokého učenia TensorFlow Lite otvára možnosti pre množstvo okrajových aplikácií AI. Pretože rámec je otvoreným zdrojom pre nadšencov umelej inteligencie, vďaka komunitnej podpore je ešte populárnejší pre prípady použitia strojového učenia. Celková platforma TensorFlow Lite vylepšuje prostredie pre rast okrajových aplikácií pre vstavané a IoT zariadenia

Ďalej existujú rôzne príklady pre začiatočníkov, ktoré im majú pomôcť s praktickými prípadmi použitia v rámci. Niektoré z týchto príkladov zahŕňajú detekciu osôb v závislosti od údajov zhromaždených obrazovým snímačom vývojovej dosky a štandardný program hello world pre všetky vývojové dosky. Medzi príklady patria aj aplikácie ako detekcia gest a rozpoznávanie reči pre konkrétne vývojové dosky.

Pre viac informácií o TensorFlow Lite a TensorFlow Lite Micro, môžete navštíviť stránku s oficiálnou dokumentáciou organizácie. Existuje veľa koncepčných aj výukových častí na lepšie pochopenie rámca.

Začnite s rozpoznávaním obrázkov pomocou TensorFlow a Raspberry Pi

Chcete sa vyrovnať s rozpoznávaním obrázkov? Vďaka Tensorflow a Raspberry Pi môžete ihneď začať.

Prečítajte si Ďalej

O autorovi