Čo je neurónový motor spoločnosti Apple a ako to funguje?

Váš iPhone, iPad, Mac a Apple TV využívajú špecializovanú neurónovú procesorovú jednotku s názvom Apple Neural Engine (ANE), ktorá je oveľa rýchlejšia a energeticky efektívnejšia ako CPU alebo GPU.

ANE umožňuje pokročilé funkcie na zariadení, ako je spracovanie prirodzeného jazyka a analýza obrazu, bez použitia cloudu alebo nadmernej spotreby energie.

Poďme preskúmať, ako ANE funguje a ako sa vyvíja, vrátane odvodzovania a inteligencie, ktorú poháňa na platformách Apple a ako ho môžu vývojári použiť v aplikáciách tretích strán.

Čo je to Apple Neural Engine (ANE)?

Apple Neural Engine je marketingový názov pre skupinu vysoko špecializovaných výpočtových jadier optimalizovaných pre energeticky efektívne spúšťanie hlbokých neurónových sietí na zariadeniach Apple. Urýchľuje strojové učenie (ML) a algoritmy umelej inteligencie (AI) a ponúka ohromné ​​výhody rýchlosti, pamäte a výkonu oproti hlavnému CPU alebo GPU.

ANE je veľkou súčasťou toho, prečo najnovšie iPhony, iPady, Macy a Apple TV reagujú a nezahrievajú sa počas náročných výpočtov ML a AI. Bohužiaľ, nie všetky zariadenia Apple majú ANE – Apple Watch, počítače Mac s procesorom Intel a zariadenia staršie ako 2016 ho nemajú.

Prvý ANE, ktorý debutoval v rámci čipu Apple A11 v iPhone X v roku 2017, bol dostatočne výkonný na to, aby podporoval Face ID a Animoji. Pre porovnanie, najnovší ANE v čipe A15 Bionic je 26-krát rýchlejší ako prvá verzia. V súčasnosti ANE umožňuje funkcie, ako je offline Siri, a vývojári ho môžu použiť na spustenie predtým vyškolených modelov ML, čím sa uvoľní CPU a GPU, aby sa mohli sústrediť na úlohy, ktoré sú pre nich vhodnejšie.

Ako funguje neurónový motor spoločnosti Apple?

ANE poskytuje riadiacu a aritmetickú logiku optimalizovanú na vykonávanie rozsiahlych výpočtových operácií, ako je násobenie a akumulácia, bežne používaná v algoritmoch ML a AI, ako je klasifikácia obrázkov, analýza médií, strojový preklad a viac.

Podľa Patent Apple s názvom „Multi-Mode Planar Engine for Neural Processor“, ANE pozostáva z niekoľkých jadier neurónového motora a jedného alebo viacerých viacrežimových planárnych obvodov.

Dizajn je optimalizovaný pre paralelné výpočty, kde sa musí súčasne vykonávať mnoho operácií, ako je násobenie matíc v biliónoch iterácií.

Na urýchlenie odvodzovania v algoritmoch AI používa ANE prediktívne modely. Okrem toho má ANE svoju vlastnú vyrovnávaciu pamäť a podporuje len niekoľko typov údajov, čo pomáha maximalizovať výkon.

Funkcie AI Poháňané ANE

Tu sú niektoré funkcie na zariadení, ktoré možno poznáte a ktoré ANE umožňuje.

• Spracovanie prirodzeného jazyka: Rýchlejšie a spoľahlivejšie rozpoznávanie hlasu pre diktovanie a Siri; Vylepšené učenie sa prirodzeného jazyka v aplikácii Prekladač a v celom systéme; Okamžitý preklad textu vo Fotkách, Fotoaparáte a ďalších aplikáciách pre iPhone.
• Počítačové videnie: Hľadanie objektov na obrázkoch, ako sú orientačné body, domáce zvieratá, rastliny, knihy a kvety, pomocou aplikácie Fotky alebo vyhľadávania Spotlight; Získanie ďalších informácií o rozpoznané objekty pomocou Visual Look Up na miestach ako Safari, Mail a Správy.
• Rozšírená realita: Oklúzia ľudí a sledovanie pohybu v aplikáciách AR.
• Video analýza: Detekcia tvárí a objektov na videu v aplikáciách ako Final Cut Pro.
• Efekty fotoaparátu: Automatické orezanie s centrálnym javiskom; Rozmazanie pozadia počas videohovorov FaceTime.
• Hry: Fotorealistické efekty v 3D videohrách.
• Živý text: Poskytuje optické rozpoznávanie znakov (OCR) vo fotoaparáte a fotografiách, čo vám umožňuje jednoducho kopírovať rukou písaný text alebo text, ako je heslo siete Wi-Fi alebo adresa, z obrázkov.
• Výpočtová fotografia: Deep Fusion analyzuje pixely pre lepšiu redukciu šumu, väčší dynamický rozsah a vylepšenú automatickú expozíciu a vyváženie bielej, pričom v prípade potreby využíva Smart HDR; Fotografovanie s malou hĺbkou ostrostivrátane fotografovania portrétov v nočnom režime; Úprava úrovne rozostrenia pozadia pomocou funkcie Depth Control.
• Tidbits: ANE sa používa aj pre fotografické štýly v aplikácii Fotoaparát, kurátorstvo spomienok a štylistické efekty vo fotkách, prispôsobené odporúčania, ako sú návrhy tapiet, popisovanie obrázkov VoiceOver, hľadanie duplikátov obrázkov v Fotky atď.

Niektoré z vyššie uvedených funkcií, ako napríklad rozpoznávanie obrázkov, fungujú aj bez prítomnosti ANE, ale pobežia oveľa pomalšie a zaťažia batériu vášho zariadenia.

Stručná história Apple Neural Engine: Od iPhone X po M2 Mac

V roku 2017 Apple nasadil svoje úplne prvé ANE vo forme dvoch špecializovaných jadier v rámci čipu A11 iPhone X. Podľa dnešných štandardov to bolo relatívne pomalé, len 600 miliárd operácií za sekundu.

Druhá generácia ANE sa objavila vo vnútri čipu A12 v roku 2018 so štvornásobným počtom jadier. S rýchlosťou päť biliónov operácií za sekundu bol tento ANE takmer deväťkrát rýchlejší a využíval jednu desatinu výkonu svojho predchodcu.

Čip A13 z roku 2019 mal rovnaký osemjadrový ANE, ale bežal o pätinu rýchlejšie a spotreboval o 15 % menej energie, čo je produkt vylepšeného 7nm polovodičového uzla TSMC. Spoločnosť TSMC (Taiwan Semiconductor Manufacturing Company) vyrába čipy navrhnuté spoločnosťou Apple.

Evolúcia Apple Neural Engine

Nasledujúci rok Apple A14 takmer zdvojnásobil výkon ANE na 11 biliónov operácií za sekundu, čo sa dosiahlo zvýšením počtu jadier ANE z 8 na 16. V roku 2021 A15 Bionic ťažil z druhej generácie 5nm procesu TSMC, ktorý ďalej zvýšil výkon ANE na 15,8 bilióna operácií za sekundu bez pridania ďalších jadier.

Prvé čipy M1, M1 Pro a M1 Max viazané na Mac mali rovnaké ANE ako A14, čím po prvýkrát priniesli pokročilé, hardvérovo akcelerované ML a AI na platformu macOS.

V roku 2022 M1 Ultra skombinoval dva čipy M1 Max v jednom balení pomocou vlastného prepojenia Apple s názvom UltraFusion. S dvojnásobným počtom jadier ANE (32) M1 Ultra zdvojnásobil výkon ANE na 22 biliónov operácií za sekundu.

Apple A16 v roku 2022 bol vyrobený pomocou vylepšeného uzla N4 od TSMC, ktorý priniesol o 8% rýchlejší výkon ANE (17 biliónov operácií za sekundu) v porovnaní s ANE A15.

Prvými iPadmi s podporou ANE boli iPad mini piatej generácie (2019), iPad Air tretej generácie (2019) a iPad ôsmej generácie (2020). Všetky iPady vydané odvtedy majú ANE.

Ako môžu vývojári používať ANE v aplikáciách?

Mnoho aplikácií tretích strán používa ANE pre funkcie, ktoré by inak neboli realizovateľné. Napríklad editor obrázkov Pixelmator Pro poskytuje nástroje ako ML Super Resolution a ML Enhance. A v djay Pro ANE oddeľuje beaty, inštrumentálne a vokálne stopy od nahrávky.

Vývojári tretích strán však nezískajú nízkoúrovňový prístup k ANE. Namiesto toho musia všetky hovory ANE prechádzať cez softvérový rámec Apple pre strojové učenie, Core ML. S Core ML môžu vývojári zostavovať, trénovať a spúšťať svoje modely ML priamo na zariadení. Takýto model sa potom používa na predpovede na základe nových vstupných údajov.

„Keď je model na zariadení používateľa, môžete ho použiť na preškolenie alebo doladenie na zariadení pomocou údajov tohto používateľa,“ uvádza prehľad Core ML na stránke Web spoločnosti Apple.

Na zrýchlenie algoritmov ML a AI využíva Core ML nielen ANE, ale aj CPU a GPU. To umožňuje Core ML spustiť model, aj keď nie je k dispozícii ANE. Ale s prítomným ANE bude Core ML bežať oveľa rýchlejšie a batéria sa nebude tak rýchlo vybíjať.

Mnoho funkcií Apple by bez ANE nefungovalo

Mnoho funkcií na zariadení by nebolo možné bez rýchleho spracovania algoritmov AI a ML a minimalizovanej pamäte a spotreby energie, ktoré ANE prináša. Kúzlo spoločnosti Apple spočíva v tom, že má vyhradený koprocesor na súkromné ​​spustenie neurónových sietí na zariadení namiesto toho, aby sa tieto úlohy ukladali na servery v cloude.

S ANE môžu Apple aj vývojári implementovať hlboké neurónové siete a využívať výhody zrýchlených strojové učenie pre rôzne prediktívne modely, ako je strojový preklad, detekcia objektov, klasifikácia obrázkov, atď.