Čo je čip R1 od Apple a ako sa porovnáva s M1 a M2?

Vision Pro prináša nový kremík Apple, čip R1, určený na spracovanie údajov zo všetkých zabudovaných senzorov v reálnom čase. Je zodpovedný za sledovanie očí, rúk a hlavy, vykresľovanie prostredia používateľa bez oneskorenia v režime video passthrough a ďalšie funkcie visionOS.

Odľahčením procesnej záťaže od hlavného procesora a optimalizáciou výkonu sa R1 znižuje pohybovú chorobu na nepostrehnuteľnú úroveň, či už pri používaní headsetu v rozšírenej realite alebo vo virtuálnej realite režim. Poďme preskúmať, ako funguje čip Apple R1 a v porovnaní s hlavným čipom M2, funkcie Vision Pro, ktoré umožňuje, a ďalšie.

Čo je to čip R1 od Apple? Ako to funguje?

Apple R1, nie hlavný čip M2, spracováva nepretržitý tok údajov v reálnom čase do Vision Pro pomocou dvanástich kamier, piatich senzorov a šiestich mikrofónov.

Dve hlavné externé kamery zaznamenávajú váš svet a každú sekundu prenesú na 4K obrazovky náhlavnej súpravy viac ako miliardu pixelov. Okrem toho pár bočných kamier spolu s dvoma kamerami umiestnenými na spodnej strane a dvoma infračervenými žiaričmi sledujú pohyb rúk zo širokej škály pozícií – dokonca aj pri slabom osvetlení.

Senzory smerujúce von zahŕňajú aj skener LiDAR a kameru TrueDepth od spoločnosti Apple, ktoré zachytávajú hĺbkovú mapu vášho okolia, čo umožňuje Vision Pro presne umiestniť digitálne objekty vo vašom okolí priestor. Vo vnútri sa nachádza krúžok LED okolo každej obrazovky a dve infračervené kamery sledujú pohyb vašich očí, čo tvorí základ navigácie visionOS.

R1 má za úlohu spracovať dáta zo všetkých týchto senzorov, vrátane inerciálnych meracích jednotiek, s nepostrehnuteľným oneskorením. To je nanajvýš dôležité, aby bol priestorový zážitok hladký a vierohodný.

Ako sa Apple R1 porovnáva s M1 a M2?

M1 a M2 sú univerzálne procesory optimalizované pre počítače Mac. R1 je koprocesor s úzkym ohniskom navrhnutý tak, aby podporoval plynulé AR zážitky. Robí svoju prácu rýchlejšie ako M1 alebo M2, čo umožňuje výhody ako zážitok bez oneskorenia.

Apple nešpecifikoval, koľko jadier CPU a GPU má R1, ani podrobne neuviedol frekvenciu CPU a RAM, čo sťažuje priame porovnanie medzi R1, M1 a M2.

Primárnymi doménami R1 sú sledovanie očí a hlavy, gestá rúk a 3D mapovanie v reálnom čase prostredníctvom snímača LiDAR. Odľahčenie týchto výpočtovo náročných operácií umožňuje M2 efektívne spúšťať rôzne podsystémy, algoritmy a aplikácie visionOS.

Kľúčové vlastnosti čipu R1 Vision Pro

R1 má tieto kľúčové schopnosti:

• Rýchle spracovanie: Špecializované algoritmy a spracovanie obrazových signálov v R1 sú optimalizované na pochopenie vstupov snímača, kamery a mikrofónu.
• Nízka latencia: Optimalizovaná hardvérová architektúra má za následok veľmi nízku latenciu.
• Energetická účinnosť: R1 zvládne konkrétnu sadu úloh s minimálnou spotrebou energie vďaka efektívnej architektúre pamäte a 5nm výrobnému procesu TSMC.

Na druhej strane, dvojčipový dizajn Vision Pro a sofistikovanosť R1 prispievajú k vysokej cene headsetu a dvojhodinovej výdrži batérie.

Aké výhody prináša R1 Vision Pro?

R1 umožňuje presné sledovanie očí a rúk, ktoré „jednoducho funguje“. Ak chcete napríklad navigovať v systéme visionOS, nasmerujte svoj pohľad na tlačidlá a ďalšie prvky.

Vision Pro používa gestá rúk na výber položiek, posúvanie a ďalšie. Sofistikovanosť a presnosť sledovania očí a rúk umožnili inžinierom spoločnosti Apple vytvoriť náhlavnú súpravu so zmiešanou realitou, ktorá nevyžaduje žiadne fyzické ovládače.

Presnosť sledovania a minimálne oneskorenie R1 umožňujú ďalšie funkcie, ako je písanie vzduchom na virtuálnej klávesnici. R1 tiež poháňa spoľahlivé sledovanie hlavy – rozhodujúce pre vytvorenie priestorového výpočtového plátna obklopujúceho používateľa. Presnosť je opäť kľúčová – chcete, aby si všetky objekty AR zachovali svoju polohu bez ohľadu na to, ako nakloníte a otočíte hlavu.

Priestorové uvedomenie je ďalším faktorom, ktorý prispieva k zážitku. R1 berie údaje o hĺbke zo snímača LiDAR a kamery TrueDepth a vykonáva 3D mapovanie v reálnom čase. Informácie o hĺbke umožňujú náhlavnej súprave porozumieť svojmu prostrediu, ako sú steny a nábytok.

To je zase dôležité pre perzistenciu AR, ktorá sa týka pevného umiestnenia virtuálnych objektov. Pomáha tiež Vision Pro upozorniť používateľa skôr, ako narazí na fyzické predmety, čím pomáha znižovať riziko nehôd v aplikáciách AR.

Ako R1 Sensor Fusion zmierňuje pohybovú chorobu AR?

Dvojčipový dizajn Vision Pro odbúrava spracovanie snímača od hlavného čipu M2, ktorý prevádzkuje operačný systém a aplikácie visionOS. Podľa Tlačová správa Vision Pro, R1 streamuje obraz z externých kamier na interné displeje do 12 milisekúnd alebo osemkrát rýchlejšie ako žmurknutie oka, čím sa minimalizuje oneskorenie.

Oneskorenie sa týka latencie medzi tým, čo vidia kamery a obrazom zobrazeným na 4K obrazovkách slúchadiel. Čím kratšie oneskorenie, tým lepšie.

K kinetóze dochádza vtedy, keď je znateľné oneskorenie medzi vstupom, ktorý váš mozog prijíma z očí, a tým, čo vníma vaše vnútorné ucho. Môže sa vyskytnúť v mnohých situáciách, vrátane v zábavnom parku, na a loďou alebo výletnou plavbou, pri používaní zariadenia VR atď.

VR môže spôsobiť, že ľudia budú chorí v dôsledku zmyslového konfliktu, ktorý má za následok príznaky kinetózy, ako je dezorientácia, nevoľnosť, závraty, bolesti hlavy, namáhanie očí, sedenie, vracanie a iné.

VR môže byť zlé aj pre vaše oči kvôli namáhaniu očí, ktorého symptómy zahŕňajú boľavé alebo svrbiace oči, dvojité videnie, bolesti hlavy a boľavý krk. Niektorí ľudia môžu pociťovať jeden alebo viacero takýchto príznakov niekoľko hodín po zložení náhlavnej súpravy.

V zásade platí, že zariadenie VR by malo obnovovať zobrazenie aspoň 90-krát za sekundu (FPS) a oneskorenie obrazovky by malo byť pod 20 milisekúnd, aby sa ľuďom nespôsobila nevoľnosť z pohybu.

S uvedeným oneskorením iba 12 milisekúnd R1 skracuje oneskorenie na nepostrehnuteľnú úroveň. Zatiaľ čo R1 pomáha minimalizovať účinky kinetózy, niektorí testeri Vision Pro hlásili príznaky kinetózy po 30 minútach nosenia slúchadiel.

Špecializované kremíkové koprocesory Apple prinášajú veľké výhody

Applu nie sú cudzie ani špecializované procesory. V priebehu rokov jeho kremíkový tím vyrábal mobilné a desktopové čipy, ktoré toto odvetvie závidí.

Kremíkové čipy Apple sa pri zvládaní špecifických funkcií vo veľkej miere spoliehajú na špecializované koprocesory. Secure Enclave napríklad bezpečne spravuje biometrické údaje a údaje o platbách, zatiaľ čo Neural Engine urýchľuje funkcie AI bez zničenia batérie.

Sú dokonalými príkladmi toho, čo sa dá dosiahnuť vysoko sústredeným koprocesorom pre správnu sadu úloh vs. pomocou hlavného procesora na všetko.