Päť otázok týkajúcich sa projektu „HoloLens“ spoločnosti Microsoft

Reklama

V stredu ráno spoločnosť Microsoft predstavila projekt, na ktorom už sedem rokov pracujú, tzv. Náhlavná súprava s rozšírenou realitou Projekt HoloLens.

Vízia je ambiciózna: chcú zásadným spôsobom zmeniť spôsob interakcie ľudí s počítačmi budovanie okuliarov, ktoré dokážu plynulo kombinovať virtuálny a skutočný obsah vo fyzickom priestore používateľ. To je ako technológia virtuálnej reality Prečo technológia virtuálnej reality vyhodí vašu myseľ za 5 rokovBudúcnosť virtuálnej reality zahŕňa sledovanie hlavy, očí a výrazov, simulovaný dotyk a oveľa viac. Tieto úžasné technológie vám budú k dispozícii do 5 rokov alebo menej. Čítaj viac , ale v zásade silnejší. Ďalej chcú robiť všetky spracovanie na mieste okuliarov - žiadny počítač, žiadny telefón, žiadne káble. Dokonca spúšťajú špeciálnu verziu systému Windows iba pre nový hardvér. Toto je ďalšia etapa technologického vývoja pre všetkých AR hry Aplikácie s rozšírenou realitou: užitočné, alebo len hype? MakeUseOf TestyV roku 2011 analytici predpovedali rast mobilných aplikácií Augmented Reality. Vznikajúca technológia by spôsobila revolúciu v spôsobe interakcie s našimi mobilnými zariadeniami. Prejdite o dva roky vpred a desiatky aplikácií AR naplnia všetky ...

Čítaj viac nainštalovali ste do telefónu tenkrát a od tej doby ste sa ich nedotkli.

Ich časový rámec je ešte ambicióznejší ako ich ciele: chcú túto jar dodať vývojárske súpravy a spotrebiteľský produkt „v časovom rámci Windows 10“. Tu je ihrisko.

To všetko znie skvele, ale pripúšťam dosť vysoký skepticizmus.

Technológie, ktoré spoločnosť Microsoft používa, majú vážne a zásadné výzvy. Spoločnosť Microsoft doteraz veľmi úzko spolupracovala s tým, ako ich vyriešila (alebo či). Ak ich nevyriešia, ich cieľ prepravy do jedného roka je veľmi znepokojivý. Poslednou vecou, ​​ktorú potrebujú VR a AR, je veľká spoločnosť, ktorá prepravuje ďalší polopečený výrobok, ako je napríklad Kinect. Pamätajte na Projekt Natal demo od roku 2009?

Bez ďalších okolkov, tu je päť najdôležitejších vecí, ktoré by som chcel vedieť o HoloLens.

Je to svetelné pole?

Aby sme tomu porozumeli, musíme sa pozrieť trochu hlbšie do 3D a ako to funguje. Aby sme získali dojem skutočného, ​​hmatateľného 3D sveta, naše mozgy integrujú množstvo rôznych druhov informácií. Hĺbkové narážky na svet dostávame tromi primárnymi spôsobmi:

• Stereo hĺbka - rozdiel medzi tým, čo vidia obe naše oči. Takto funguje 3D filmy
• Paralaxy pohybu - jemné pohyby hlavy a trupu nám dávajú ďalšie hĺbkové narážky na objekty, ktoré sú ďalej
• Optické zameranie - keď sa zameriavame na niečo, šošovky našich očí sa fyzicky deformujú, až kým sa nezaostrí; objekty blízkeho poľa vyžadujú väčšie skreslenie objektívu, čo poskytuje hĺbkové informácie o tom, na čo sa pozeráme

Optické zaostrenie sa dá ľahko skontrolovať sami: zatvorte jedno oko a držte palec hore pred stenou naprieč miestnosťou. Potom posuňte svoje zameranie z miniatúry na povrch za ním. Pri pohľade okolo palca sa palec posunie mimo zaostrenia, pretože šošovka vášho oka je teraz menej zdeformovaná a nemôže správne zachytávať svetlo, ktoré z neho vychádza.

Headsety VR, ako je Oculus Rift, poskytujú prvé dve podnety veľmi presne, ale nie posledný, ktorý vyjde prekvapivo dobre: ​​naše oči predvolene relaxujú úplne, pretože optika zaostruje obrazy tak, ako cez svetlo, prichádzajúce z nekonečna ďaleko preč. Nedostatok tága optického zaostrenia je nereálny, zvyčajne ho však neruší. Stále môžete mať veľmi cool herné zážitky 5 herných zážitkov spoločnosti Oculus Rift, ktoré vás vyhodiaTeraz, keď už je druhá generácia vývojovej súpravy Oculus Rift a je v rukách vývojárov po celom svete, pozrime sa na niektoré z najlepších vecí, ktoré doposiaľ zasiahli Rift. Čítaj viac bez toho.

V rozšírenej realite je problém iný, pretože musíte miešať svetlo z reálnych a virtuálnych objektov. Svetlo zo skutočného sveta bude samozrejme sústredené do rôznych hĺbok. Virtuálny obsah však bude zameraný na pevnú umelú vzdialenosť určenú optikou - pravdepodobne na nekonečno. Virtuálne objekty nebudú vyzerať, akoby boli skutočne súčasťou scény. Keď sa pozriete na skutočné veci v rovnakej hĺbke a naopak, nebudú rozostrené. Nebude možné plynule posúvať vaše oko po scéne a pritom ho udržať v centre pozornosti, ako obvykle. Konfliktné narážky na hĺbku budú prinajlepšom mätúce a najhoršie nepríjemné.

Aby ste to vyriešili, potrebujete niečo, čo sa nazýva displej svetelného poľa. Displeje so svetelným poľom sú displeje, ktoré používajú rad malých šošoviek na súčasné zobrazovanie svetla zameraného na mnoho hĺbok. To umožňuje užívateľovi sústrediť sa prirodzene na displej a (pre rozšírenú realitu) rieši problém opísaný vyššie.

Je tu však problém: svetelné pole zobrazuje v podstate mapovanie jednej 2D obrazovky na trojrozmerné svetelné pole, čo znamená, že každá „hĺbka“ pixel “, ktorý užívateľ vníma (a existuje v určitej ohniskovej hĺbke v scéne), je v skutočnosti tvorený svetlom z mnohých pixelov na origináli zobraziť. Čím jemnejšia je hĺbka, ktorú chcete vykresliť, tým väčšie rozlíšenie sa musíte vzdať.

Svetelné polia majú spravidla asi osemkrát zníženie rozlíšenia s cieľom poskytnúť primeranú presnosť hĺbky. Najlepšie dostupné mikrodisky majú rozlíšenie asi 1080p. Za predpokladu, že jedno oko sa bude riadiť jedným špičkovým mikrodisplaym, skutočné rozlíšenie náhlavnej súpravy spoločnosti Microsoft bude len asi 500 x 500 pixlov na oko, dokonca menšie ako u Oculus Rift DK1. Ak má displej vysoké zorné pole, virtuálnymi objektmi budú nepochopiteľné kvapky pixelov. Ak to tak nebude, ponorenie bude úmerne utrpené. V skutočnosti nikdy nevidíme cez šošovku (len počítačové re-výtvory toho, čo vidí užívateľ), takže nemáme tušenie, aký je zážitok používateľa.

Je možné, že spoločnosť Microsoft prišla s nejakým novým riešením tohto problému, aby umožnila použitie zobrazenia svetelného poľa bez kompromisu pri riešení problémov. Spoločnosť Microsoft však bola mimoriadne opatrná, pokiaľ ide o technológiu zobrazovania, čo ma vedie k podozreniu, že tak neurobili. Toto je najlepšie vysvetlenie, aké sme doteraz dostali (od WIRED demonštrácie).

Ak chcete vytvoriť obrázky projektu HoloLens, svetelné častice sa odrazia približne miliónkrát v takzvanom svetelnom motore zariadenia. Potom fotóny vstúpia do dvoch šošoviek okuliarov, kde sa odrazia medzi vrstvami modrého, zeleného a červeného skla skôr, ako sa dostanú k zadnej časti oka.

Takýto opis technológie by mohol znamenať prakticky čokoľvek (hoci, v spravodlivosti voči spoločnosti Microsoft, hardware urobil dojem WIRED, hoci článok bol ľahký na detaily).

Až do začatia vydávania technických špecifikácií spoločnosti Microsoft pravdepodobne nebudeme vedieť viac, pravdepodobne o niekoľko mesiacov. Na ďalšiu poznámku o výbere nitov je skutočne potrebné tento projekt utopiť v tomto marketingovom prednáške? Vyhradený procesor, ktorý používajú na sledovanie hlavy, sa nazýva „holografický procesor“ a obrázky sa nazývajú „hologramy“ bez osobitného dôvodu. Produkt je v zásade dostatočne chladný, takže nie je potrebné ho takto pozlátiť.

Je sledovanie dosť dobré?

Headset Project HoloLens má na sebe namontovanú kameru s vysokou hĺbkou FOV (napríklad Kinect), pomocou ktorej zisťuje, kde náhlavná súprava je vo vesmíre (pokusom o zarovnanie obrazu hĺbky, ktorý vidí, s jeho modelom sveta, zloženým z predchádzajúcej hĺbky snímky). Tu je ich live ukážka náhlavnej súpravy v akcii.

Sledovanie je pôsobivé vzhľadom na to, že nepoužíva žiadne značky ani iné cheaty, ale aj v tomto videu (pod veľmi kontrolované podmienky), môžete vidieť určité množstvo kolísania: sledovanie nie je úplne stabilné. To sa dá očakávať: tento druh sledovania naruby je extrémne ťažký.

Veľká lekcia z rôzne prototypy Oculus Rift Sledujte nás Vyskúšajte Oculus Rift Crescent Bay na CES 2015Oculus Rift Crescent Bay je úplne nový prototyp, ktorý ukazuje niektoré vzrušujúce vylepšenia technológie virtuálnej reality. Vyskúšame to na CES 2015. Čítaj viac je to, že presnosť sledovania veľa záleží. Sledovanie nervozity je iba otravné, keď sa jedná o niekoľko objektov v prevažne stabilnom reálnom svete, ale v scénach, ako je demo na Mars, ukázali vo svojej koncepcii video, kde takmer všetko, čo vidíte, je virtuálne, nepresné sledovanie môže viesť k nedostatku „prítomnosti“ vo virtuálnej scéne alebo dokonca k simulátoru choroba. Môže spoločnosť Microsoft dosiahnuť sledovanie až na úroveň štandardu stanovenú spoločnosťou Oculus (presnosť milimetra s presnosťou na milimeter a celková latencia menej ako 20 ms) do dátumu dodania na konci tohto roka?

Tu je Michael Abrash, výskumný pracovník VR, ktorý pracoval pre spoločnosť Valve aj Oculus, hovorí o probléme

[Pretože generovanie virtuálnych obrázkov je vždy oneskorené, […] je veľmi ťažké získať virtuálne a skutočné obrázky tak, aby sa dostatočne presne zaregistrovali, aby si to nevšimlo oko. Predpokladajme napríklad, že máte skutočnú plechovku s koksom, ktorú chcete zmeniť na plechovku s plechom Pepsi, nakreslením loga Pepsi nad logo koksu. Ak prekreslenie loga Pepsi trvá desiatky milisekúnd, zakaždým, keď otočíte hlavu, bude to znamenať, že logo Pepsi sa bude zdať posunúť o niekoľko stupňov vzhľadom na plechovku a časť loga Coke sa stane viditeľnou; potom sa logo Pepsi po zastavení presunie späť na správne miesto. Pre tvrdé AR to zjavne nie je dosť dobré

Môže displej kresliť čierne?

Ďalší problém spolu s ohniskovou hĺbkou a sledovaním súvisí s kresbou tmavých farieb. Pridanie väčšieho množstva svetla do scény je pomocou rozdeľovačov lúčov relatívne jednoduché. Vyberanie svetla je oveľa ťažšie. Ako selektívne stmavujete časti reálneho sveta? Uvádzanie selektívne priehľadnej obrazovky LCD ju nezkratá, pretože blokovanie toho, čo hľadáte, nemôže byť vždy na správne zameranie. Optické nástroje na riešenie tohto problému, pokiaľ ich spoločnosť Microsoft nevymyslel tajne, jednoducho neexistujú.

To je dôležité, pretože pre mnoho aplikácií, ktoré spoločnosť Microsoft predvádza (napríklad pozeranie Netflixu na vašej stene), headset skutočne potrebuje schopnosť odstrániť svetlo prichádzajúce zo steny, inak bude mať váš film vždy viditeľný štukový vzor: bude to Nie je možné, aby snímky blokovali skutočné objekty v scéne, takže použitie náhlavnej súpravy je silne závislé od okolitého osvetlenia podmienky. Späť na Michael Abrash:

[S] o nič podobné sa neobjavilo v priemysle alebo literatúre AR, a pokiaľ sa tak nestane, tvrdé AR v tom zmysle SF, ktorý všetci poznáme a milujeme, sa nemôžu stať, s výnimkou temnoty blízko.

To neznamená, že AR je mimo stôl, len to, že na chvíľu to bude mäkké AR, založené na zmiešavaní aditív […] Znova si pomyslite priesvitný ako „Ghostbusters“. Fungujú aj virtuálne obrázky s vysokou intenzitou bez tmavých oblastí, najmä s pomocou regionálneho alebo globálneho stmavenia - jednoducho nebudú vyzerať ako súčasť skutočného world.

A čo oklúzia?

„Oklúzia“ je termín, ktorý sa stane, keď jeden objekt prechádza pred druhým a zabraňuje vám vidieť, čo je za ním. Aby sa virtuálna scenéria mohla cítiť ako hmatateľná časť sveta, je dôležité, aby skutočné objekty uzavreli virtuálne objekty objekty: ak podržíte ruku pred kusom virtuálnych snímok, nemali by ste ju vidieť prostredníctvom svojho hand. V dôsledku použitia hĺbkovej kamery na náhlavnej súprave je to skutočne možné. Ale sledujte živé ukážky znova:

Celkovo starostlivo kontrolujú uhly kamery, aby sa vyhli skutočným objektom prechádzajúcim pred virtuálnymi. Keď však demonštrant spolupracuje s ponukou systému Windows, môžete vidieť, že jej ruka vôbec nezakrýva. Ak je to mimo dosahu ich technológie, je to veľmi zlé znamenie pre životaschopnosť ich spotrebiteľského produktu.

A keď už hovoríme o tomto používateľskom rozhraní ...

Je to skutočne konečné používateľské rozhranie?

Zdá sa, že používateľské rozhranie, ktoré spoločnosť Microsoft predviedla vo svojich demo videách, funguje kombináciou pohľadu na ruky a ruky sledovanie na ovládanie kurzora vo virtuálnej scéne, zatiaľ čo pomocou hlasových ovládacích prvkov na výber medzi rôznymi možnosti. To má dve hlavné nevýhody: to vás núti vyzerať ako malé dieťa v Shining, ktoré hovorí jeho prstom, ale čo je dôležitejšie, predstavuje tiež zásadne chybný dizajnový vzor.

V minulosti boli najlepšie používateľské rozhrania tie, ktoré prinášajú fyzickú intuíciu o svete do virtuálneho sveta. Myš priniesla klikanie, pretiahnutie a okná. Dotykové rozhranie prinieslo prejdením prstom a posunutím priblíženia. Obidva tieto kroky boli rozhodujúce pri sprístupňovaní počítačov a ich použiteľnosti pre všeobecnú populáciu - pretože boli v zásade intuitívnejšie ako to, čo sa stalo predtým.

VR a AR vám dávajú oveľa väčšiu slobodu ako dizajnér: prvky UI môžete umiestniť kdekoľvek na trojrozmerný priestor a nechať používateľov, aby s nimi interagovali prirodzene, akoby to boli fyzické objekty. Navrhuje sa obrovské množstvo zjavných metafor. Klepnutím na prvok virtuálneho používateľského rozhrania ho vyberte. Uchopte ho a zdvihnite ho. Vysuňte ho z cesty a dočasne ho uložte. Ak ju chcete odstrániť, rozdrvte ju. Môžete si predstaviť vytvorenie užívateľského rozhrania, ktoré je tak intuitívne, že nevyžaduje žiadne vysvetlenie. Niečo, čo môže vaša babička okamžite vyzdvihnúť, pretože je postavené na základoch základných fyzických intuícií, ktoré si každý vytvára počas celého života so svetom. Vezmite si minútu a vypočujte si tento inteligentný človek, ktorý popíše, aké by mohli byť pohlcujúce rozhrania.

Inými slovami, zdá sa mi zrejmé, že by malo byť pohlcujúce užívateľské rozhranie najmenej rovnako intuitívne ako dotykové rozhrania propagované iPhone pre 2D multitouch obrazovky. Vybudovanie rozhrania okolo manipulácie s VR myšou je krokom späť a odhaľuje buď hlbokú technológiu nedostatky v technológii sledovania rúk alebo základné nepochopenie toho, čo je na tomto novom zaujímavé medium. V každom prípade je to veľmi zlé znamenie, že tento produkt je viac ako kolosálny flop v mierke Kinect.

Dúfajme, že spoločnosť Microsoft má čas získať spätnú väzbu a urobiť lepšiu prácu. Ako príklad uvádzame rozhranie navrhnuté jedným nadšencom pre modely Oculus Rift DK2 a Leap Motion. Pohlcujúce používateľské rozhranie navrhnuté veľkou spoločnosťou by malo byť aspoň také dobré.

Znak príchodu

Celkovo som veľmi skeptický voči projektu HoloLens ako celku. Som veľmi rád, že spoločnosť so zdrojmi spoločnosti Microsoft tento problém skúma, ale obávam sa, že ide o problém pokúsiť sa urýchliť produkt bez vyriešenia niektorých kritických základných technických problémov alebo zničiť dobré používateľské rozhranie paradigma. HoloLens je znakom toho, čo má prísť, to však neznamená, že samotný produkt poskytne spotrebiteľom dobrú skúsenosť.

Obrázok Kredit: s láskavým dovolením spoločnosti Microsoft