Con il loro progetto HoloLens 2, Microsoft e Volkswagen stanno collaborando per mettere in moto gli occhiali per realtà aumentata

Immagina di indossare un paio di occhiali per realtà aumentata quando esci al mattino e sali nel tuo veicolo. Mentre la tua auto a guida autonoma ti porta a destinazione, ricevi visualizzazioni olografiche di informazioni sul traffico, condizioni meteorologiche, consigli per lo shopping e punti salienti architettonici lungo il percorso. E all’alba, puoi usare i controlli olografici davanti a te per regolare la temperatura interna a tuo piacimento.

Questo è il futuro della mobilità immaginato dai ricercatori della casa automobilistica tedesca Volkswagen, che vedono la realtà aumentata come una delle componenti chiave dei futuri concetti di mobilità. Per avvicinarsi ulteriormente a questa visione, Volkswagen ha collaborato con Microsoft per consentire per la prima volta l’utilizzo delle cuffie per realtà mista HoloLens 2 nei veicoli in movimento.

La nuova modalità “piattaforma mobile” per HoloLens 2 supera una grande limitazione delle cuffie per realtà mista e crea il potenziale per l’utilizzo della tecnologia in nuovi modi, ad esempio addestrando i conducenti a gestire condizioni stradali difficili o creando nuove esperienze utente per veicoli autonomi. E mentre la mobilità è l’obiettivo di Volkswagen, la capacità potrebbe in futuro essere condivisa tra altri settori.

Dott. Andro Klein.

“Riteniamo che le informazioni sulla realtà mista siano le informazioni più intuitive che possiamo fornire per migliorare l’esperienza utente dei nostri clienti”, afferma il Dr. Andro Kleen, Data Science Team Leader presso Volkswagen Group Innovation. “Perché ciò che vedi lì, e ciò che devi elaborare, è molto vicino a ciò che gli umani normalmente vedono ed elaborano. Non è così astratto.

Uno dei primi ad adottare la tecnologia della realtà aumentata, Volkswagen ha introdotto un head-up display in realtà aumentata nel suo ID. famiglia di auto elettriche nel 2020 che proietta frecce di navigazione, segnaletica orizzontale e altre informazioni ambientali davanti alle auto.

Ma la Volkswagen stava pensando al potenziale della realtà aumentata anche prima, dice Kleen. Nel 2015, ad esempio, la Volkswagen ha avviato un progetto di ricerca utilizzando veicoli autonomi e realtà aumentata per insegnare la guida in pista. Testato presso gli impianti di pista della Volkswagen a Ehra-Lessien, in Germania, il sistema Race Trainer utilizzava un display head-up che sovrapponeva le linee di frecce sulla pista che i conducenti potevano seguire e forniva indicazioni di direzione e direzione. di lezioni. .

La Volkswagen sperava di utilizzare HoloLens per il progetto di ricerca, ma presto si è imbattuto in un problema. Quando il dispositivo è stato posizionato in un veicolo in movimento, i suoi sensori hanno perso il rilevamento e gli ologrammi che normalmente visualizza sono scomparsi. Il team di Kleen ha chiesto aiuto a Microsoft e ha contattato Marc Pollefeys, Chief Science Officer di Microsoft ed esperto di visione artificiale 3D e apprendimento automatico. Il team Volkswagen si è recato alla sede di Microsoft a Redmond, Washington, per mostrare a Pollefeys e al suo team il loro lavoro con HoloLens e la loro visione per la tecnologia della realtà aumentata.

“Abbiamo discusso a lungo”, afferma Pollefeys, ora direttore del Mixed Reality and AI Lab di Microsoft a Zurigo, in Svizzera. “Hanno presentato i loro casi d’uso e ciò che speravano di abilitare. Erano ansiosi di lavorare con noi per trovare una soluzione ed essere in grado di utilizzare HoloLens in queste situazioni.

I due team hanno iniziato a collaborare intorno al 2018 per sviluppare funzionalità della piattaforma mobile per HoloLens 2, che richiedeva la risoluzione di un problema fondamentale. HoloLens utilizza due tipi principali di sensori che misurano il suo movimento: telecamere a luce visibile e un’unità di misura inerziale, o IMU, che misura l’accelerazione e la velocità di rotazione. Insieme, i sensori imitano il modo in cui gli esseri umani vedono e si muovono nel mondo.

Ma in modo simile al modo in cui essere in un’auto o in una barca può causare cinetosi quando quello che sembra essere un ambiente stabile è effettivamente in movimento, quando i sensori HoloLens strettamente accoppiati iniziano a non essere d’accordo in un ambiente in movimento, con l’unità di misurazione inerziale che riconosce il movimento e le telecamere incapace di – le cose vanno in pezzi.

Foto scattata all'interno di un'auto che mostra le immagini di navigazione sovrapposte al parabrezza tramite l'uso di HoloLens.
Collegamento interno ed esterno al veicolo: Un elemento di navigazione posizionato all’esterno del veicolo completa la mappa 3D integrata nel cruscotto.

Per risolvere questo problema, il team di Pollefeys ha sviluppato un algoritmo che modella gli spazi tra i sensori e consente a HoloLens di continuare a tracciare. Ma testare la capacità ha rappresentato un’altra sfida. Poiché le restrizioni del Covid-19 in Svizzera rendevano impossibile provare la tecnologia in un veicolo con un’altra persona in quel momento, Joshua Elsdon, un ingegnere software senior di Microsoft che ha lavorato al progetto, ha dovuto trovare soluzioni dal suo appartamento a Zurigo.

Elsdon ha progettato un rig immaginario utilizzando una scatola di plastica, attaccando pezzi di nastro adesivo all’interno per aggiungere consistenza visiva e dare alle fotocamere HoloLens qualcosa da seguire. Ha guidato tram e autobus per Zurigo con un visore HoloLens, assicurandosi che i suoi ologrammi resistessero mentre i veicoli si muovevano. Di notte, Elsdon andava su e giù per gli ascensori del suo edificio, testando la tecnologia.

“Abbiamo dovuto fare molti test nel mio appartamento. Queste non sono condizioni di sviluppo ideali”, afferma Elsdon, che ora ha sede a Redmond. “È stato tutto fatto in remoto e distribuito in diversi paesi, il che è stato interessante”.

Dopo il completamento della prototipazione iniziale, il team ha anche condotto dei test su Puget Sound, vicino al campus Microsoft di Redmond. Hanno noleggiato barche da diporto, le hanno portate in acqua e hanno utilizzato apparecchiature di misurazione esterne per valutare le prestazioni del sistema di rilevamento della testa HoloLens su una piattaforma mobile.

Microsoft ha quindi testato la funzionalità con Volkswagen. I ricercatori Volkswagen hanno stabilito una connessione dati bidirezionale tra il veicolo e l’HoloLens per visualizzare e controllare le informazioni in tempo reale dall’auto. Infine, il team ha implementato diversi casi d’uso dimostrativi per studiare come le interfacce virtuali potrebbero migliorare l’interno dei veicoli futuri.

Foto scattata all'interno di un'auto che mostra le immagini di navigazione sovrapposte al parabrezza tramite l'uso di HoloLens.
La modalità piattaforma mobile, combinata con i dati sulla posizione del veicolo, consente a HoloLens 2 di essere utilizzato in nuovi modi.

“Abbiamo collegato un sistema di posizionamento che traccia la posizione del veicolo. In questo modo siamo stati anche in grado di posizionare elementi 3D come le informazioni sui PDI all’esterno dell’auto. Ciò apre possibilità completamente nuove non solo per la visualizzazione di ologrammi nel campo visivo del guidatore rivolto in avanti, ma anche ovunque guardi l’utente che indossa gli occhiali”, afferma Michael Wittkämper, esperto di realtà aumentata presso Volkswagen.

Microsoft ha lanciato la funzionalità della piattaforma mobile alcuni mesi fa e sta già attirando l’interesse di aziende e organizzazioni marittime, che utilizzano HoloLens per connettere in remoto i lavoratori marittimi con esperti meccanici tramite Microsoft Dynamics 365 Remote Assist. L’app consente a un esperto in un’altra posizione di esaminare l’HoloLens 2 dell’altra persona, condividere il campo visivo, diagnosticare un problema e fornire informazioni.

In precedenza utilizzabile solo quando una nave è in porto, questa capacità è ancora più necessaria quando le navi sono in mare e l’equipaggiamento si guasta.

“Più è lontano l’attrezzatura o la macchina, più è difficile avere l’esperto in loco”, afferma Pollefeys, che è anche professore di informatica all’ETH di Zurigo, un’università pubblica di ricerca. “Questa funzione si è rivelata fondamentale per sbloccare HoloLens 2 per Seaspace.”

La funzionalità della piattaforma mobile di HoloLens è attualmente supportata per l’uso su grandi navi e Microsoft prevede di perfezionarla ulteriormente per l’uso in ascensori, treni, automobili e altri ambienti mobili. Kleen prevede diversi modi per utilizzare la tecnologia per collegare l’interno dei veicoli al mondo esterno, ad esempio aiutare i conducenti di camion o autobus a navigare nelle strade strette, identificare i punti di interesse lungo i percorsi stradali o fornire intrattenimento ai passeggeri.

Una mano regola l'aria condizionata utilizzando la realtà virtuale in un'automobile Volkswagen.
La comunicazione diretta dell’auricolare AR con i dati del veicolo consente di regolare la temperatura o controllare l’intensità e la direzione del flusso d’aria tramite gesti.

Kleen e Pollefeys ritengono che la realtà aumentata diventerà un aspetto sempre più importante della mobilità in futuro man mano che saranno disponibili versioni più piccole e compatte di occhiali intelligenti. Pollefeys caratterizza gli occhiali per realtà mista come la terza generazione di dispositivi di personal computer, dopo personal computer e telefoni cellulari.

“Microsoft non è interessata solo ai dispositivi commerciali come HoloLens, ma anche a dispositivi a lungo termine che avrebbero senso per i consumatori da utilizzare nella vita di tutti i giorni”, afferma Pollefeys. “Con gli occhiali per realtà aumentata, puoi passeggiare per il mondo e le informazioni possono apparire nel contesto, dove è rilevante. Potresti comunicare con altre persone e anche in 3D, al contrario di un piccolo schermo.

Kleen immagina la realtà aumentata che consente esperienze di mobilità senza interruzioni e connesse, con le persone che indossano occhiali intelligenti quando escono di casa e ricevono informazioni attraverso di loro, dall’assistenza alla navigazione all’intrattenimento, durante il loro viaggio durante il giorno.

“Vediamo questo come un passo verso un sistema di mobilità in cui saranno collegati diversi prodotti e soluzioni di mobilità”, afferma Kleen. “Il presupposto di base è che questa tecnologia diventerà sempre più leggera e più piccola, e crediamo che man mano che ciò accadrà, più persone ci metteranno le mani sopra e la incorporeranno nella loro vita quotidiana, e così nel loro modo di andare da A a B”.

Foto in alto: Volkswagen ha mostrato il futuro della guida completamente autonoma nella sua concept car Gran Turismo, la ID.VIZZION. (Immagini per gentile concessione di Volkswagen)

Add Comment