Adam Zewe | MIT News Office
Il dispositivo potrebbe aiutare i lavoratori a individuare gli oggetti per evadere gli ordini di e-commerce o identificare le parti per l’assemblaggio dei prodotti.
I ricercatori del MIT hanno costruito un visore per la realtà aumentata che offre a chi lo indossa una visione a raggi X.
Il visore combina visione artificiale e percezione wireless per individuare automaticamente un oggetto specifico che è nascosto alla vista, magari all’interno di una scatola o sotto una pila, e quindi guidare l’utente a recuperarlo.
Il sistema utilizza segnali in radiofrequenza (RF), che possono passare attraverso materiali comuni come scatole di cartone, contenitori di plastica o divisori in legno, per trovare oggetti nascosti che sono stati etichettati con tag RFID, che riflettono i segnali inviati da un’antenna RF.
Il visore dirige chi lo indossa mentre cammina attraverso una stanza verso la posizione dell’oggetto, che si presenta come una sfera trasparente nell’interfaccia di realtà aumentata (AR). Una volta che l’oggetto è nelle mani dell’utente, il visore, chiamato X-AR, verifica di aver raccolto l’oggetto corretto.
Quando i ricercatori hanno testato X-AR in un ambiente simile a un magazzino, il visore è stato in grado di localizzare gli oggetti nascosti entro 9,8 centimetri, in media. E ha verificato che gli utenti prelevassero l’articolo corretto con una precisione del 96%.
X-AR potrebbe aiutare i magazzinieri dell’e-commerce a trovare rapidamente gli articoli sugli scaffali ingombri o sepolti nelle scatole, oppure identificando l’articolo esatto per un ordine quando molti oggetti simili si trovano nello stesso cestino. Potrebbe anche essere utilizzato in un impianto di produzione per aiutare i tecnici a individuare le parti corrette per assemblare un prodotto.
“Il nostro intero obiettivo con questo progetto era costruire un sistema di realtà aumentata che ti permettesse di vedere cose che sono invisibili – cose che sono in scatole o dietro gli angoli – e così facendo, può guidarti verso di loro e permetterti davvero di vedere il mondo fisico in modi che prima non erano possibili”, afferma Fadel Adib, professore associato presso il Dipartimento di ingegneria elettrica e informatica, direttore del gruppo Signal Kinetics nel Media Lab e autore senior di un articolo su XAR.
I coautori di Adib sono gli assistenti di ricerca Tara Boroushaki, che è l’autore principale dell’articolo; Maisy Lam; Laura Dodds; e l’ex postdoc Aline Eid, che ora è assistente professore all’Università del Michigan. La ricerca sarà presentata all’USENIX Symposium on Networked Systems Design and Implementation.
Potenziamento di un visore per la realtà aumentata
Per creare un visore per la realtà aumentata con visione a raggi X, i ricercatori hanno dovuto prima equipaggiare un visore esistente con un’antenna in grado di comunicare con oggetti con tag RFID. La maggior parte dei sistemi di localizzazione RFID utilizza più antenne situate a metri di distanza, ma i ricercatori avevano bisogno di un’antenna leggera che potesse raggiungere una larghezza di banda sufficientemente elevata per comunicare con i tag.
“Una grande sfida è stata progettare un’antenna che si adattasse al visore senza coprire nessuna delle telecamere o ostacolarne il funzionamento. Questo è molto importante, poiché dobbiamo utilizzare tutte le specifiche sulla visiera”, afferma Eid.
Il team ha preso un’antenna ad anello semplice e leggera e ha sperimentato assottigliando l’antenna (modificandone gradualmente la larghezza) e aggiungendo spazi vuoti, entrambe tecniche che aumentano la larghezza di banda. Poiché le antenne funzionano tipicamente all’aria aperta, i ricercatori le hanno ottimizzate per l’invio e la ricezione di segnali quando sono collegate alla visiera delle cuffie.
Dopo aver costruito un’antenna efficace, il team si è concentrato sull’utilizzo di essa per localizzare gli oggetti con tag RFID.
Hanno sfruttato una tecnica nota come radar ad apertura sintetica (SAR), che è simile a come gli aeroplani riprendono gli oggetti a terra. X-AR effettua misurazioni con la sua antenna da diversi punti di osservazione mentre l’utente si sposta nella stanza, quindi combina tali misurazioni. In questo modo, agisce come un array di antenne in cui le misurazioni di più antenne vengono combinate per localizzare un dispositivo.
X-AR utilizza i dati visivi della capacità di tracciamento automatico del visore per creare una mappa dell’ambiente e determinarne la posizione all’interno di tale ambiente. Mentre l’utente cammina, calcola la probabilità del tag RFID in ogni posizione. La probabilità sarà più alta nella posizione esatta del tag, quindi utilizza queste informazioni per concentrarsi sull’oggetto nascosto.
“Anche se ha presentato una sfida quando stavamo progettando il sistema, abbiamo scoperto nei nostri esperimenti che in realtà funziona bene con il movimento umano naturale. Poiché gli esseri umani si muovono molto, ci consente di effettuare misurazioni da molti luoghi diversi e di localizzare accuratamente un oggetto”, afferma Dodds.
Una volta che X-AR ha localizzato l’oggetto e l’utente lo raccoglie, il visore deve verificare che l’utente abbia afferrato l’oggetto giusto. Ma ora l’utente è fermo e l’antenna del visore non si muove, quindi non può utilizzare SAR per localizzare il tag.
Tuttavia, quando l’utente preleva l’oggetto, il tag RFID si sposta con esso. X-AR è in grado di misurare il movimento del tag RFID e sfruttare la capacità di tracciamento della mano del visore per localizzare l’oggetto nella mano dell’utente. Quindi controlla che il tag stia inviando i segnali RF corretti per verificare che sia l’oggetto corretto.
I ricercatori hanno utilizzato le capacità di visualizzazione olografica del visore per visualizzare queste informazioni per l’utente in modo semplice. Una volta che l’utente indossa il visore, utilizza i menu per selezionare un oggetto da un database di elementi contrassegnati. Dopo che l’oggetto è stato localizzato, viene circondato da una sfera trasparente in modo che l’utente possa vedere dove si trova nella stanza. Quindi il dispositivo proietta la traiettoria verso quell’elemento sotto forma di passi sul pavimento, che possono aggiornarsi dinamicamente mentre l’utente cammina.
“Abbiamo eliminato tutti gli aspetti tecnici in modo da poter fornire un’esperienza fluida e chiara per l’utente, il che sarebbe particolarmente importante se qualcuno dovesse metterlo in un ambiente di magazzino o in una casa intelligente”, afferma Lam.
Testare il visore AR
Per testare X-AR, i ricercatori hanno creato un magazzino simulato riempiendo gli scaffali con scatole di cartone e contenitori di plastica e posizionando all’interno articoli con tag RFID.
Hanno scoperto che X-AR può guidare l’utente verso un oggetto mirato con meno di 10 centimetri di errore, il che significa che in media l’oggetto si trovava a meno di 10 centimetri dal punto in cui X-AR ha diretto l’utente. I metodi di riferimento testati dai ricercatori presentavano un errore mediano compreso tra 25 e 35 centimetri.
Hanno anche scoperto che ha verificato correttamente che l’utente aveva raccolto l’articolo giusto il 98,9% delle volte. Ciò significa che X-AR è in grado di ridurre gli errori di prelievo del 98,9%. Era persino accurato al 91,9% quando l’oggetto era ancora all’interno di una scatola.
“Il sistema non ha bisogno di vedere visivamente l’articolo per verificare che tu abbia prelevato l’articolo giusto. Se hai 10 telefoni diversi in una confezione simile, potresti non essere in grado di distinguere tra loro, ma può guidarti a scegliere comunque quello giusto “, afferma Boroushaki.
Ora che hanno dimostrato il successo di X-AR, i ricercatori hanno in programma di esplorare come diverse modalità di rilevamento, come WiFi, tecnologia mmWave o onde terahertz, potrebbero essere utilizzate per migliorare le sue capacità di visualizzazione e interazione. Potrebbero anche migliorare l’antenna in modo che la sua portata possa andare oltre i 3 metri ed estendere il sistema per l’utilizzo da parte di più cuffie coordinate.
“Poiché oggi non esiste nulla di simile, abbiamo dovuto capire come costruire un tipo di sistema completamente nuovo dall’inizio alla fine”, afferma Adib. “In realtà, ciò che abbiamo escogitato è una struttura. Ci sono molti contributi tecnici, ma è anche un modello per come progetteresti un visore AR con visione a raggi X in futuro”.
“Questo documento fa un significativo passo avanti nel futuro dei sistemi AR, facendoli funzionare in scenari senza visuale”, afferma Ranveer Chandra, amministratore delegato della ricerca industriale presso Microsoft, che non è stato coinvolto in questo lavoro. “Utilizza una tecnica molto intelligente per sfruttare il rilevamento RF per aumentare le capacità di visione artificiale dei sistemi AR esistenti. Ciò può portare le applicazioni dei sistemi realtà aumentata a scenari che prima non esistevano, come la vendita al dettaglio, la produzione o nuove applicazioni di competenze”.
Questa ricerca è stata sostenuta, in parte, dalla National Science Foundation, dalla Sloan Foundation e dal MIT Media Lab.
Ripubblicato con il permesso di MIT News
