Pesquisadores do MIT desenvolveram um headset de realidade aumentada que proporciona visão de raio-x ao usuário. O headset combina visão computacional e percepção sem fio para localizar automaticamente um item específico que esteja oculto da vista, talvez dentro de uma caixa ou sob uma pilha, e então guiar o usuário para recuperá-lo.
O sistema utiliza sinais de radiofrequência (RF), que podem passar por materiais comuns como caixas de papelão, recipientes de plástico ou divisórias de madeira, para encontrar itens ocultos que tenham sido etiquetados com tags RFID, que refletem sinais enviados por uma antena de RF.
O headset direciona o usuário à medida que ele caminha pelo ambiente em direção ao local do item, que aparece como uma esfera transparente na interface de realidade aumentada (AR). Uma vez que o item estiver na mão do usuário, o headset, chamado X-AR, verifica se ele pegou o objeto correto.
Quando os pesquisadores testaram o X-AR em um ambiente semelhante a um depósito, o headset conseguiu localizar itens ocultos em uma distância média de até 9,8 centímetros. Além disso, verificou que os usuários pegaram o item correto com uma precisão de 96%.
O X-AR pode ajudar os trabalhadores de armazéns de comércio eletrônico a encontrar rapidamente itens em prateleiras desorganizadas ou enterrados em caixas, ou identificando o item exato para um pedido quando muitos objetos similares estão no mesmo compartimento. Ele também pode ser usado em uma fábrica para ajudar técnicos a localizar as peças corretas para montar um produto.
“Nosso objetivo com este projeto foi construir um sistema de realidade aumentada que permita ver coisas que são invisíveis – coisas que estão em caixas ou ao redor das esquinas – e, ao fazê-lo, possa guiá-lo até elas e verdadeiramente permitir ver o mundo físico de maneiras que antes não eram possíveis”, diz Fadel Adib, que é professor associado no Departamento de Engenharia Elétrica e Ciência da Computação, diretor do grupo Signal Kinetics no Media Lab e autor sênior de um artigo sobre o X-AR.
Os coautores de Adib são as assistentes de pesquisa Tara Boroushaki, que é a autora principal do artigo, Maisy Lam, Laura Dodds e a ex-pesquisadora Aline Eid, que agora é professora assistente na Universidade de Michigan. A pesquisa será apresentada no Simpósio USENIX sobre Design e Implementação de Sistemas em Rede.
Para criar um headset de realidade aumentada com visão de raio-X, os pesquisadores tiveram que equipar um headset existente com uma antena que pudesse se comunicar com itens marcados com RFID. A maioria dos sistemas de localização RFID utiliza múltiplas antenas localizadas a metros de distância, mas os pesquisadores precisavam de uma antena leve que pudesse alcançar largura de banda suficientemente alta para se comunicar com as tags.
“Um grande desafio foi projetar uma antena que se encaixasse no headset sem cobrir nenhuma das câmeras ou obstruir suas operações. Isso é muito importante, já que precisamos usar todas as especificações na viseira”, diz Eid.
A equipe usou uma antena em forma de laço simples e leve e experimentou modificá-la gradativamente (alterando sua largura) e adicionando lacunas, ambas as técnicas que aumentam a largura de banda. Como as antenas normalmente operam no ar livre, os pesquisadores a otimizaram para enviar e receber sinais quando anexada à viseira do headset.
Uma vez que a equipe construiu uma antena eficiente, eles se concentraram em usá-la para localizar itens marcados com RFID.
Eles utilizaram uma técnica conhecida como radar de abertura sintética (SAR), semelhante a como os aviões imitam objetos no solo. X-AR faz medições com sua antena de diferentes pontos de vista à medida que o usuário se move ao redor da sala, e depois combina essas medições. Dessa forma, ele age como uma matriz de antenas onde as medições de múltiplas antenas são combinadas para localizar um dispositivo.
O X-AR utiliza dados visuais da capacidade de rastreamento automático do fone de ouvido para construir um mapa do ambiente e determinar sua localização dentro desse ambiente. À medida que o usuário caminha, ele calcula a probabilidade da etiqueta RFID em cada local. A probabilidade será maior no local exato da tag, então ela usa essa informação para zerar o objeto oculto.
“Embora tenha apresentado um desafio quando estávamos projetando o sistema, descobrimos em nossos experimentos que ele realmente funciona bem com o movimento humano natural. Como os humanos se movem muito, isso nos permite fazer medições de vários locais diferentes e localizar um item com precisão”, diz Dodds.
Depois que o X-AR localiza o item e o usuário o pega, o fone de ouvido precisa verificar se o usuário pegou o objeto certo. Mas agora o usuário está parado e a antena do fone de ouvido não está se movendo, então não pode usar o SAR para localizar a etiqueta.
No entanto, à medida que o usuário pega o item, a etiqueta RFID se move junto com ele. O X-AR pode medir o movimento da etiqueta RFID e aproveitar a capacidade de rastreamento manual do fone de ouvido para localizar o item na mão do usuário. Em seguida, ele verifica se a tag está enviando os sinais de RF corretos para verificar se é o objeto correto.
Os pesquisadores utilizaram os recursos de visualização holográfica do fone de ouvido para exibir essas informações para o usuário de maneira simples. Depois que o usuário coloca o fone de ouvido, ele usa menus para selecionar um objeto de um banco de dados de itens marcados. Depois que o objeto é localizado, ele é circundado por uma esfera transparente para que o usuário possa ver onde ele está na sala. Em seguida, o dispositivo projeta a trajetória para aquele item na forma de passos no chão, que podem ser atualizados dinamicamente à medida que o usuário caminha.
“Nós abstraímos todos os aspectos técnicos para que possamos fornecer uma experiência clara e perfeita para o usuário, o que seria especialmente importante se alguém o colocasse em um ambiente de armazém ou em uma casa inteligente”, diz Lam.
Testando o fone de ouvido
Para testar o X-AR, os pesquisadores criaram um depósito simulado enchendo as prateleiras com caixas de papelão e latas de plástico e colocando itens com etiquetas RFID dentro.
Eles descobriram que o X-AR pode guiar o usuário em direção a um item de destino com menos de 10 centímetros de erro – o que significa que, em média, o item foi localizado a menos de 10 centímetros de onde o X-AR direcionou o usuário. Os métodos de linha de base que os pesquisadores testaram tiveram um erro médio de 25 a 35 centímetros.
Eles também descobriram que ele verificou corretamente se o usuário pegou o item certo em 98,9% das vezes. Isso significa que o X-AR é capaz de reduzir os erros de coleta em 98,9%. A precisão foi de 91,9% quando o item ainda estava dentro de uma caixa.
“O sistema não precisa ver o item visualmente para verificar se você pegou o item certo. Se você tiver 10 telefones diferentes em embalagens semelhantes, talvez não consiga distinguir entre eles, mas pode orientá-lo a escolher o certo”, diz Boroushaki.
Agora que demonstraram o sucesso do X-AR, os pesquisadores planejam explorar como diferentes modalidades de detecção, como WiFi, tecnologia mmWave ou ondas terahertz, podem ser usadas para aprimorar suas capacidades de visualização e interação. Eles também podem aprimorar a antena para que seu alcance ultrapasse os 3 metros e estender o sistema para uso por vários fones de ouvido coordenados.
“Como não existe nada assim hoje, tivemos que descobrir como construir um tipo de sistema completamente novo do começo ao fim”, diz Adib. “Na realidade, o que criamos é uma estrutura. Existem muitas contribuições técnicas, mas também é um modelo de como você projetaria um headset AR com visão de raio-X no futuro.”
“Este documento dá um passo significativo no futuro dos sistemas AR, fazendo-os funcionar em cenários fora da linha de visão”, diz Ranveer Chandra, diretor administrativo de pesquisa da indústria da Microsoft, que não esteve envolvido neste trabalho. “Ele usa uma técnica muito inteligente de alavancar a detecção de RF para aumentar os recursos de visão computacional dos sistemas AR existentes. Isso pode direcionar os aplicativos dos sistemas AR para cenários que não existiam antes, como varejo, manufatura ou novos aplicativos de qualificação”.
Esta pesquisa foi apoiada, em parte, pela National Science Foundation, pela Sloan Foundation e pelo MIT Media Lab.
Achou útil essa informação? Compartilhe com seus amigos! 
Deixe-nos a sua opinião aqui nos comentários.
