El sueño de tocar gráficos 3D en el aire

Estamos acostumbrados a ver hologramas con personas, animales y objetos que parecen reales pero que en realidad no existen y no podemos tocar. Arrastrar un icono en un móvil o una tableta es nuestro pan de cada día, pero son elementos planos, no están en tres dimensiones. En este punto nuestro proyecto InteVol surge y marca su meta: crear gráficos 3D en el aire y poder interactuar con ellos. Tocarlos, modificarlos, manipularlos. Al más puro estilo de películas como Iron Man.

El reto es crear el primer display volumétrico con interacción directa que permita a las personas introducir sus manos u otros objetos dentro del dispositivo para agarrar y manipular los gráficos directamente. Para ello, contamos con el apoyo de una beca del European Research Council (ERC) que busca proyectos de alto riesgo, pero rompedores. Es decir, tecnologías categóricamente nuevas.

Las limitaciones de una pantalla plana

Si miramos con una lupa el monitor de nuestro ordenador, veremos que tiene millares de píxeles que emiten luz. Estos píxeles están colocados en un plano (la pantalla) y, para mostrarnos información tridimensional, hay que simular la reducción de tamaño según la distancia así como texturas, sombras, luces y oclusiones.

Los gráficos 3D sintéticos han mejorado muchísimo en los últimos años. Basta comparar la primera película de Tron con las actuales, donde ya no se distinguen los extras generados por ordenador de los reales. Sin embargo, los gráficos 3D mostrados en una pantalla no nos dan la misma información visual que obtenemos al mirar al mundo real y, por lo tanto no aprovechan del todo nuestras capacidades innatas de visión tridimensional como la disparidad binocular y la acomodación del foco.

• La disparidad binocular es la estimación de las profundidades debido a las pequeñas diferencias que existen entre las imágenes que llegan a cada ojo.

• La acomodación del foco hace que, cuando fijamos la vista en un objeto, el resto de objetos se emborronan.

Aunque no nos demos cuenta de estos efectos cuando miramos al mundo real, nos ayudan a percibir la profundidad y medir las distancias.

Los cascos de realidad virtual sí proveen de disparidad binocular, pero, además de suponer una molestia, no nos dan acomodación de foco.

¿Qué es un display volumétrico?

En un display volumétrico los píxeles no están limitados a una superficie plana, sino que emiten luz desde diferentes puntos dentro de un volumen. Por lo tanto, muestra gráficos que tienen la misma información visual que un objeto del mundo real. Llamamos “vóxeles” a los puntos de luz de un volumen 3D, en analogía con los píxeles 2D de las pantallas.

Hay varias tecnologías para displays volumétricos. La más tradicional consta de una superficie giratoria u oscilante sobre la que se proyectan imágenes. Al moverse la superficie a gran velocidad, las imágenes se perciben de manera conjunta como un volumen. Otras tecnologías más novedosas utilizan vóxeles de plasma creados con un láser focalizado, vóxeles de partículas levitantes o materiales ópticos no lineares que se iluminan cuando interseccionan rayos de luz ultravioleta con infrarroja.

En cualquiera de estos casos, no podemos introducir la mano para manipular los gráficos directamente porque el volumen del display es sólido, las partículas se caen o nos quemamos la mano. Los gráficos 3D aparecen en un sitio, pero nuestra interacción con ellos debe suceder en otro: siempre es una interacción indirecta.

Avanzando en la interacción directa

Nos hemos acostumbrado a manejar las tabletas y teléfonos mediante la pantalla táctil. Es intuitivo y natural arrastrar los iconos con nuestro dedo o tocar directamente sobre los botones que queremos pulsar. Esto es una interacción directa, en donde el output visual está alineado con el input de nuestras acciones.

Es en este punto cuando InteVol, que arrancará en octubre de 2022, intentará crear el primer display volumétrico que permita interacción directa con los gráficos que muestra. Pero no nos engañemos, no es sencillo crear un volumen sobre el que proyectar gráficos que, además, permita tocarlos con las manos.

¿Cómo se hará?

Se emplearán simultáneamente varias tecnologías que funcionan de forma sinérgica. Es decir, cualquiera de ellas funcionaría individualmente, pero combinadas producen un display de mayor resolución.

En general, habrá una nube de partículas de vapor de agua sobre las que se proyecta luz visible, pero se utilizarán partículas más complejas conforme avance el proyecto.

Levitación acústica

Utilizamos la fuerza que el ultrasonido ejerce sobre pequeños objetos para moldear la nube de partículas. Se emiten complejos campos acústicos utilizando cientos de pequeños altavoces, ajustando sus emisiones para que, al intersectar todas las ondas acústicas, el campo sonoro tenga la forma del objeto que queremos mostrar.

El campo sonoro hace que la nube de partículas tenga una forma parecida al objeto, pero sin contener todos los detalles, ya que el sonido no permite alta resolución espacial. Por ejemplo, una cara tendría la forma general, pero detalles como los párpados o líneas de la frente tendrían que realizarse con otra tecnología.

Iluminación tomográfica

Funciona de forma inversa a la tomografía médica. En tomografía tradicional, se toman varias proyecciones 2D desde distintos ángulos para reconstruir en 3D nuestro cuerpo.

En la iluminación tomográfica, se proyectan planos de luz sobre la nube de partículas desde diferentes ángulos para que se cree un volumen de luz con los detalles del objeto.

Trackeo volumétrico

En tiempo real se conoce la distribución de la densidad de la nube de partículas, lo que permite un control en bucle cerrado de la levitación acústica y la iluminación tomográfica.

Si se conoce su distribución, las heterogeneidades en la nube de partículas permiten aumentar la resolución espacial en vez de reducirla.

Microfabricación de partículas optoacústicas

Se trata de una tecnología extra para obtener mejores resultados utilizando partículas micrométricas en vez de una nube de vapor de agua.

Las partículas que se fabrican están diseñadas para rebotar el sonido de manera óptima, reflejar la luz en los ángulos deseados, y tener un peso neutro para flotar naturalmente dentro del volumen del display. Todo eso, garantizando que son seguras para el sistema respiratorio.

¿Para qué servirá esta tecnología?

Este proyecto también investigará cuáles son las interacciones más efectivas para manipular y crear contenido. Desde simples agarres y rotaciones con la mano, hasta cómo utilizar la inteligencia artificial para corregir los trazados que hacemos en el aire o convertirlos en objetos.

Las aplicaciones más sencillas serían para la visualización y ensamblaje de piezas como pueden ser los engranajes de sistemas mecánicos o fragmentos de objetos arqueológicos.

Más adelante se utilizarán aplicaciones que requieran navegación y cambio de escala, por ejemplo, para planificar una intervención laparoscópica.

La aplicación más ambiciosa será para facilitar la creación de ideas entre varias personas. Por ejemplo, un proceso creativo donde una persona traza en el aire una forma que se convierte en un objeto 3D interactivo y otras personas pueden actuar sobre este o trazar más objetos que interactúen entre sí.

¿Qué aspecto tendría un ‘display’ InteVol?

El primer prototipo estará muy limitado: será como un cubo con uno de los lados abatidos para que el usuario pueda introducir la mano u otros objetos. Más adelante confiamos en tener un display en el que solo exista una superficie plana sobre la mesa y otra superficie encima de esta. Es decir, un cubo, pero solo con la base y la parte de arriba.

El display ideal sería una superficie plana que se pone sobre la mesa, permitiendo la visión y acceso desde los laterales y desde arriba. Podemos imaginar incluso displays que podamos sujetar en nuestra mano y proyecten gráficos de más tamaño. Puede que esto sea imposible o que sea para un proyecto futuro más allá de Intevol.

Este artículo fue publicado originalmente en The Conversation. Lea el original.

Asier Marzo Pérez recibe fondos de la unión europea a través del proyecto FET TOUCHLESS y del ERC StG InteVol