Technical description of the equipment

Infraestructura de visualización 3D e interacción multimodal avanzada

Involved equipment

• LIVING LAB

Need and description of the action

La actuación desarrollada ha consistido en la compra e instalación de una infraestructura de visualización 3D e interacción multimodal avanzada para el Living Lab del Campus de Excelencia Internacional de Moncloa.

El equipamiento incluye un sistema inmersivo que permite presentar gráficos tridimensionales en alta calidad y en tiempo real. El sistema presenta la opción de proyección LSHAPE consistente en un sistema de proyección doble, frontal y en suelo con retroalimentación de posición del usuario principal en tiempo real para que el sistema de realidad virtual presente la información adecuada a través del sistema gráfico. De esta forma la posición y el punto de vista del usuario se actualizan dentro del mundo virtual, permitiendo una inmersión total. Esta información se obtendrá mediante un Sistema de Posicionamiento y diferentes medios de interacción multimodal avanzada.

El sistema se ejecuta en un equipo informático capaz de generar los gráficos e imágenes 3D, el sonido envolvente, la evolución del mundo virtual, la interacción con el usuario, y la sincronización de todos los elementos del sistema. Otro equipo gemelo sirve para el desarrollo de los proyectos, ya que la simulación no se puede proporcionar simultáneamente al desarrollo.

Los puntos fuertes y distintivos de esta infraestructura son los distintos tipos de interacción con el usuario a través del sistema de seguimiento mediante cámaras, guantes inalámbricos, soporte para Kinect y reconocimiento de voz. Gracias al sincronismo necesario de los diferentes sistemas se podrán evaluar y estudiar situaciones complejas como prevención de situaciones de riesgo y estado emocionales y cognitivos no conscientes.

La infraestructura de visualización 3D se puede conectar con el Living Lab (con su sensores y actuadores distribuidos por toda la vivienda) creando la unión entre visualización 3D, entorno virtual y entorno real, ampliando de este modo, las prestaciones que puede ofrecer el Living Lab y la infraestructura de visualización 3D e interacción multimodal avanzada. Esto permitirá, entre otras cosas, que se obtenga una sala de visualización 3D inmersiva de interacción multimodal avanzada, donde los usuarios interactuan en un mundo virtual conectado a un espacio real donde pueden modelizarse diferentes escenarios (un hogar digital accesible, un quirófano, una oficina, etc.) y desarrollar prototipado rápido de productos y servicios con los cuales poder desarrollar sistemas de simulación y entrenamiento. A su vez, a través de este nuevo equipamiento, en la sala principal del Living Lab, se pueden reconstruir los diferentes escenarios de simulación y la validación de los productos y servicios propuestos, cambiando su entorno de acuerdo a la interacción definida en el entorno virtual.

Esta conexión hace posible la simulación real y virtual de diferentes escenarios de entrenamiento, permitiendo un estudio más afinado de todos los casos de uso y escenarios que se quieran desarrollar, gracias a la grabación de eventos a través de cámaras, micrófonos, sensores y actuadores en el Living Lab.

Además de las múltiples prestaciones que técnicamente ofrece la infraestructura descrita, su inclusión en el Living Lab permite desarrollar las siguientes aplicaciones en los campos de la e-salud y la salud personalizada (p-health):

• Psicología clínica (estudio del comportamiento, tratamiento de fobias)
• Entrenamiento y planificación médica (imágenes medicas en 3D, simulación de cirugía: endoscopia, laparoscopia o navegación endovascular, actividades de role-play)
• Rehabilitación de pacientes mediante los denominados serious games
• Aplicaciones para la defensa (Simuladores de vuelo, entrenamiento militar, simuladores de coches, simulación de accidentes y atentados)
• Arquitectura y simulación de eficiencia energética (adaptación y experimentación de espacios creados, visitas virtuales de monumentos históricos)
• AAL (Ambient Assisted Living dirigidos a personas con movilidad reducida y personas mayores con dificultades en el desplazamiento)
• Seguimiento de enfermedades crónicas (diabetes, Parkinson, insuficiencia cardiaca, enfermedades coronarias)
• Evaluación de la repercusión de los sistemas estereoscópicos en la visión humana.
• Apoyo a la vida independiente de personas en un ambiente totalmente asistido y natural que incluye un estanque con peces, animales domésticos reales y simulados, vegetación natural, simulación de contexto y estado de ánimo, etc.

Gracias al prototipado rápido y a la personalización de los servicios de salud (p-health) se evidencian las siguientes ventajas de la adquisición e instalación de la infraestructura de visualización 3D e interacción multimodal avanzada en el Living Lab, justificando la necesidad de la actuación:

• Ahorro de costes y tiempo: en alternativa a la construcción de otros Living Labs se pueden crear diferentes entornos virtuales y test en distintas áreas de interés en el interior de una única estructura.
• Reproducibilidad: una vez que un entorno ha sido creado, apropiado por determinados tipos de usuarios, puede ser reproducido de manera rápida y económica.
• Seguridad: las evaluaciones y pruebas de los servicios y de entornos de AAL pueden ser realizadas de manera segura y controlada.
• Verificabilidad y test experimentales de nuevos paradigmas de interacción, ambientes y reacciones inteligentes del sistema.
• Accesibilidad: la infraestructura presenta una solución única de monitorización del movimiento de usuarios en silla de ruedas, tanto eléctrica como manual, permitiendo su uso a un mayor espectro de la población.

Esta solución no se encuentra en la actualidad en ningún organismo del Campus de Excelencia de Moncloa ni se conoce algo similar en ninguna Universidad Española. A su vez se presenta como una solución diez veces más económica que una cueva de realidad virtual, pero con prestaciones de inmersión parecidas gracias a la proyección en el suelo, además de las ventajas anteriormente mencionadas.

Target

La infraestructura presentada es la adecuada para llevar a cabo las diferentes investigaciones de los grupos implicados en la solicitud y de la comunidad universitaria en general. A continuación se resumen las diferentes líneas de investigación que se están iniciando con el apoyo de la infraestructura de visualización 3D e interacción multimodal avanzada, creando sinergias entre la UPM y la UCM. Estas líneas de investigación están íntimamente relacionadas con la línea de trabajo del clúster de Medicina Innovadora: Salud Personalizada (p-Health), dirigida a la integración coherente y coordinada de la bio y nanotecnología, la computación ubicua, el ambiente inteligente, las interfaces multimodales autoadaptativas y la inteligencia artificial para la salud y mejora de la calidad de vida del individuo. Concretamente los objetivos se focalizan en la actuación H7 del Clúster de Medicina Innovadora, Instalación y Consolidación del Living Lab aumentando las capacidades de este para lograr el impacto previsto en el Campus de Excelencia.

Grupo Life Supporting Technologies (UPM):

- Diseño y desarrollo de sistemas inteligentes para apoyar a los ciudadanos a tener una mejor calidad de vida.
- Desarrollar, validar y evaluar sistemas basados en Inteligencia Ambiental, arquitecturas de sistemas AmI, control del contexto y el ambiente, adaptabilidad de sistemas, sensores...
- Desarrollar, validar y evaluar sistemas de Interacción de Usuarios, accesibilidad, adaptabilidad, interfaces de alta usabilidad, interacción natural, modelado del comportamiento, etc.
- Desarrollar, validar y evaluar servicios Ambient Assisted Living (AAL)
- Desarrollar, validar y evaluar servicios basados en la computación ubicua

A través de la utilización de sistemas inmersivos de visualización 3D se evalúan diferentes técnicas de interacción con el de usuario en tiempo real, que será posible gracias al prototipado rápido de ambientes inteligentes y los diferentes tipos de sistemas de control del usuario.

Grupo Creación y Efectos Psicosociales y Culturales del Discurso Audiovisual (UCM):

- Desarrollar materiales de entrenamiento para fomentar y educar en habilidades y destrezas de comunicación que los profesionales de la salud (médicos, enfermeras, trabajadores sociales, psicólogos…) deben poner en práctica en el día a día de su labor profesional (comunicar malas noticias, interacción con el paciente y su familia, resolución de conflictos…)
- Desarrollo e implementación de programas de prevención de enfermedades y, fundamentalmente, de consumo de drogas y alcohol. Así mismo, desarrollo de programas de educación para la salud y promoción de hábitos saludables, especialmente dirigidos a un target joven y mediante el uso de las tecnologías de información y comunicación.
- Propuesta e implementación de planes de comunicación en situaciones de riesgos y gestión de crisis (epidemias, catástrofes naturales, errores clínicos, problemas alimentarios, etc.) mediante simulación y entrenamiento en entornos 3D

Grupo Visión Aplicada (UCM):

- Evaluar aspectos de la función visual binocular como la amplitud de fusión motora, estereopsis (disparidad binocular) y umbrales de profundidad.
- Investigar el efecto de restringir artificialmente la visión y la eficacia de diferentes tratamientos y ayudas visuales ópticas dirigidas a paciente con alteraciones en la visión.
- Medir los movimientos oculares y las posiciones de mirada, la actividad del electrooculograma y electroencefalograma en sujetos humanos interactuando con y navegando en un entorno de realidad virtual con visualización en 3-D. Así, se podrán monitorizar disfunciones neurológicas y oculares en diversas alteraciones de la visión y atención o evaluar por ejemplo, los movimientos oculares ante una colisión inminente en simulaciones de conducción.
- Evaluar la movilidad y las colisiones con obstáculos en personas mayores o en pacientes con baja visión, ya que se evitan las dificultades y peligros que suponen las caídas y choques reales. Así, se podrían estudiar las estrategias de procesamiento sensorial (cómo y cuándo identifican un obstáculo virtual mientras caminan) y guiar el desarrollo de nuevas ayudas visuales.

Grupo Tecnología de imágenes biomédicas (UPM):

- Tratamiento de Imágenes funcionales y moleculares: la aplicación de técnicas de proceso de imagen a la extracción de información cuantitativa funcional y molecular a partir de imágenes biomédicas.

Centro de Tecnología Biomédica (UPM):

- Tecnologías de simulación, realidad virtual y guiado por imagen para entrenamiento y planificación en cirugía minimamente invasiva.
- Tecnología para la atención sanitaria, personal y ubicua, de enfermos crónicos, discapacitados y frágiles. Entornos inteligentes de monitorización y extracción de conocimiento, lab on a chip, redes de sensores, interoperabilidad…

International aspects

Actualmente se está utilizando la infraestructura presentada para el desarrollo y evaluación de diferentes prototipos en el marco de los siguientes proyectos europeos:

- Proyecto Europeo VAALID (Accessibility and Usability Validation Framework
for AAL Interaction Design Process), consta de diferentes herramientas de autor para la creación de espacios 3D de ambientes asistidos (AAL). Estos espacios pueden ser almacenados en una librería que permite el diseño rápido de prototipos. Aunque este proyecto ha finalizado, sus resultados se están transformando en un prototipo aplicable en la nueva infrastructura de visualización 3D e interacción multimodal avanzada para el Living Lab del Campus de Excelencia Internacional de Moncloa.
- Proyecto Europeo VERITAS (Virtual and Augmented Environments and Realistic User Interactions To achieve Embedded Accessibility Design). Su principal objetivo es el soporte en todas las fases de diseño, desarrollo y validación de tecnologías asistivas a través de la simulación en realidad virtual y test iterativo. Este proceso se aplica en distintas aéreas: automoción, domótica, espacios inteligentes, sitios de trabajo, cuidado personal, bienestar y entretenimiento. Sus resultados se evaluarán en la infraestructura de visualización 3D.
- Proyecto Europeo UniversAAL (UNIVERsal open platform and reference Specification for Ambient Assisted Living). Tiene como objetivo la implementación de una plataforma abierta y estándar que permita desarrollar soluciones de AAL de forma sencilla y económica. Actualmente se están instalando los diferentes componentes de la plataforma en el Living Lab, conectándolos a los sensores y actuadores del mismo. Una vez finalizada la instalación se conectarán a una simulación 3D del Living Lab permitiendo la unión entre visualización 3D, entorno virtual y entorno real.
- Proyecto Europeo PERFORM (A soPhisticatEd multi-paRametric system FOR the continuous effective assessment and Monitoring of motor status in Parkinson’s disease and other neurodegenerative diseases progression and optimizing patients’ quality of life). Dentro de las enfermedades neurodegenerativas que conllevan a desórdenes motores, el proyecto PERFORM tiene como objetivos la monitorización y gestión eficiente de pacientes. Aunque este proyecto ha finalizado, se ha descubierto que los pacientes de Parkinson pueden caminar por su cuenta mediante el uso de herramientas de realidad virtual (VR), a pesar del trastorno del movimiento, por lo cual se prosigue con la investigación en el marco desarrollado en el proyecto Perform aplicando las herramientas de reconocimiento del movimiento de la infraestructura y la proyección de realidad virtual. Los entornos de realidad virtual han demostrado ser una medida eficaz para la neuro-rehabilitación de los pacientes afectos da síndrome de Parkinson.
- Proyecto Europeo CogWatch (Cognitive Rehabilitation of Apraxia and Action Disorganisation Syndrome') tiene el objetivo de mejorar la rehabilitación de pacientes de ictus, mediante la creación de una herramienta para desarrollar la rehabilitación en sus casas. Para su desarrollo se utilizan las herramientas de reconocimiento del movimiento de la infraestructura.

Además de los mencionados proyectos europeos en el marco de los cuales se está utilizando la infraestructura presentada, se espera que en las futuras convocatorias del Horizonte 2020, se propongan temáticas en las que la infraestructura de visualización 3D ofrezca un valor añadido notable, con lo que fortalezca la posición dentro de los consorcios de los proyectos europeos e incremente el éxito de las propuestas que se presenten.

Expected impact

El impacto esperado se puede dividir en dos áreas: • Impacto científico Este impacto se puede describir a través de varios indicadores: tesis, publicaciones científicas y proyectos de I+D. En cuanto a las tesis, se ha iniciado el desarrollo de una tesis basada en la rehabilitación neuro-cognitiva mediante juegos de realidad virtual. Para el desarrollo de esta tesis se hará uso de la infraestructura de visualización 3D, y servirá para realizar las pruebas con los diferentes usuarios. Se espera que en los próximos cinco años se desarrollen al menos 3 tesis, que hagan uso de las infraestructuras financiadas por el Campus de Moncloa. Los proyectos de I+D, tanto nacionales como europeos son un buen indicador del impacto que tiene esta infraestructura en el ámbito científico. Además de los proyectos ya mencionados anteriormente en los aspectos internacionales, se espera que en el Horizonte 2020 se creen áreas o temáticas, en las cuales la infraestructura, ofrezca un valor añadido notable y refuerce la posición de las Universidades del Campus de Moncloa y sus agregados para su participación en nuevas propuestas. Se consideraría un éxito, obtener en la próxima convocatoria del horizonte 2020 un proyecto financiado, donde se explote en las características de la infraestructura de visualización en 3D. La financiación a través de proyectos de I+D, además de tener un impacto científico, tendría un claro impacto económico, para la consolidación de los grupos de investigación dentro del Campus de Moncloa. Las publicaciones científicas en las que se mencione la infraestructura serán un resultado indirecto, de los trabajos desarrollados en las tesis y diferentes proyectos de I+D, que hagan uso de las instalaciones de visualización en 3D. Se esperan obtener al menos un par de publicaciones relacionadas con la infraestructura al año. • Impacto social El impacto social viene marcado por los efectos que produce la utilización de la infraestructura para los diferentes actores de la sociedad. Los usuarios que en mayor medida se van a beneficiar del uso de la infraestructura son: los usuarios finales, las entidades de investigación y las pequeñas y medianas empresas. Los usuarios finales, desde las personas que precisen de una rehabilitación, hasta usuarios con movilidad reducida que deseen una evaluación de su entrenamiento en deportes adaptados, como atletismo o el slalom en silla de ruedas, van a encontrar un nuevo escenario altamente motivante donde realizar las tareas, con seguridad y accesibilidad, mejorando con todo ello los resultados y disminuyendo los tiempos necesarios para la rehabilitación o el entrenamiento. Las entidades de investigación, especialmente aquellas pertenecientes al Campus de Moncloa, además de todo lo mencionado anteriormente, tienen a su disposición una infraestructura que le permite dotar de valor añadido a sus proyectos, pudiendo desarrollar y realizar evaluaciones con usuarios, haciendo uso de las más novedosas técnicas de interacción hombre-máquina. En cuanto a las pequeñas y medianas empresas, se pueden beneficiar de externalizar los procesos de desarrollo de prototipos y evaluación de los mismos, estableciendo una colaboración con la Universidad y de este modo ahorrar en costes de producción de un prototipo virtual. La producción de prototipos virtuales, además de un considerable ahorro de costes de producción, proporciona claros beneficios medioambientales al reducir la energía necesaria para el desarrollo de los prototipos y no generar residuos en su producción.

Financing program

CEI 2009, financiado por el Ministerio de Educación Cultura y Deporte

Related publications with Campus Moncloa citation

El fabricante mundial de productos y entornos de desarrollo de realidad virtual Worldviz, ha publicado en su web una noticia en la que se escribe la infraestructura desarrollada en la actuación. Esta noticia hace hincapié en la característica única que lo diferencia del resto de instalaciones de realidad virtual existente por el mundo, es decir, el sistema de tracción de movimiento del usuario en silla de ruedas y su integración con las tecnologías de realidad virtual. En dicha noticia se hace mención a la financiación recibida por el CEI Campus Moncloa. A continuación se puede ver el enlace completo la noticia y una captura de pantalla de la misma. http://www.worldviz.com/news/wheelchair-simulator-at-universidad-politecnica-de-madrid