25 proyectos seleccionados para la plataforma I+D+BIT

Talento investigador aplicado al audiovisual

Cerca de una treintena de proyectos de investigación y desarrollo se han presentado a la convocatoria I+D+BIT impulsada por BIT 2016, Salón Profesional de la Tecnología Audiovisual, que organiza IFEMA entre los días 24 al 26 de mayo de 2016. Estos proyectos están siendo desarrollados, tanto en el ámbito universitario como empresarial, de cara a buscar nuevas tecnologías con alto valor añadido y potencial de crecimiento aplicadas a la industria audiovisual.

La iniciativa I+D+BIT quiere así reconocer la labor de los profesionales y entidades que conforman el mundo de la investigación en el audiovisual, cuyo papel es esencial en este sector, dando a conocer a la sociedad los proyectos más innovadores.

Un Comité de Selección, presidido por Pere Vila, Director de Tecnología, Innovación y Sistemas de RTVE Corporación, han seleccionado un total de 25 proyectos teniendo en cuenta la oportunidad de la investigación llevada a cabo; su capacidad de influir en el futuro desarrollo de la industria audiovisual; su potencial de aplicación; la originalidad de su enfoque, método u objeto, y la capacidad de reunir y generar colaboración entre distintos actores interesados. Quienes visiten BIT 2016 podrán conocer de primera mano el desarrollo de estos proyectos gracias a una serie de posters informativos y sesiones de presentación. 

Audio y vídeo sobre IP; reconocimiento y generación de voz sintética; uso de metadatos aplicados al big data; realidad virtual, aumentada e inmersiva;  interacción con objetos; neurociencia; producción y distribución de contenidos científicos; streaming adaptativo; iluminación escénica; accesibilidad; análisis automático  de vídeo y audio; producción 360º; motion capture; búsqueda, catalogación y recomendación de contenidos; usabilidad en tv interactiva; sincronización de contenidos híbridos… son algunas de las áreas de trabajo aplicadas al sector audiovisual sobre las que investigan los proyectos seleccionados en I+D+BIT.

Proyectos de investigación seleccionados:

AEQ

AEQ está desarrollando un proyecto en colaboración con Neogroupe en el que se analizan los usos de la telefonía en la emisiones de dos importantes emisoras europeas: Radio Nacional de España y Radio France. Su objetivo es adaptar un sistema de telefonía de emisiones a los requisitos de los usuarios teniendo en cuenta su integración con aplicaciones de control pre-existentes desarrollando para ello un protocolo de control a medida. En este proyecto, que cuenta con el respaldo del CDTI, AEQ está trabajando mano a mano con responsables de telefonía, directores técnicos, productores, realizadores, controlistas… AEQ ha instalado en el estudio 102 de RNE una maqueta operativa que parametriza la salida al aire de llamadas telefónicas y la interoperatividad con grandes sistemas telefónicos y centralitas digitales.

EUNISON

La generación de voz a partir de principios físicos fundamentales utilizando la capacidad actual de la supercomputación en paralelo es el objetivo del proyecto Eunison (Extensive UNIfied-domain SimulatiON of the Human Voice) auspiciado por el Grup de Recerca en Tecnologies Mèdia (GTRM) de La Salle (Universitat Rmon Llull), junto a KTH, Gipsa-Lab, CIMNE (UPC) y FAU-Erlange. A partir de las resonancias magnéticas de la laringe y el tracto vocal, y resolviendo las ecuaciones pertinentes, el sistema es capaz de generar sonidos a partir de un motor de simulación unificado y validado a partir de pruebas experimentales. Sin duda, el fin último de esta interesante investigación es hacer posible el sueño de ser capaces de reproducir el funcionamiento de nuestro aparato fonador.

El objeto de la investigación es tan novedoso y desafiante que ha sido financiado mediante el programa Future Emerging Technologies (FET) de la Comisión Europea dentro del séptimo programa 7PM con una dotación de 2,96 millones de euros. Las perspectivas a largo plazo incluyen el desarrollo de síntesis de voz natural aplicable a la generación de contenidos audiovisuales como  doblaje de películas, simulación completa de personajes virtuales (incluyendo el proceso real de generación de la voz), nuevas formas de expresión cultural…

DIGIBIT

DigiBit y el Conservatorio Superior de Música de Madrid están inmersos en un práctico proyecto denominado MusicBit que pretende la creación de una base de metadatos con música de diversos géneros, con especial atención a la clásica española y europea desde la edad media hasta nuestros días. Mientras que la mayoría de proveedores de música por Internet apenas permiten la búsqueda por artista, género o canción/obra, este proyecto pretende poner en marcha una base con 18 campos de metadatos.  No existe ninguna base en el mundo que recopile hasta la fecha esta información que estará disponible para aplicaciones iOS y Android. Por el momento, ya han incorporado más de 75.000 discos, estando previsto añadir otros 25.000 de música clásica, así como de otros géneros como jazz, folk, pop y rock.

BRAINSTORM

Una de las dificultades que encuentran productoras y broadcasters a la hora de trabajar con estudios virtuales es la complejidad del equipamiento y software empleado. Actualmente solo los grandes productores de contenidos pueden permitirse contar con el equipamiento, herramientas y equipo humano capaz de poner en marcha un set virtual. Para “democratizar” el acceso al uso de set virtuales, así como simplificar su gestión y manejo, Brainstorm Multimedia está desarrollando, junto a la Politécnica de Valencia, el proyecto SmartSet que no solo reduce la complejidad del uso de virtuales sino que pretende impulsar la puesta en marcha de un marketplace en el que los usuarios puedan descargarse contenidos, modelos y escenarios que podrán personalizar y ajustar a sus necesidades.

Por otro lado, Brainstorm en conjunción con varios broadcasters como RTVE, TVR o BlueSky, instituciones como la Universidad de Surrey o el IRT y empresas como Never.no o Signum está impulsando un proyecto cuyo principal objetivo es integrar, en tiempo real, contenido generado a través de redes sociles con gráficos 3D en tiempo real, desarrollando una solución completamente integrada que recoja la información de todas las redes sociales, la estructure adecuadamente y la represente en forma de gráficos 3D en entornos de realidad aumentada con posibilidad de interacción sobre los mismos por parte del presentador. La creciente popularidad de las redes sociales, combinada con la espectacularidad de los gráficos 3D en entornos de realidad aumentada, ofrecerán una oportunidad única para cubrir esta necesidad y ofrecer una herramienta única al sector.

MARIONETAS INTERACTIVAS

APACIA (Asociación de Profesionales de Actividades Culturales para la Infancia y la Adolescencia) pretende junto a Museum I+D+C y el Laboratorio de Cultura Digital y Museografía Hipermedia (Universidad Complutense) establecer una nueva sintaxis narrativa a través de marionetas digitales en directo (avatares) basadas en Don Quijote de la Mancha a fin de recoger datos y experiencias que permitan la interactividad real y segura que reclaman las nuevas audiencias en televisión.

DRAWIT

El Grup de Recerca en Tecnologies Mèdia (GTM) de La Salle Campus Barcelona (Universitat Ramon Llull) investigan actualmente sobre un nuevo tipo de interacción con objetos conectados a través del dibujo. El usuario dibuja en un dispositivo móvil el objeto con el que quiere interactuar y éste se lo permite. Además será posible interactuar con más de un objeto conectado al mismo tiempo poniéndolos en contexto. Así, la carga mental del usuario se reduce de manera drástica ya que solo tienen que dibujar sobre el dispositivo, convirtiéndolo en una interfaz útil y muy simple para la interacción con productos audiovisuales.

HDR

Desarrollar algoritmos de procesamiento de imágenes principalmente basados en ciencias de la visión con aplicación a la industria audiovisual es el principal objetivo del European Research Council (ERC) en colaboración con la Universidad Pompeu fabra (UPF) dentro del proyecto IP4EC (Image Processing for Enhanced Cinematography). Este equipo investigador está utilizando modelos de percepción visual y neurociencia para manipular imágenes de alto rango dinámico (HDR), adaptar colores a las posibilidades de cada pantalla y optimizar la apariencia de las imágenes. También están trabajando en la eliminación de ruido y la estabilización del color en entornos broadcast y de postproducción. Con el desarrollo del HDR se plantea la necesidad de contar con métodos para trabajar con esta tecnología y explorar cómo adaptarla a los contenidos ya producidos (legacy). El proyecto, desarrollado por un equipo de nueve profesionales de distintas nacionalidades y disciplinas se inició en 2012 en el marco del Starting Grant del ERC y concluirá el próximo año.

RECREAT

La empresa Imageen junto a la Universidad Francisco de Vitoria y la UNED están desarrollando un prototipo para la recreación del proceso creativo mediante realidad virtual (RECREAT). Esta investigación pretende el desarrollo de tecnologías de inmersión en obras de arte por medio de un análisis centrado en el proceso creativo del autor. RECREAT persigue construir modelos de inmersión y lectura de las obras de arte que permitan conformar los modelos de museos, centros de arte o transmedia… con narrativas propias del espacio web 3.0 ofreciendo ricos y múltiples niveles semánticos de la obra en el proceso de inmersión. Este proyecto podría tener un impacto determinantes en la generación de nuevas tecnologías de inmersión y en las narrativas audiovisuales en el campo de las artes y en los modelos de instituciones culturales del siglo XXI.

CLOUD LAB

El laboratorio Hipermedia, un spin off de la Universidad Carlos III de Madrid, está investigando sobre la creación, edición, almacenamiento y publicación de herramientas de enseñanza-aprendizaje interactivas (tales como presentaciones y diferentes modalidades de cuestiones de evaluación) basadas en el uso del vídeo a través de su gestión en una base de datos con tecnología Cloud Computing. Ante el incremento del vídeo y la interactividad como elementos clave en el diseño de materiales didácticos, la posibilidad de crear y almacenar presentaciones y herramientas online junto con la oportunidad de editar vídeo desde la nube aportan un valor añadido. Esta herramienta está ya empleándose por parte de la FIFA, AFC y las federaciones de fútbol de Japón, Bélgica o Qatar que basan sus actividades formativas en el vídeo y dinámicas de “aprender haciendo”.

TRANSVIDEOADAPT

Actualmente existen diversas soluciones propietarias junto a un estándar internacional, MPEGDASH, para streaming adaptativo. Sin embargo, se está demandando una solución que facilite dar servicio de distribución de contenidos independientemente de la solución empleada. En esta línea, Nokia y la Universidad Politécnica de Madrid están desarrollando el proyecto Tranvideoadap que pretender impulsar una plataforma que permita en tiempo real generar diferentes formatos del contenido audiovisual a partir de una sola copia según los esquemas de adaptive streaming, minimizando los recursos de almacenamiento requeridos. De esta forma, el contenido puede adaptarse en tiempo real al dispositivo del cliente.

La plataforma Transvideoadapt presenta una alternativa al modelo de negocio tradicional de la distribución de contenidos a un modelo donde el proveedor de infraestructura de Red pueda añadir como servicio la adaptación del contenido a los perfiles de la demanda requeridos en cada instante y dispositivo. Además, el soporte a MPEG-DASH ayudará a avanzar en la implantación de este estándar como solución tecnológica integradora.

MAFILED

Marco Fidel Vargas, director del Proyecto Escuela Internacional Solidaria de Artes Escénicas, junto a Jesús Marcos García, que consiguió Matrícula de Honor en Ingeniería Electrónica y Robótica en la UNED con esta idea, han presentado a I+D+BIT un proyecto, auspiciado por la UNED, que bajo la denominación MAFILED desarrolla un sistema alternativo para iluminación en los espacios escénicos, ya sean platós, teatros, auditorios… destinado a asegurar el tránsito de los profesionales que circulan en escasas condiciones de luz. Ideal para luz de seguridad y trabajo, su estructura telescópica y trapezoidal resuelve el problema de la oscuridad en zonas de paso entre telones y decorados.

MULTIDUB

El procesado digital de la señal sonora del material audiovisual tanto en cine como en televisión u otros medios para la identificación del contenido y el instante de reproducción actual, a efectos de sincronizar (vía auriculares y smartphone)con doblajes alternativos al de la pantalla principal es el objeto de la investigación que desarrollan Peranoid y la Universidad Politécnica de Valencia. En línea a lo que lleva a cabo Shazam (en este caso aplicado a la identificación musical), en el caso de Multidub además de identificar el contenido audiovisual permite al usuario escuchar el contenido que visualiza con un doblaje diferente al de la emisión. Sus impulsores destacan que esta idea permitirá democratizar la industria del doblaje, monetizándolo en lugares donde previamente no era accesible.

Con apenas un año de vida, MultiDub ya ha sido seleccionado por dos plataformas de aceleración europeas (CreatiFI e IMPACT) y por la aceleradora Lanzadera (impulsada por el empresario Juan Roig).

SOCIOGRAPH NEUROMARKETING

El sistema Analytic System 3.0, desarrollado por Sociograph Neuromarketing, permite validad y medir objetivamente la efectividad de un contenido audiovisual antes de que sea emitido. Tras años de experiencia e investigación, este equipo ha desarrollado una metodología de análisis exclusiva que gracias al uso de algoritmos es capaz de medir el impacto sobre un público objetivo. Grandes grupos audiovisuales como Mediaset España ya han testado este método para validar mejor y optimizar la comercialización de sus productos audiovisuales con un 100% de éxito en sus análisis.

PRODUCCION UHD

La Universidades Carlos III, Rey Juan Carlos y Complutense junto a 709 Mediaroom están desarrollando un proyecto de cara a articular una propuesta teórica sobre las nuevas tecnologías de producción audiovisual y sus flujos de trabajo en relación a la Ultra Alta Definición. Los nuevos estándares internacionales para el aumento de la calidad de la representación visual y sonora tendrán un fuerte impacto en todos los subsectores de la industria audiovisual, pero también afectarán a todos los procesos creativos y los flujos de trabajo de los artistas digitales haciendo evolucionar las formas expresivas y narrativas. Adelantarse a estos cambios es uno de los principales objetivos de este grupo de trabajo.

SMARDS

Scene Segmentation Solutions for Smart Advertising, Advanced Navigation and User Profiling (smArDS). Con este nombre un equipo de Ugiat Techbologies y la Universitat Politècnica de Catalunya está analizando de forma automática el contenido audiovisual utilizando técnicas basadas en descriptores de bajo nivel y algoritmos de aprendizaje computacional. Con ello, buscan obtener una descomposición jerárquica del vídeo en escenas, cambios de plano, frase… que permita buscar los mejores puntos para la navegación o inserción de publicidad. De esta forma, entre otras cuestiones, se podría evitar en entornos de televisión no lineal el problema de la inserción aleatoria de publicidad que habitualmente interrumpe el contenido en mitad de una palabra o acción, además de mejorar la experiencia de navegación con un player avanzando con posibilidad de retroceder o avanzar por escenas, planos, frases… de forma natural e intuitiva.

Planteado como un producto de software, smArDS analiza el vídeo y extrae los metadatos asociados determinando los mejores puntos para insertar publicidad o los puntos con mayor ad completion rate, o incluso perfiles de usuario basados en metadatos audiovisuales.

ZENIT-MOCAP

Un grupo de investigación de la Universidad Europea Miguel de Cervantes está desarrollando una tecnología de Motion Capture (MoCap) con aplicaciones al cine, televisión y videojuegos. La tecnología Zenit-MoCap quiere convertirse en una herramienta para crear animaciones directamente adquiriendo los movimientos de un actor o personaje real. Basándose en sensores de movimiento inerciales 3D acelerométricos, magnetométricos y de brújula digital, Zenit-MoCap permite con la única ayuda de un software de terceras partes (Maya Unity Motion Builder) la integración de CGI 3D en tiempo real.

Lo novedoso de este proyecto es que no se circunscribe a dos cámaras estereoscópicas (al estilo Kinect) sino que hace uso de sistemas inerciales que recogen la aceleración de las articulaciones, corrigiendo incluso las desviaciones que se perciban sin necesidad de un complejo sistema de captura de cámara. Al no depender de una cámara de vídeo se minimizan los puntos ciegos y la pérdida de información del objeto capturado.

VIYOU

Las Universidades de Huelva y Almería están trabajando en el estudio del uso de las video anotaciones colaborativas, es decir que una anotación realizada por un usuario pueda ser a su vez comentada por otro y así sucesivamente. El equipo investigador pretende establecer un método online de aprendizaje colaborativo de contenidos. El método incluye una plataforma de contenidos colaborativa (Viyou) y un sistema de hardware de acceso y autentificación de los contenidos ofreciendo a los usuarios una experiencia rápida y escalable desde cualquier dispositivo. Esta experiencia busca garantizar la naturaleza colaborativa entre docentes y alumnos con la generación de contenidos reutilizables colaborativos que sean accesibles desde cualquier medio conectado a Internet, incluyendo smart tvs.

DIVULGARE

Habitualmente el trabajo de los investigadores no llega a la sociedad que, en gran parte, lo financia. Por ello, un proyecto de la Universidad de Vigo se afana en facilitar la transferencia de información entre el ámbito de la investigación y la sociedad. Proponen el uso de técnicas audiovisuales atractivas basadas en animación 2D y 3D que permitan recrear con rigor los procesos y los resultados obtenidos en una investigación. Actualmente, el proyecto Divulgare está centrado en la difusión del conocimiento en ciencias medioambientales y de la tierra, pero es potencialmente aplicable a otros ámbitos de la investigación, incorporando cualquier tipo de algoritmos y procesos.

INDEXACIÓN Y BÚSQUEDA SEMÁNTICA

El Grupo de Tecnologías Multimedia y el Grupo de Servicios para la Sociedad de la Información de la Universidad de Vigo han desarrollado un proyecto que busca mejorar la búsqueda, catalogación y recomendación de contenidos audiovisuales a través del procesado combinado del vídeo, audio y texto. Para ello, han puesto en marcha una serie de módulos de procesamiento multimedia y del lenguaje natural integrándolos en una plataforma demostrativa de búsqueda y recomendación sobre un repositorio audiovisual.

Este equipo de trabajo parte de la idea de que la gran mayoría de buscadores son bastante ciegos ante la ingente cantidad de información contenida en los archivos audiovisuales por lo que se hace necesario desarrollar potentes módulos de procesamiento que permitan extraer los metadatos e indexarlos para su búsqueda y catalogación. Para ello emplean tecnologías de procesamiento avanzado como transcripción automática, extracción de etiquetas semánticas, análisis de voz y movimientos faciales, análisis de subtítulos…

REALIDAD AUMENTADA EN ENTORNOS URBANOS

Desarrollar una aplicación de realidad aumentada y su implementación en una plataforma móvil para la reconstrucción del patrimonio cultural perdido u oculto en entornos urbanos es el objetivo de un proyecto que desarrolla la Universidad de Zaragoza. La aparición de dispositivos orientados a la realidad aumentada y el creciente uso de smartphones para este fin vendrá acompañado de la necesidad de contar con nuevos servicios y aplicaciones basadas en cómputo distribuido entre la nube y el terminal.

Actualmente las aplicaciones móviles de realidad aumentada se basan en marcadores 2D o geometrías simples pre-entrenadas que son problemas abordables con la capacidad de cómputo de los smartphones disponibles. En este proyecto se trasladan los procesos más pesados a la nube. De momento, la Universidad de Zaragoza ha desarrollado un piloto en el que una aplicación permite tomar una fotografía desde cualquier posición en la Plaza de San Felipe de la capital aragonesa y ver esa misma fotografía aumentada con una recreación de la desaparecida Torre Nueva en su ubicación actual.

USABILIDAD EN TV INTERACTIVA

Consolidar la línea de investigación y desarrollo de aplicaciones y servicios para televisión digital interactiva y smart tv, aplicaciones Tv 3.0, servicios OTT e IPTV así como investigar sobre los paradigmas de producción enfocados al nuevo entorno de los medios y distribución OTT son los objetivos que persigue un proyecto de investigación que está llevando a cabo la Universidad Politécnica de Madrid. En este proyecto se están perfilando los problemas que pueden solucionarse con la construcción de contenidos, aplicativos y servicios soportados en las tecnologías de televisión digital interactiva. En particular, busca ofrecer soluciones de código abierto, de interés colectivo, asociadas a la mejora del bienestar de la población relacionadas con educación, salud, gobierno… con énfasis en la inclusión social y digital. Lo novedoso de esta iniciativa es que conlleva la producción de objetos de aprendizaje interactivos con formato TVDI compatible con SCORM. Así, se generarán sistemas, códecs, estándares y periférios de cara a evaluar las nuevas capacidades de la televisión y repositorios de vídeo en línea.

SINCRONIZACIÓN HÍBRIDA

La Universidad Politécnica de Valencia está trabajando en un proyecto de sincronización híbrida e inter-destinatario (IDMS) para posibilitar experiencias multimedia enriquecidas personalizadas, inmersivas y compartidas. Entre otros aspectos aborda uno de los principales retos que se plantean al usar de forma coordinada las redes broadcast (como DVB) y broadband (como Internet) para ofrecer acceso amplio y ubicuo a contenidos multimedia relacionados, remarcando la necesidad de mecanismos de señalización y sincronización de dichos contenidos en uno o múltiples dispositivos de consumo. Esto permitiría experiencias de televisión personalizadas, inmersivas, interactivas y compartidas.

Es de reseñar que aunque el estándar HbbTv 2.0 proporciona mecanismos básicos de sincronización de contenidos híbridos, bien en un único dispositivo o bien en escenarios multipantalla, este proyecto ofrece soluciones avanzadas y precisas par estas funcionalidades, así como para la sincronización de contenidos entre grupos de usuarios remotos. Además, se añaden elementos multisensoriales como aromas a contenidos audiovisuales tradicionales y se integran herramientas de AV conferencing para mejorar la interactividad.

PLAYER4ALL

De cara a facilitar la inclusión de todos los servicios de accesibilidad audiovisual en una producción y qye cada uno de ellos (audiodescripcion, lengua de signos y subtítulos) puedan ser activados a voluntad por cada usuario modificando el tamaño y disposición de forma personalizada es el principal objetivo que se ha marcado en el proyecto Player4All la Universidad Rey Juan Carlos junto al CNLSE y EDSol Producciones.

El proyecto aportaría una mejora en la capacidad comunicativa y de accesibilidad audiovisual en emisiones de tv, vídeo bajo demanda o retransmisiones a través de Internet. Player4All ha dado ya como primer fruto del trabajo desarrollado un reproductor para vídeo bajo demanda. En la actualidad, trabaja sobre una segunda versión que funcionará con vídeos en directo empleando el estándar HbbTv. Es de destacar que en la actualidad no existe ningún otro reproductor que permita personalizar todos los servicios de accesibilidad.

EUMSSI

VSN en colaboración con la Universitat Pompeu Fabra y el broadcaster alemán Deutsche Welle, junto a varios laboratorios y centros de investigación europeos, han puesto en marcha el proyecto EUMSSI (Event Understanding through Multimodal Social Stream Interpretation). Busca facilitar a los medios de comunicación una plataforma desde la que tener acceso directo a datos e información multimedia ya analizada, interpretada y catalogada en función de su temática sobre los principales hechos que acontecen en el mundo para ofrecer así una información contrastada y filtrada que les permita realizar su trabajo con una mayor calidad sin sufrir pérdidas de tiempo y recursos en la búsqueda de datos a través de numerosas fuentes online.

La apuesta tecnológica de la plataforma EUMSSI se basa en un sistema de analítica multimodal que ayuda a organizar, clasificar y agrupar los flujos de información de medios online y offline cruzados, integrando el contenido proveniente de diversas fuentes de manera interactiva y enriqueciéndola con metadatos asociados.

Algunas de las diferencias sustanciales que distinguen el proyecto EUMSSI de otras propuestas que incorporan búsqueda multimodal son la interoperabilidad e interactividad que ofrece su sistema desagregación de datos, gracias al uso de tecnologías de análisis y extracción de información de última generación. La plataforma se está desarrollando sobre una licencia de fuente abierta.

VOIXER

LaSalle Campus Barcelona (Universitat Ramon Llull) está inmerso en un proyecto que integra tecnologías de conversión de texto en habla (CTH, por sus siglas en inglés) y de transformación de voz (TrV) de cara a desarrollar un único sistema de generación de voz sintética personalizada mediante una interfaz de usuario intuitiva. El desarrollo de esta tecnología es capaz de convertir un mensaje de texto cualquiera en la tipología de voz que se desee (niño, robot, hombre, mujer…) indicada por el usuario a través de un interfaz-ecualizador a partir de una única voz neutra en el idioma deseado. En campos como la producción de videojuegos, Voixter permitirá disponer de una voz sintética en la fase de producción, reduciendo los costes y los plazos dejando la intervención del locutor para la fase final de producción. Incluso, a medida que la calidad sintética de la tecnología permita obtener voces más naturales y expresivas, sería posible llegar a sustituir a un locutor profesional.