Generating multimedia presentations that summarize the behavior of dynamic systems using a model-based approach

Abstract

a b s t r a c tThis article describes a knowledge-based method for generating multimedia descriptions that summarize the behavior of dynamic systems. We designed this method for users who monitor the behavior of a dynamic system with the help of sensor networks and make decisions according to prefixed management goals. Our method generates presentations using different modes such as text in natural language, 2D graphics and 3D animations. The method uses a qualitative representation of the dynamic system based on hierarchies of components and causal influences. The method includes an abstraction generator that uses the system representation to find and aggregate relevant data at an appropriate level of abstraction. In addition, the method includes a hierarchical planner to generate a presentation using a model with discourse patterns. Our method provides an efficient and flexible solution to generate concise and adapted multimedia presentations that summarize thousands of time series. It is general to be adapted to different dynamic systems with acceptable knowledge acquisition effort by reusing and adapting intuitive representations. We validated our method and evaluated its practical utility by developing several models for an application that worked in continuous real time operation for more than 1 year, summarizing sensor data of a national hydrologic information system in Spain.

Simulating Data Journalism to Communicate Hydrological Information from Sensor Networks

“…The VSAIH evaluation showed that this system can save to operators up to 5 hours, especially in emergency situations (see evaluation details in [12]). …”

“…To support these tasks, the VSAIH architecture follows a knowledge-based approach with three knowledge models for the system, abstraction and presentation [12]. The system model represents the set of river basins in Spain.…”

Un método para generar explicaciones de resultados de un Sistema Experto, usando Patrones de discurso y Ontología

“…En trabajos anteriores se han generado soluciones que generan texto a partir de datos y conocimiento experto, entre estas soluciones están los sistemas que usan la técnica de data-to-text (Flores et al, 2016) o los métodos como el reportado en (Molina & Flores, 2012). Una de las razones que motiva a este tipo de propuestas es la creencia de que resúmenes lingüísticos de datos numéricos (como por ejemplo series temporales) puede ser más eficaz que la presentación tradicional de estos datos, en formatos como tablas, análisis estadísticos o gráficos de evolución.…”

“…(Molina & Flores, 2012), y en general los equipos humanos están interesados no sólo en un resultado final sino también en la descripción de posibles estados del sistema dinámico durante un período de tiempo. Un ejemplo de un sistema dinámico es una pila industrial de biolixiviación de cobre.…”

“…Una forma de conocer el comportamiento de estos sistemas dinámicos es usando Sistemas Expertos que infieran y presenten el estado del sistema (Molina & Flores, 2012). Pero una forma de profundizar en el conocimiento del por qué un sistema experto llega a una conclusión (a un estado del sistema dinámico) es generar presentaciones de los estados intermedios por los que transita el Sistema Experto, antes de presentar una conclusión al usuario.…”