Data provenance management for bioinformatics workflows using NoSQL database systems in a cloud computing environment

Hondo, Fernanda; Wercelens, Polyane; Silva, Waldeyr da; Castro, Klayton; Santana, Ingrid; Walter, Maria Emília M. T.; Araújo, Aletéia; Holanda, Maristela; Lifschitz, Sérgio

doi:10.1109/bibm.2017.8217954

Cited by 14 publications

(2 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Por ejemplo, varios estudios [104,105] abordan la temática proveniencia de datos en el contexto de los workflows científicos en Cloud, la cual es necesaria para asegurar la reproducibilidad de los experimentos. Toda esta información recopilada puede ser de valor además para mejorar las ejecuciones futuras de los workflows en diferentes maneras, entre ellas para el aprendizaje de políticas de asignación de presupuesto como se propone en este estudio.…”

Section: Factibilidad Y Validezunclassified

Aprendizaje por Refuerzo Offline y Online para el Autoescalado de Workflows Científicos en Cloud

Yisel¹

2022

RIDAA Tesis Unicen

View full text Add to dashboard Cite

Las tecnologías de workflow juegan un papel fundamental en el modelado de experimentos complejos en diferentes disciplinas científicas, facilitando la división de grandes procesos en un conjunto de componentes individualmente reutilizables conectados mediante dependencias. Dichos componentes definen las tareas que un workflow debe realizar para el logro de un objetivo particular. De esta manera, las herramientas desarrolladas en torno a los workflows permiten a los desarrolladores afrontarla complejidad computacional creciente de las aplicaciones científicas. Asimismo, el aumento en la envergadura de los experimentos diseñados actualmente conlleva una necesidad creciente de recursos de cómputo cada vez más potentes, redes de mayor velocidad así como mecanismos más sofisticados para gestionar la ejecución de las aplicaciones. El paradigma de computación Cloud facilita el acceso a los recursos computacionales necesarios para la ejecución de los workflow científicos. Mediante estrategias de virtualización, los proveedores de Clouds públicas ofrecen recursos elásticos casi ilimitados a sus usuarios, bajo un esquema de pago por uso. De esta forma, los usuarios pueden acceder a un amplio espectro de configuraciones de hardwarey software, donde cada tipo de Máquina Virtual (MV) tiene un costo asociado dependiendo de sus prestaciones. Cloud se muestra entonces como un entorno con gran potencial para la ejecución eficiente delos workflows, ya que haciendo un uso inteligente de los recursos es posible reducir el tiempo de ejecución y los costos económicos. Las estrategias de auto escalado explotan la elasticidad de Cloud para hacer frente a las demandas computacionales dinámicas de los workflows. Periódicamente dichas estrategias escalan la infraestructura, adquiriendo y/o terminando instancias de MVs con diferentes prestaciones. También de forma periódica, las estrategias planifican eficientemente las tareas en las instancias disponibles. En general, las estrategias de autoescalado toman decisiones de escalado y planificación para optimizar determinados objetivos como pueden ser el tiempo de ejecución y el costo económico. Este es un problema desafiante considerando la dificultad que representa determinar las mejores decisiones en un entorno con múltiples elementos de incertidumbre, por ejemplo desempeño variable e impredecible dé una infraestructura virtualizada, fluctuaciones en los precios y posibles fallos. El Aprendizaje por Refuerzo (AR) propone un enfoque computacional para problemas de toma de decisiones, donde un agente actuando en un entorno con incertidumbre, aprende a asociar situaciones con acciones adecuadas mientras maximiza una señal numérica de recompensa. El agente aprende cuál es el comportamiento adecuado para lograr su objetivo por prueba y error en su interacción con el en-torno. Cuando es posible modelar la dinámica del entorno, el agente puede aprender en modo offline utilizando técnicas específicas para ello. Otra variante consiste en que el agente interactúe directamente con el entorno real aprendiendo en modo online. Esta última variante suele ser más utilizada ya que en muchos problemas no es posible contar con un modelo preciso de la dinámica del entorno o la misma puede cambiar en el tiempo. Las estrategias basadas en AR están siendo ampliamente utilizadas y con muy buenos resultados en áreas como la teoría de juegos, lo que ha motivado su estudio y aplicación en otras áreas como es el caso del autoescalado en Cloud. Sin embargo, en la literatura se encuentran muy pocos trabajos de AR que consideren las aplicaciones de workflow y sus particularidades. Este documento describe dos enfoques basados en AR (offline y online) para el autoescalado de workflows en Cloud. La hipótesis principal que motiva estas propuestas se basa en que considerar los tipos de estructuras de dependencia presentes en los workflows favorece el aprendizaje de mejores políticas de autoescalado. Las variantes de aprendizaje offline y online permiten abordar el problema de autoescalado desde distintas aristas en función de las limitaciones y potencialidades presentes en cada enfoque. En la presente Tesis, ambas propuestas fueron materializadas y validadas en un entorno Cloud simulado, considerando características fundamentales1 como la heterogeneidad y rendimiento variable de los recursos computacionales, diferentes modelos de precios y aplicaciones de workflow intensivas en cómputo y con cargas de trabajo variadas. Además de verificar la factibilidad del aprendizaje en ambos contextos (offline y online), se pudo comprobar que las estructuras de dependencia presentes en los workflows aportan información valiosa para el aprendizaje de políticas adecuadas cuando el objetivo es minimizar tiempo y costo de ejecución. El análisis del estado del arte desarrollado en esta tesis, así como los resultados obtenidos, muestran que se trata de un área de investigación prometedora, con mucha aplicabilidad y factible de continuar siendo explorada en el futuro.

show abstract

Section: Factibilidad Y Validezunclassified

Aprendizaje por Refuerzo Offline y Online para el Autoescalado de Workflows Científicos en Cloud

Yisel¹

2022

RIDAA Tesis Unicen

View full text Add to dashboard Cite

show abstract

“…Although the proposed solution identifies the posted tweets that are copied from other published tweets without giving credit to original tweeter like a retweet, it is suitable for a small dataset only. Applications of standard PROV-DM model are proposed in [27] to manage provenance data for bioinformatics workflows in a cloud computing environment using different families of NoSQL databases. A provenance framework based on algebraic structure of semirings for three specific graph algorithms is presented in [41], to compute provenance of regular path queries (RPQ) over graph database via applying annotations like labels and weight functions which is a quite complex process.…”

Section: Related Workmentioning

confidence: 99%