An algebraic approach for data-centric scientific workflows

Abstract

Scientific workflows have emerged as a basic abstraction for structuring and executing scientific experiments in computational environments. In many situations, these workflows are computationally and data intensive, thus requiring execution in large-scale parallel computers. However, parallelization of scientific workflows remains low-level, ad-hoc and laborintensive, which makes it hard to exploit optimization opportunities. To address this problem, we propose an algebraic approach (inspired by relational algebra) and a parallel execution model that enable automatic optimization of scientific workflows. We conducted a thorough validation of our approach using both a real oil exploitation application and synthetic data scenarios. The experiments were run in Chiron, a data-centric scientific workflow engine implemented to support our algebraic approach. Our experiments demonstrate performance improvements of up to 226% compared to an ad-hoc workflow implementation. * Work partially sponsored by CAPES, CNPq and INRIA (Datluge and Sarava projects).

Adaptive Caching for Data-Intensive Scientific Workflows in the Cloud

“…A SWf W (A, D) is the abstract representation of a directed acyclic graph (DAG) of computational activities A and their data dependencies D. There is a dependency between two activities if one consumes the data produced by the other. An activity is a description of a piece of work and can be a computational script (computational activity), some data (data activity) or some set-oriented algebraic operator like map or filter [11]. The parents of an activity are all activities directly connected to its inputs.…”

Uma Proposta de Implementação de Álgebra de Workflows em Apache Spark no Apoio a Processos de Análise de Dados

“…Os SGWs necessitam de linguagens de especificação de workflows, as quais podem ser: (i) gráficas (normalmente associadas a grafos ou redes de Petri); (ii) baseadas em XML (XPDL etc); ou (iii) baseadas linguagens de especificação próprias plain-text [Deelman et al, 2009]. Em uma visão mais datacêntrica, um workflowé composto de atividades onde cada uma delasé um componente de software capaz de executar programas considerando parâmetros de entrada e de saída [Ogasawara et al, 2011]. Tais parâmetros são usados para definir as dependências entre as atividades de um workflow.…”

“…Desta forma, mecanismos que otimizem a produção e consumo de resultados intermediários e otimize quais atividades devem ser executadas antes e quais delas devem ser executadas de modo agrupado (pipeline) passam a ser muito relevantes. As abordagens algébricas [Jergler et al, 2015;Rheinländer et al, 2015;Ogasawara et al, 2011] procuram otimizar a execução dos workflows, levando-se em consideração o contexto de execução, os dados com os seus respectivos metadados e as informações de proveniência. Salloum et al [2016] descrevem os cenários atuais de BigData e as funcionalidades mais relevantes do Spark que proveem desempenho no processamento e gerência de dados no ecossistema Hadoop, incluindo integração com o sistema de arquivos HDFS.…”

“…O diagrama UML conceitual da Figura 1.a apresenta a arquitetura do W f F na perspectiva da execução de um workflow e suas ligações com a proveniência retrospectiva [Freire et al, 2008]. A arquitetura pode ser sumarizada por meio de suas nove classes principais que implementam os principais conceitos daálgebra de workflows [Ogasawara et al, 2011].…”

“…Em seguida, na seção 3, apresentam-se as características mais relevantes do Spark e seu ecossistema. Estes conceitos servem de base para o projeto do framework usandoálgebra de workflows [Ogasawara et al, 2011], denominado de Workflow Framework, descritos na seção 4. A seção 5 discute a implementação da proposta por meio da descrição de um workflow de ETL (do inglês, Extract Transform Load) para aplicações em mobilidade urbana.…”