Distributed Caching of Scientific Workflows in Multisite Cloud

Heidsieck, Gaëtan; Oliveira, Daniel de; Pacitti, Esther; Pradal, Christophe; Tardieu, Francois F.; Valduriez, Patrick

doi:10.1007/978-3-030-59051-2_4

Cited by 6 publications

(3 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Field-based high-throughput phenotyping has been an active area of interest and made possible through platforms that help monitor plant attributes using high-throughput phenotyping. 11,12 Efficient online database for phenotypic data for retrieval and analytics has been explored in References 2-4, allowing users an accumulated repository for scientific data.…”

Section: Related Workmentioning

confidence: 99%

Radix+: High‐throughput georeferencing and data ingestion over voluminous and fast‐evolving phenotyping sensor data

Mitra

Roselius²,

Andrade-Sánchez

et al. 2023

Concurrency and Computation

View full text Add to dashboard Cite

Remote sensing of plant traits and their environment facilitates non-invasive, high-throughput monitoring of the plant's physiological characteristics. However, voluminous observational data generated by such autonomous sensor networks overwhelms scientific users when they have to analyze the data. In order to provide a scalable and effective analysis environment, there is a need for storage and analytics that support high-throughput data ingestion while preserving spatiotemporal and sensor-specific characteristics. Also, the framework should enable modelers and scientists to run their analytics while coping with the fast and continuously evolving nature of the dataset. In this paper, we present RADIX+, a high-throughput distributed data storage system for supporting scalable georeferencing, and interactive query-based spatiotemporal analytics with trackable data integrity. We include empirical evaluations performed on a commodity machine cluster with up to 1 TB of data. Our benchmarks demonstrate subsecond latency for majority of our evaluated queries and ∼ 8× improvement in data ingestion rate over systems such as Geomesa.

show abstract

Section: Related Workmentioning

confidence: 99%

Radix+: High‐throughput georeferencing and data ingestion over voluminous and fast‐evolving phenotyping sensor data

Mitra

Roselius²,

Andrade-Sánchez

et al. 2023

Concurrency and Computation

View full text Add to dashboard Cite

show abstract

“…Apesar desses arcabouc ¸os oferecerem mecanismos eficientes para execuc ¸ões distribuídas de dataflows, o tempo de execuc ¸ão de um dataflow ainda pode ser demasiadamente elevado, dependendo do volume de dados a ser processado. Esse tempo de execuc ¸ão poderia ser reduzido caso dados intermediários previamente produzidos pudessem ser reaproveitados, evitando assim a execuc ¸ão de certas tarefas computacionalmente intensivas do dataflow [Heidsieck et al 2020]. A grande maioria dos arcabouc ¸os tratam execuc ¸ões de múltiplos dataflows de forma independente, i.e., o que foi produzido em uma execuc ¸ão não pode ser reutilizado em outra, mesmo em casos em que os parâmetros de entrada das duas execuc ¸ões são idênticos, o que fará com que os resultados finais e intermediários sejam exatamente iguais.…”

Section: Introduc ¸ãOunclassified

Otimização de Dataflows em Frameworks de Big Data por meio do Reúso de Dados

Decarlo

Oliveira²,

Porto³

2022

Anais Do XXXVII Simpósio Brasileiro De Banco De Dados (SBBD 2022)

Self Cite

View full text Add to dashboard Cite

O uso de arcabouços de Big Data tem aumentado nos últimos anos. Esses arcabouços representam um avanço no que tange o apoio à execução paralela e distribuída de aplicações. Essas aplicações são frequentemente compostas de diversas atividades, gerando assim um dataflow, que em geral processa um grande volume de dados. Por mais que os arcabouços sejam otimizados para explorar localidade dos dados evitar transferências desnecessárias no ambiente distribuído, tais otimizações são focadas em execuções isoladas, i.e. não consideram aproveitar dados de execuções anteriores. Esse tipo de reuso de dados pode acelerar dataflows, uma vez que o dado não precisa ser processado novamente caso já tenha sido produzido por uma execução anterior do mesmo dataflow. Este artigo apresenta uma abordagem para o compartilhamento de dados gerados nos dataflows. Discutimos e implementamos uma arquitetura que permite que múltiplas execuções de dataflows possam compartilhar resultados intermediários, reduzindo tempo de execução. Avaliamos a abordagem com dataflows reais de processamento de dados da COVID-19.

show abstract

“…Nesse sentido, cientistas estão sendo cada vez mais impulsionados a colaborar e compartilhar informações com outros membros da comunidade, bem como a reutilizar dados de seus pares (AMBRÓSIO et al, 2018a;BELLOUM et al, 2011;CLASSE et al, 2016;JANDRE;DIIRR;BRAGANHOLO, 2020;TENOPIR et al, 2015). Por outro lado, na última década, o paradigma da ciência orientada a dados tornou-se uma realidade amplamente difundida (HEY et al, 2009;TREFETHEN, 2020;HIMANEN et al, 2019) e fenômenos complexos passaram a ser simulados por supercomputadores através de ferramentas computacionais que exigem cada vez mais processamento e análise de grandes quantidades de dados LIU;PACITTI, 2019;HEIDSIECK et al, 2020;LIU et al, 2015). Gerenciar e integrar esses projetos científicos orientados a dados é uma tarefa complexa.…”

Section: Contextualizaçãounclassified

BlockFlow: uma arquitetura baseada em Blockchain para confiança em Workflows científicos colaborativos apoiados por uma plataforma de ecossistema de software

Coelho¹

View full text Add to dashboard Cite

Atualmente, os experimentos científicos são realizados de forma colaborativa. Na colaboração científica, o compartilhamento de dados, a troca de ideias e resultados são essenciais para promover o conhecimento e acelerar o desenvolvimento da ciência. Nesse sentido, com atividades cada vez mais complexas, os workflows científicos estão se tornando mais intensivos em dados, exigindo ambientes colaborativos, distribuídos e de alto desempenho (HPC), como grades ou nuvens, para sua execução. Esses ambientes em nuvem estão se tornando cada vez mais adotados por cientistas, pois fornecem escalabilidade e provisionamento de recursos sob demanda. Por outro lado, em experimentos científicos colaborativos baseados em dados, a interoperabilidade, a privacidade e a confiança devem ser consideradas. Para isso, dados de proveniência tem sido amplamente reconhecido por fornecer um histórico das etapas da realização de experimentos científicos, auxiliando na reprodutibilidade dos resultados. Além disso, uma das tecnologias que podem melhorar a colaboração, rastreabilidade e confiança nos resultados científicos, com o objetivo de reprodutibilidade, é blockchain. Nesse sentido, este trabalho propõe uma arquitetura baseada em blockchain, proveniência e infraestrutura em nuvem para trazer confiança na execução de experimentos científicos colaborativos. A arquitetura permite que os pesquisadores criem ambientes distribuídos e confiáveis para a experimentação científica colaborativa, apoiando a coleta e análise de dados de workflows científicos. A solução oferece um ambiente distribuído, que privilegia a interoperabilidade, a privacidade e a confiança em dados de fontes heterogêneas, para permitir a reprodutibilidade dos resultados obtidos na experimentação científica colaborativa.

show abstract

Distributed Caching of Scientific Workflows in Multisite Cloud

Cited by 6 publications

References 19 publications

Radix+: High‐throughput georeferencing and data ingestion over voluminous and fast‐evolving phenotyping sensor data

Radix+: High‐throughput georeferencing and data ingestion over voluminous and fast‐evolving phenotyping sensor data

Otimização de Dataflows em Frameworks de Big Data por meio do Reúso de Dados

BlockFlow: uma arquitetura baseada em Blockchain para confiança em Workflows científicos colaborativos apoiados por uma plataforma de ecossistema de software

Contact Info

Product

Resources

About