Building A Platform for Machine Learning Operations from Open Source Frameworks

Machine Learning Operations (MLOps): Overview, Definition, and Architecture

“…The provided infrastructure can be either distributed or nondistributed. In general, a scalable and distributed infrastructure is recommended [7], [23], [27], [28], [32], [33], [37], [45], [46], [δ, ζ, η, θ]. Examples include local machines (not scalable) or cloud computation [L. Cardoso Silva] [η, θ], as well as non-distributed or distributed computation (several worker nodes) [7], [37].…”

“…In the following, every role, its purpose, and related tasks are briefly described: R1 Business Stakeholder (similar roles: Product Owner, Project Manager). The business stakeholder defines the business goal to be achieved with ML and takes care of the communication side of the business, e.g., presenting the return on investment (ROI) generated with an ML product [7], [24], [45] [α, β, δ, θ]. R2D2Solution Architect (similar role: IT Architect).…”

“…This is a repetitive task which, again, requires a high level of automation [66], [θ]. These repetitive tasks yield a large number of artifacts that require a strong governance [27], [32], [45] as well as versioning of data, model, and code to ensure robustness and reproducibility [7], [32], [39]. Lastly, it is challenging to resolve a potential support request (e.g., by finding the root cause), as many parties and components are involved.…”

Applying DevOps to Machine Learning Processes: A Systematic Mapping

“…Em, A11, [Li et al 2020] dão enfoque a práticas de "AIOps" (Artificial Intelligence for IT Operations) para prever falhas de nó em aplicac ¸ões de grande escala na nuvem. O estudo A12, de [Liu et al 2020], introduz o ciclo de vida de MLOps e investiga processos e ferramentas de CI/CD para implantac ¸ão de modelos de ML, propondo a adoc ¸ão de frameworks de código aberto para esse fim. Por fim, A15, dos autores [Spjuth et al 2021], apresentam uma discussão em torno da aplicac ¸ão de aprendizado de máquina na descoberta de novos medicamentos, e como MLOps pode contribuir para a criac ¸ão e implementac ¸ão de um modelo robusto de ML que atenda a esse cenário.…”

“…A10, dos autores [Karn et al 2019], apresenta uma metodologia de nuvem e arquitetura DevOps para selec ¸ão e ajuste automáticos de parâmetros em modelos de ML, tendo como base a orquestrac ¸ão de contêineres. Em A12, de [Liu et al 2020], é apresentada uma aplicac ¸ão construída a partir de código aberto para validar MLOps no contexto de detecc ¸ão de vulnerabilidade em código. Já em A14, dos autores [Pääkkönen and Pakkala 2020], propõe-se uma arquitetura de referência para sistemas de big data com o uso de machine learning e DevOps.…”