Characterizing Architectural Evaluations and Identifying Quality Attributes addressed in Systems-of-Systems: A Systematic Mapping Study

Abstract

System-of-Systems (SoS) are composed by heterogeneous constituent systems that are autonomous, independently managed and operated, and geographically distributed. Architectural evaluation is a key activity of all systems design, construction and operation; unfortunately, the interrelationships among SoS constituent systems and quality attributes (QA) make hard to evaluate SoS. Several evaluation techniques have been proposed, but this corpus of knowledge has not yet been organized for easy access. This article describes the design, execution and results of a Systematic Literature Mapping (SLM) of architectural evaluation proposals, focusing on the QA's they address and the techniques they use. The SLM yield 1675 articles, of which 22 were selected for detailed analysis; most of them take a quantitative perspective (82\%) and the rest are hybrid quantitative/qualitative (18\%); most proposals offer no empirical validation at all (64\%); and the most addressed QA's are performance and robustness.

Arquiteturas de Referência para Sistemas-de-Sistemas: um Mapeamento Sistemático

“…O trabalho aborda apenas arquiteturas concretas (não abstratas, como ARs) e lidava particularmente com as notações utilizadas até então para realizar descrição arquitetural, tais como UML e SysML. Gatica et al (2018) realizou um mapeamento sistemático que cobriu 22 estudos e identificou propostas de avaliação arquitetural com foco especial em atributos de qualidade para SoS. Em Lana et al (2019) foi conduzido um mapeamento sistemático que recuperou 26 estudos com o estado da arte nas técnicas e linguagens utilizadas para modelar os requisitos de um SoS Valle et al (2020) conduziu um mapeamento sistemático que visava avaliar as abordagens que foram propostas para descrever ARs.…”

“…Entretanto, ressalta-se que os estudos incluídos configuram o estado da arte relativo a ARs para SoS, uma vez que filtros adicionais não foram incluídos e todos os estudos incluídos constituem, de fato, o conjunto de todos os estudos primários retornáveis relativos ao tema utilizando a chave de busca e as bases mencionadas. Ademais, outros estudos de mapeamento existentes na literatura foram publicados em veículos renomados e possuem números de estudos incluídos semelhantes, tais como [Valle et al, 2020] (21 estudos incluídos) e [Gatica et al, 2018] (22 estudos incluídos), mostrando que (i) a quantidade de estudos é relevante, dado o contexto e as condições em que a busca foi realizada e (ii) é comum que o número de estudos seja relativamente reduzido em áreas de investigação que em ascendência, tais como SoIS, em que o mapeamento incluiu 25 estudos [Teixeira et al, 2019] e este mapeamento, uma vez que os estudos começam a aparecer em 2005, reduzindo as ameaças à validade e mostrando que há, em contraste, oportunidades de pesquisa ainda a serem exploradas.…”