Load Index Metrics for an Optimized Management of Web Services: A Systematic Evaluation

Abstract

The lack of precision to predict service performance through load indices may lead to wrong decisions regarding the use of web services, compromising service performance and raising platform cost unnecessarily. This paper presents experimental studies to qualify the behaviour of load indices in the web service context. The experiments consider three services that generate controlled and significant server demands, four levels of workload for each service and six distinct execution scenarios. The evaluation considers three relevant perspectives: the capability for representing recent workloads, the capability for predicting near-future performance and finally stability. Eight different load indices were analysed, including the JMX Average Time index (proposed in this paper) specifically designed to address the limitations of the other indices. A systematic approach is applied to evaluate the different load indices, considering a multiple linear regression model based on the stepwise-AIC method. The results show that the load indices studied represent the workload to some extent; however, in contrast to expectations, most of them do not exhibit a coherent correlation with service performance and this can result in stability problems. The JMX Average Time index is an exception, showing a stable behaviour which is tightly-coupled to the service runtime for all executions. Load indices are used to predict the service runtime and therefore their inappropriate use can lead to decisions that will impact negatively on both service performance and execution cost.

Elastic Scaling of e-Infrastructures to Support Data-Intensive Research Collaborations

“…We have shown that benchmarking performance of such complex systems such as the AURIN platform allows to tackle a wide variety of micro-benchmarks, that can collectively provide a first order estimate of that system's overall expected performance. By the same token, it is important to continue exploring industry standard indices to better inform the monitoring application of the overall performance of this and other modules of the framework [26,27].…”

PEESOS-Cloud: Uma arquitetura para o planejamento e execução de experimentos em sistemas orientados a serviços considerando a carga de trabalho

“…A computação em nuvem surgiu a partir da integração de SOA e outros campos da computação como uma nova proposta de fornecer aplicações, plataformas e recursos computacionais como serviço baseado no modelo de pagamento por uso (BUYYA; BROBERG; GOSCINSKI, 2011). Os Web Services são utilizados na prestação desses serviços e possibilitam a reutilização das funcionalidades por entidades externas integrando diferentes recursos computacionais, tais como, computadores, bases de dados e redes, fornecendo uma ligação lógica que pode ser invocada por um cliente (SOUZA et al, 2013).…”

“…No entanto, as dificuldades estão na falta de métodos precisos de experimentos que exploram os problemas de disponibilidade, confiabilidade e escalabilidade antes de disponibilizar as aplicações para o mundo real (SAROJADEVI, 2012). A possibilidade de desenvolver, aplicar e avaliar novos índices de desempenho em sistemas orientados a serviços que representem efetivamente uma determinada carga de trabalho imposta a aplicação é uma oportunidade de melhorar a qualidade das aplicações (SOUZA et al, 2013). Bai et al (2011) apresentam uma comparação entre o ambiente de nuvem e o ambiente local para testes de carga.…”

“…Os Web Services são fundamentais para a prestação de serviços remotos. Pois, permitem a integração entre computadores, bases de dados e redes, criando uma ligação lógica que pode ser invocado por cliente distantes, independente da plataforma (SOUZA et al, 2013). Para isso, protocolos como por exemplo, Universal Description, Discovery and Integration (UDDI), Web Services Description Language (WSDL) e Simple Object Access Protocol (SOAP), são utilizados respectivamente, para descoberta, descrição e troca de mensagem em Web Services (ALONSO et al, 2010).…”

“…Isso faz com que o ambiente do sistema alvo independa de tecnologias, basta fornecer uma URI para invocação do serviço. Métricas relacionadas a taxa de utilização dos recursos do sistema, tais como, CPU, memória e disco são mensuradas, bem como a possibilidade de uso de índices compostos de desempenho como apresentado em (SOUZA et al, 2013).…”