A Study of Web Services Performance Prediction: A Client's Perspective

Abstract

The Web service (WS) paradigm is an emerging approach to building Web applications, in which software designers typically build new WSs by leveraging existing, third-party WSs. Understanding performance characteristics of third party WSs is critical to the overall system performance. Although such performance evaluation can be done through testing of thirdparty WSs, it is quite an expensive process. This is especially the case when testing at high workloads, because performance degradations are likely to occur, which may render the WS under testing unusable during the tests' duration. Avoiding testing at high workloads by applying standard extrapolation approaches from data collected at low workloads (e.g., using regression analysis) results in a lack of accuracy. To address this challenge, in this paper, we propose a framework that utilizes the benefits of queueing models to guide the extrapolation process, while achieving accuracy in both regimes -low and high workloads. Our extensive experiments show that our approach gives accurate results as compared to standard techniques (i.e., use of regression analysis alone).

Dự đoán hiệu năng của Web Services sử dụng mô hình mạng hàng đợi và phân tích hồi quy Gaussian

“…Có ba tác nhân chính tham gia vào một hệ thống Web Services, đó là Service Provider, Service Broker và Service Requester [1]. Có nhiều khía cạnh để đánh giá hiệu năng của Web Services như thời gian đáp ứng (response time), lượng thông tin truyền qua mạng trong đơn vị thời gian (throughput), số lượng lỗi xảy trong đơn vị thời gian, số lượng giao dịch [5]... Trong bài báo này, ta lựa chọn cách mô hình hóa hiệu năng Web Services thông qua mối quan hệ giữa thời gian đáp ứng của Web Services và tốc độ tới (arrival rate) [3]. Việc thu thập các mẫu trong đánh giá hiệu năng là thực hiện đo đạc thời gian đáp ứng của Web Services ứng với các giá trị tốc độ tới khác nhau.…”

“…Việc thu thập các mẫu trong đánh giá hiệu năng là thực hiện đo đạc thời gian đáp ứng của Web Services ứng với các giá trị tốc độ tới khác nhau. Quá trình thu thập dữ liệu hiệu năng này có thể thực hiện dưới góc độ người dùng [3], hoặc dưới góc độ nhà quản trị hoặc nhà thiết kế hệ thống [2]. Trong nghiên cứu này chúng tôi thực hiện dưới góc độ người sử dụng, xem xét Web Services là một hộp đen và đánh giá thời gian đáp ứng của hệ thống.…”

“…Kết hợp với mô hình mạng hàng đợi (Queuing Network) phương pháp này đưa ra giá trị dự đoán là Hướng tiếp cận thứ ba, phương pháp dựa trên góc nhìn từ phía người sử dụng. Thu thập các dữ liệu mẫu về hiệu năng của Web Services, sau đó sử dụng các mô hình Web Services khác nhau như M/M/1, M/G/1, M/M/m, Queuing Network kết hợp với mạng Nơron để phân tích tìm ra các tham số cho mô hình và dự đoán hiệu năng [3]. Ưu điểm của phương pháp này là không cần đòi hỏi phải biết nhiều thông tin về Web Services cần đánh giá.…”

“…Chúng tôi kế thừa các nghiên cứu công bố trong [2,3,5,9,15] và sử dụng mô hình mạng hàng đợi kết hợp với Gaussian Process trong dự đoán hiệu năng Web Services. Do việc sử dụng mạng Nơron chỉ cho một đầu ra duy nhất, nên kết quả dự đoán hiệu năng cho một giá trị duy nhất.…”

Early Guessing of Performance Using Simulation as Part of Service Development

“…The development based on model allows to integrate early a performance analysis at the software development stage [1], [2], [3]. The evaluation of service performance is important [4], but in a Service-Oriented architecture there is some difficulties to assess the non-functional properties of the web service without any knowledge on the service's behavior.…”