Validation of Trace-Driven Simulation Models: A Novel Regression Test

Abstract

This paper argues that it is wrong to require that regressing the outputs of a trace-driven simulation on the observed real outcomes should give a 45° (unit slope) line through the origin (zero intercept). This note proposes instead an alternative requirement: the responses of the simulated and the real systems should have the same means and the same variances. To test statistically whether this requirement is satisfied, a novel procedure is derived: regress the differences between simulated and real responses on their associated sums, and test whether the resulting intercept and slope are both zero. This novel but simple test assumes identically, independently, and normally distributed outputs of the real system and the simulated system. The old and the new procedures are investigated in extensive Monte Carlo experiments that simulate M/M/1 queueing systems. The conclusions are: (i) the naive intuitive test rejects a valid simulation model substantially more often than the novel test does; (ii) the naive test shows "perverse" behavior within a certain domain: the worse the simulation model, the higher its estimated probability of acceptance; and (iii) the novel test does not reject a valid simulation model too often (its type I error probability is correct), provided the queueing response is transformed appropriately to obtain (nearly) normally distributed responses.Correlation, Paired Observations, Goodness-of-Fit, Type II Error, Power, Simultaneous Tests

Mathematical principles of production management and robust layout design: Part III. 2500-ton/year fish farming in marine net cages

“…A simulation driven by random inputs will produce random outputs that are not necessarily independent and identically distributed. We therefore applied a set of statistical tests: Student's t-test, regression analysis, and Kleijnen's test (Kleijnen et al, 1998). Their equations have been published previously by Kleijnen et al (1998) and Halachmi et al (2001).…”

Modelo híbrido para la simulación numérica de la fase de avance del riego por superficie

“…Dado que los valores de p fueron mayores a 0,01 (Figura 5), se confirma que no existen diferencias estadística-mente significativas entre las distribuciones analizadas para un nivel de confianza del 99,0 %. Kleijnen et al (1998) propusieron un procedimiento riguroso para evaluar los resultados de un modelo. Según estos autores, un modelo es estadísticamente válido si, y solo si, los valores observados (en este caso las salidas del modelo SRFR) y las predicciones (salidas del modelo Híbrido) tienen medias (o medianas) y varianzas estadísticamente idénticas.…”

“…Según estos autores, un modelo es estadísticamente válido si, y solo si, los valores observados (en este caso las salidas del modelo SRFR) y las predicciones (salidas del modelo Híbrido) tienen medias (o medianas) y varianzas estadísticamente idénticas. De acuerdo con los resultados de las pruebas anteriores, y considerando los criterios propuestos por Kleijnen et al (1998), se puede concluir que las predicciones del modelo Híbrido fueron estadísticamente váli-das en comparación con las salidas del modelo SRFR. Resulta oportuno destacar que el modelo SRFR es un referente mundial en la simulación unidimensional del riego por superficie, y ha sido te las ecuaciones completas de Saint-Venant o algunas de sus simplificaciones.…”

“…Asimismo, la prueba de Kolmogoroff-Smirnov permitió confirmar que tampoco se encontraron diferencias significativas entre las distribuciones de frecuencia para un nivel de confianza del 99,0 %. Siendo el modelo Híbrido estadísticamente válido según los criterios propuestos por Kleijnen et al (1998), queda evaluar el nivel de precisión y exactitud de sus predicciones. En la Figura 7 se comparan los resultados de los modelos Híbrido y SRFR en condiciones de régimen transitorio.…”

Experimental Design for Sensitivity Analysis, Optimization, and Validation of Simulation Models

“…Whenever the simulation responses are non-normal, a normalizing transformation should be applied. Kleijnen, Bettonvil, and Van Groenendaal (1997) give details, including numerical examples for single-server queueing simulations. This reference also demonstrates that a valid simulation model is rejected too often when simply regressing Y on X, and testing for zero intercept and unit slope.…”