Exact Maximum Likelihood Estimation in Autoregressive Processes

Abstract

The purpose of this paper is to complement the theory of exact maximum likelihood estimation in pure autoregressive processes by differentiating the exact Gaussian likelihood function with respect to the model parameters and obtaining a set of likelihood equations very similar in form to the Yule-Walker equations. The main contribution of this paper is a very simple expression for the derivatives and the resulting likelihood equations in terms of the components of a ( p + 1) X ( p + 1) function of the data, the model parameters (d, qi) and the autocovariances at lags 0 through p . We propose an iterative algorithm for solving the likelihood equations by alternately solving two linear systems, first for (az, qi) given current estimates of the autocovariances, then for updated estimates of the autocovariances given current estimates of (d, 4). The number of operations per iteration is independent of the series length since the algorithm uses the data only through the value of the ( p + 1) x ( p + 1) sufficient statistic.

Métodos de Aproximação e Aplicação de MCMC na Estimação de Máxima Verossimilhança para Processos AR(p) e MA(q)

“…A complexidade da expressão da função de verossimilhança exata para estes modelos sugere o uso de métodos numéricos baseados em aproximações como os apresentados em [Box, Jenkins e Reinsel -1994]. Também em [Miller -1995] é proposto um método numérico, para o caso de modelos AR(p), que utiliza um algoritmo iterativo baseado em expressões mais simples para as derivadas da função de verossimilhança. Um método proposto para estimar os parâmetros de modelos MA(1) é apresentado em [Anderson, et ai -1996].…”

“…A formulação da expressão da função de verossimilhança exata para os modelos AR(p) e MA(q) é detalhada no capítulo 3 e a seguir, no capítulo 4, apresentamos os métodos numéricos propostos em [Box, Jenkins e Reinsel -1994] e em [Miller -1995] …”

“…Este método, proposto por [Miller -1995], é baseado em dois teoremas que propõem expressões mais simples para as derivadas da função log-verossimilhança dada em (3.9).…”

“…Assim, [Box, Jenkins e Reinsel -1994] sugerem métodos numéricos baseados em aproximações. Em [Miller -1995] são apresentadas expressões mais simples para as derivadas da função de verossimilhança junto com um algoritmo iterativo, no caso de modelos AR(p). O objetivo do presente projeto é propor o uso de algoritmos de simulação de Monte Carlo com Cadeia de Markov (MCMC) para o cálculo das estimativas de máxima verossimilhança.…”

“…Aqui, os algoritmos utilizados foram o amostrador de Gibbs em conjunto com o algoritmo de Metropolis-Hastings. Os resultados obtidos usando MCMC são comparados com as estimativas feitas pelos métodos numéricos propostos em [Box, Jenlcins e Reinsel -1994] e [Miller -1995].iv …”