Fast computation of robust subspace estimators

Abstract

Dimension reduction is often an important step in the analysis of high-dimensional data. PCA is a popular technique to find the best low-dimensional approximation of high-dimensional data. However, classical PCA is very sensitive to atypical data. Robust methods to estimate the low-dimensional subspace that best approximates the regular data have been proposed. However, for highdimensional data these algorithms become computationally expensive. Alternative algorithms for the robust subspace estimators are proposed that are better suited to compute the solution for high-dimensional problems. The main ingredients of the new algorithms are twofold. First, the principal directions of the subspace are estimated directly by iterating the first order solutions corresponding to the estimators. Second, to reduce the computation time even further five robust deterministic values are proposed to initialize the algorithms instead of using random starting values. It is shown that the new algorithms yield robust solutions and the computation time is largely reduced, especially for high-dimensional data.

Robust estimation of principal components: a literature review.

“…Esto hace que el cálculo de los estimadores del subespacio de Maronna [24] requiera mucho tiempo o sea incluso imposible de calcular en grandes dimensiones. Cevallos-Valdiviezo y Van Aelst [29] proponen un algoritmo relativamente rápido para los estimadores desarrollados en [24] que hace posible la estimación del subespacio, inclusive para casos de grandes dimensiones, basado en el cálculo directo de las direcciones principales del subespacio, el uso de las condiciones de primer orden correspondientes a los estimadores para actualizar las soluciones de forma iterativa con operaciones entre vectores y matrices de baja dimensión (sin tener que manipular matrices de gran dimensión) y el empleo de cinco valores iniciales determinísticos y robustos que permiten la convergencia rápid a del algoritmo. El algoritmo rápido de Cevallos-Valdiviezo y Van Aelst [29] es similar al algoritmo NIPALS.…”

“…Cevallos-Valdiviezo y Van Aelst [29] proponen un algoritmo relativamente rápido para los estimadores desarrollados en [24] que hace posible la estimación del subespacio, inclusive para casos de grandes dimensiones, basado en el cálculo directo de las direcciones principales del subespacio, el uso de las condiciones de primer orden correspondientes a los estimadores para actualizar las soluciones de forma iterativa con operaciones entre vectores y matrices de baja dimensión (sin tener que manipular matrices de gran dimensión) y el empleo de cinco valores iniciales determinísticos y robustos que permiten la convergencia rápid a del algoritmo. El algoritmo rápido de Cevallos-Valdiviezo y Van Aelst [29] es similar al algoritmo NIPALS. Tanto el algoritmo de Cevallos-Valdiviezo y Van Aelst [29] como el algoritmo NIPALS no requieren el cálculo y la descomposición de una matriz de covarianza para estimar el subespacio de menor dimensión, lo cual es una ventaja sobre todo en datos con grandes dimensiones.…”

“…El algoritmo rápido de Cevallos-Valdiviezo y Van Aelst [29] es similar al algoritmo NIPALS. Tanto el algoritmo de Cevallos-Valdiviezo y Van Aelst [29] como el algoritmo NIPALS no requieren el cálculo y la descomposición de una matriz de covarianza para estimar el subespacio de menor dimensión, lo cual es una ventaja sobre todo en datos con grandes dimensiones. Sin embargo, el algoritmo de Cevallos-Valdiviezo y Van Aelst [29] es robusto y no necesariamente obtiene direcciones ortogonales, por lo que es posible que requiera un paso de ortogonalización al finalizar el procedimiento.…”

Cluster analysis with cellwise trimming and applications for the robust clustering of curves

“…[35] provides an algorithm based on "concentration steps" that requires the search of the eigenvectors of the covariance matrices of subsets of observations in each step. Alternatively, [3] and [9] propose an iterative method of "alternating least squares with weights" to perform the minimization of (2.3) avoiding working with covariance matrices of subsets of observations (which can be problematic in high dimensions or when n < p).…”

Robust variable screening for regression using factor profiling

“…To solve Equation (9), we use a computationally efficient algorithm that has been developed recently, see refs. . A brief summary of this LTS algorithm can be found in Supporting Information Appendix S1.…”