Basic validation procedures for regression models in QSAR and QSPR studies: theory and application

Abstract

Quatro conjuntos de dados de QSAR e QSPR foram selecionados da literatura e os modelos de regressão foram construídos com 75, 56, 50 e 15 amostras no conjunto de treinamento. Estes modelos foram validados por meio de validação cruzada excluindo uma amostra de cada vez, validação cruzada excluindo N amostras de cada vez (LNO), validação externa, randomização do vetor y e validação bootstrap. Os resultados das validações mostraram que o tamanho do conjunto de treinamento é o fator principal para o bom desempenho de um modelo, uma vez que este piora para os conjuntos de dados pequenos. Modelos oriundos de conjuntos de dados muito pequenos não podem ser testados em toda a sua extensão. Além disto, eles podem falhar e apresentar comportamento atípico em alguns dos testes de validação (como, por exemplo, correlações espúrias, falta de robustez na reamostragem e na validação cruzada), mesmo tendo apresentado um bom desempenho na validação cruzada excluindo uma amostra, no ajuste e até na validação externa. Uma maneira simples de determinar o valor crítico de N em LNO foi introduzida, usando o valor limite de 0,1 para oscilações em Q 2 (faixa de variações em único LNO e dois desvios padrões em LNO múltiplo). Foi mostrado que 10 -25 ciclos de randomização de y ou de bootstrapping são suficientes para uma validação típica. O uso do método bootstrap baseado na análise de agrupamentos por métodos hierárquicos fornece resultados mais confiáveis e razoáveis do que aqueles baseados somente na randomização do conjunto de dados completo. A qualidade de dados em termos de significância estatística das relações descritor -y é o segundo fator mais importante para o desempenho do modelo. Uma seleção de variáveis em que as relações insignificantes não foram eliminadas pode conduzir a situações nas quais elas não serão detectadas durante o processo de validação do modelo, especialmente quando o conjunto de dados for grande.Four quantitative structure-activity relationships (QSAR) and quantitative structure-property relationship (QSPR) data sets were selected from the literature and used to build regression models with 75, 56, 50 and 15 training samples. The models were validated by leave-one-out crossvalidation, leave-N-out crossvalidation (LNO), external validation, y-randomization and bootstrapping. Validations have shown that the size of the training sets is the crucial factor in determining model performance, which deteriorates as the data set becomes smaller. Models from very small data sets suffer from the impossibility of being thoroughly validated, failure and atypical behavior in certain validations (chance correlation, lack of robustness to resampling and LNO), regardless of their good performance in leave-one-out crossvalidation, fitting and even in external validation. A simple determination of the critical N in LNO has been introduced by using the limit of 0.1 for oscillations in Q 2 , quantified as the variation range in single LNO and two standard deviations in multiple LNO. It has been demonstrated that it is sufficien...

Design of Novel N-Myristoyltransferase Inhibitors of Leishmania donovani Using Four-Dimensional Quantitative Structure-Activity Relationship Analysis

“…The best models, resulting from the 4D-QSAR study were based on different criteria. [19][20][21][22][23] (i) Leave-one-out cross-validation (LOOcv) correlation coefficient (q 2 ): estimating the performance of a predictive model;…”

Two-dimensional quantitative structure-activity relationship studies on bioactive ligands of peroxisome proliferator-activated receptor δ

“…The methodology employed in HQSAR consists of some basic steps: (i) data set preparation, (ii) substructural fragmentation of the training set molecules, (iii) molecular hologram generation, (iv) statistical analysis (model generation), and (v) test set prediction (external validation). 37 In the HQSAR method, each compound is hashed to a molecular fingerprint encoding the frequency of occurrence of various molecular fragment types using a predefined set of rules. One important feature of HQSAR methodology involves the progress of incorporating information about each fragment and each of its constituent sub-fragments, as this process implicitly encodes 3D structural information (e.g., hybridization and chirality).…”

QSAR studies of a number of triazole antifungal alcohols

“…The Q 2 values were calculated using general internal crossvalidation procedures such as the "leave-one-out" (LOO), "leave-many-out" (LMO) [47][48][49][50] Table 3B.…”