Usage of the GO estimator in high dimensional linear models

Özkale, M. Revan

doi:10.1007/s00180-020-01001-2

Cited by 7 publications

(5 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Bu çalışmanın bulguları ridge, LASSO, ENET, U-LASSO, SCAD ve MCP cezalı regresyon yöntemlerine dayalı olarak elde edilmiştir. Literatürde, katsayı vektörüne dair önsel bilginin kullanımını içeren Genç-Özkale [25], shift-ridge, shift-lasso [26] ve önsel LASSO [27] gibi LASSO'nun genelleştirmeleri olan tahmin ediciler de bulunmaktadır. Ayrıca veri kümesinin yapısına bağlı olarak ön tahminde başarılı sonuçlar veren grup LASSO [28] ve kaynaşmış LASSO [29] tahmin edicileri mevcuttur.…”

Section: Bulgular Ve Tartışmaunclassified

A study on comparison of convex and non-convex penalized regression methods

GENÇ

2024

Balıkesir Üniversitesi Fen Bilimleri Enstitüsü Dergisi

Self Cite

View full text Add to dashboard Cite

Doğrusal regresyonda cezalı regresyon yöntemleri veri kümesinin yapısına bağlı olarak ön tahminde daha doğru sonuçlar elde edilmesi için kullanılır. Ayrıca cezalı regresyon yöntemleri kullanılarak yanıt değişken ile ilişkili olan açıklayıcı değişkenlerin tespiti mümkündür. Bu çalışmada ridge, LASSO, elastik net, uyarlamalı LASSO konveks cezalı regresyon yöntemleri ile SCAD ve MCP konveks olmayan cezalı regresyon yöntemlerinin gerçek katsayı vektörünün özelliklerine bağlı olarak performansları simülasyon çalışmaları ile karşılaştırılmıştır. Yöntemlere dayalı olarak oluşturulan modellerin ön tahmin performansının karşılaştırılması için test kümesi hata kareler ortalaması kullanılırken yöntemlerin değişken seçimindeki performanslarının karşılaştırılması için yanlış sınıflama oranı, yanlış pozitif oranı ve aktif küme büyüklükleri elde edilmiştir. Simülasyon çalışmalarına göre gerçek katsayı vektörünün yapısının konveks ve konveks olmayan cezalı regresyon yöntemleri ile oluşturulan modellerin performansı üzerinde kayda değer bir etkisinin olduğu görülmüştür.

show abstract

Section: Bulgular Ve Tartışmaunclassified

A study on comparison of convex and non-convex penalized regression methods

GENÇ

2024

Balıkesir Üniversitesi Fen Bilimleri Enstitüsü Dergisi

Self Cite

View full text Add to dashboard Cite

show abstract

“…Penalized estimators such as the least absolute shrinkage and selection operator (LASSO), the smoothly clipped absolute deviation (SCAD), or adaptive LASSO, elastic net (Enet), the Genc and Ozkale estimator (GO) estimator, the Liu-LASSO, Scaled-LASSO (SLASSO), and others are mostly employed for sparse and HD estimations. [11][12][13][14][15][16][17] Recent studies have shown the advantage of combining the dimension reduction approach and the penalized estimators or combining two or more feature selection methods resulting to a form of hybrid/embedded estimators. They claimed that the hybrid estimators retain the advantages of the combined methods and dampen their drawbacks.…”

Section: Introductionmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

Two‐step hybrid modeling for variable selection and estimation: An application to quantitative structure activity relationship study

Oranye,

Ugwuowo,

Arum

2023

Journal of Chemometrics

View full text Add to dashboard Cite

In this study, we developed a simple technique for effective parameter estimation and prediction of the quantitative structure activity relationship studies using a two‐step procedure. The first step is to choose the important molecular descriptors using the random forest regression, and the second step is to optimally predict the biological activity of the selected chemical compounds using the following estimators: ridge regression, jackknife ridge, Liu regression, jackknife Liu, Kibria–Lukman, and jackknife Kibria–Lukman. We conducted a simulation study and a real‐life analysis with a quantitative structure–activity relationship (QSAR) data with 2540 descriptors after preprocessing. The optimal prediction is determined using the cross‐validation error. The estimator with minimum cross‐validation error is considered best. It is obvious that performing jackknife estimation after random forest selection is preferred.

show abstract

“…where λ 1 , λ 2 > 0, • 2 is the L2-norm, and • 1 is L1-norm. The drawback of this method is that the L2-penalty term introduced extra bias that increases its variance [23].…”

Section: Introductionmentioning

confidence: 99%

“…Recently, the GO estimator [23] was developed as an improvement on the elastic net model. The estimator combines the features of the two-parameter estimator [24] and the LASSO.…”

Section: Introductionmentioning

confidence: 99%

Kibria–Lukman-Type Estimator for Regularization and Variable Selection with Application to Cancer Data

Lukman,

Allohibi,

Jegede

et al. 2023

Mathematics

View full text Add to dashboard Cite

Following the idea presented with regard to the elastic-net and Liu-LASSO estimators, we proposed a new penalized estimator based on the Kibria–Lukman estimator with L1-norms to perform both regularization and variable selection. We defined the coordinate descent algorithm for the new estimator and compared its performance with those of some existing machine learning techniques, such as the least absolute shrinkage and selection operator (LASSO), the elastic-net, Liu-LASSO, the GO estimator and the ridge estimator, through simulation studies and real-life applications in terms of test mean squared error (TMSE), coefficient mean squared error (βMSE), false-positive (FP) coefficients and false-negative (FN) coefficients. Our results revealed that the new penalized estimator performs well for both the simulated low- and high-dimensional data in simulations. Also, the two real-life results show that the new method predicts the target variable better than the existing ones using the test RMSE metric.

show abstract

Usage of the GO estimator in high dimensional linear models

Cited by 7 publications

References 15 publications

A study on comparison of convex and non-convex penalized regression methods

A study on comparison of convex and non-convex penalized regression methods

Two‐step hybrid modeling for variable selection and estimation: An application to quantitative structure activity relationship study

Kibria–Lukman-Type Estimator for Regularization and Variable Selection with Application to Cancer Data

Contact Info

Product

Resources

About