Binary classification performance measures/metrics: A comprehensive visualized roadmap to gain new insights

Canbek, Gürol; Sağıroğlu, Şeref; Temizel, Tuğba Taşkaya; Baykal, Nazife

doi:10.1109/ubmk.2017.8093539

Cited by 70 publications

(31 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Four performance evaluation metrics are considered, including Accuracy, Sensitivity, Specificity and Area under the Receiver Operative Curve (AUC). These are all derived from a contingency table [28]. In this case, the Accuracy measures the total number of correct predictions.…”

Section: Resultsmentioning

confidence: 99%

Predicting Diabetes Onset: An Ensemble Supervised Learning Approach

Nnamoko

Hussain

England

2018

2018 IEEE Congress on Evolutionary Computation (CEC)

View full text Add to dashboard Cite

An exploratory research is presented to gauge the impact of feature selection on heterogeneous ensembles. The task is to predict diabetes onset with healthcare data obtained from UC Irvine (UCI) database. Evidence suggests that accuracy and diversity are the two vital requirements to achieve good ensembles. Therefore, the research presented in this paper exploits diversity from heterogeneous base classifiers; and the optimisation effect of feature subset selection in order to improve accuracy. Five widely used classifiers are employed for the ensembles and a meta-classifier is used to aggregate their outputs. The results are presented and compared with similar studies that used the same dataset within the literature. It is shown that by using the proposed method, diabetes onset prediction can be done with higher accuracy.

show abstract

Section: Resultsmentioning

confidence: 99%

Predicting Diabetes Onset: An Ensemble Supervised Learning Approach

Nnamoko

Hussain

England

2018

2018 IEEE Congress on Evolutionary Computation (CEC)

View full text Add to dashboard Cite

show abstract

“…As defined by literature [39], the following four metrics are the optimum base measures used to assess the performance of binomial classification models. These base measures are calculated from a series of experiments using a set of positive and negative instances, where TP = true positive, FP = false positive, FN = false negative, TN = true negative.…”

Section: Methodsmentioning

confidence: 99%

A Novel Approach for Seizure Classification Using Patient Specific Triggers: Pilot Study

Pordoy

Zhang

Matoorian

2021

Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering

View full text Add to dashboard Cite

With advancements in personalised medicine, healthcare delivery systems have moved away from the one-size-fits-all approach towards tailored treatments that meet the needs of individuals and specific subgroups. As nearly onethird of those diagnosed with epilepsy are classed as refractory and are resistant to antiepileptic medication, there is a need for a personalised method of detecting epileptic seizures. Epidemiological studies show that up to 91% of those diagnosed identify one or more triggers as the causation of their seizure onset. These triggers are patient-specific and can affect those diagnosed in different ways dependent on each person's idiosyncratic tolerance and threshold levels. Whilst these triggers are known to induce seizure onset, only a few studies have even considered their use as a preventive component. Therefore, this pilot study investigates the use of patient-specific triggers (PST) in diagnosed epileptics, and whether they can be used as an additional modality when detecting seizures. This study used a precision medicine approach with artificial intelligence (AI), to train and test several patient-specific algorithms that classified epileptic seizures based on the PST of each participant. Experimental results show accuracy, sensitivity, and specificity scores of 94.73%, 96.90% and 93.33% for participant 1 and 96.87%, 96.96% and 96.77% for participant 2, respectively.

show abstract

“…Due to the four complementation relations within pairs of these eight measures, the number of independent quantities among them is at most four. It seems that there is a widespread (and at least implicit) belief that this number is exactly four (usually obtained by counting the four direct indicators , , and ) [12][13][14][15][16][17][18][19][20][21][22][23][24] . We show in Section 4 that this number is, in fact, three, by simply being able to express any of the four direct indicators in terms of the other three.…”

Section: On Diagnostic Testing and Its Basic Measuresmentioning

confidence: 99%

“…We use equations (13)(14)(15)(16) to express each of the four most prominent indicators of diagnostic testing (Specificity, Negative Predictive Value, Sensitivity, and Positive Predictive Value) solely in terms of the other three, namely…”

Section: Formula Derivation Via a Novel Signal Flow Graphmentioning

confidence: 99%

العلاقات البينية التي تربط المؤشرات الأساسية الأربعة للاختبارات التشخيصية: مقاربة تستخدم رسوم سريان الإشارة

رشدي¹

2021

JKAU Comp IT Sci

View full text Add to dashboard Cite

يمكن حل المسائل الثلاثية للاحتمالات الشرطية المصاغة بالاقتران مع نسخة مطبعة من جدول التوافق مثنى-مثنى باستخدام أساليب حسابية أو جبرية لإنتاج علاقات متبادلة مفيدة بين مختلف الاحتمالات الهامشية والتقاطعية والشرطية المرتبطة بهذا الجدول. وعلى وجه الخصوص، يتسنى استخدام الطرائق الجبرية وحدها لربط أبرز أربعة مؤشرات للاختبارات التشخيصية (الحساسية والتحديدية والقيمة التنبؤية الموجبة (ق ن و) والقيمة التنبؤية السالبة (ق ن س)). وبشكل عام، من الممكن نظريًا التعبير عن أي من هذه المؤشرات الأربعة بدلالة المؤشرات الثلاثة الأخرى مجتمعة. وتتبلور هذه الإمكانية هنا، بطريقة حسابية مباشرة، من خلال استخدام رسم (ماسون) لسريان الإشارات. حيث يستخدم هذا الرسم في العلاقات المكونة له مزيجا من قانون الاحتمال الكلي، وقاعدة باييز وصيغة التكملة. وعلى الرغم من البساطة النسبية للصيغ الأربع التي تعبر عن أي من المؤشرات التشخيصية الأربعة بدلالة المؤشرات الثلاثة الأخرى، فإنه يبدو أنها لم يُسمَع بها في الأدبيات العلمية المفتوحة. نحن نطلق على مجموعة من أربع قيم عددية تحقق هذه الصيغ الأربع (ضمن أخطاء التقريب المسموح بها) مجموعة متسقة. نحدد دالتين للاستيثاق من مثل هذه القيم الأربع نسميهما دالة فرق الاستيثاق التشخيصي (ف وش) ودالة نسبة الاستيثاق التشخيصي (ن وش)، وهاتان الدالتان تأخذان قيمتي الصفر والواحد، على الترتيب، عند التعويض فيهما بأربع قيم متسقة. وبالتالي، فإن انحراف قيمتي هاتين الدالتين عن الصفر والواحد، على الترتيب، يمثل مقياسا لعدم الاتساق لأية مجموعة مزعوم أنها تمثل مؤشرات التشخيص الأربعة. وثمة ملاحظة مثيرة للاهتمام هنا، وهي أن مقياسين غير متحيزين هما مقياسا المُنبئية والموسومية يظهران بشكل طبيعي ضمن تعبيري هاتين الدالتين، مما يشير إلى أن الحدين المتبقيين ضمن دالتي الاستيثاق هاتين قد يكونان أيضًا بمثابة مقياسين غير متحيزين. لقد أجرينا اختبارًا مكثفًا لبعض المجموعات المنشورة من المؤشرات الأساسية الأربعة، للتحقق مما إذا كانت هذه المجموعات متسقة أم لا. في الغالبية العظمى من الحالات، كانت المجموعات المنشورة متسقة، وبالتالي فإنها تشهد بشكل مستقل على صحة الصيغ التي أوجدناها. ومع ذلك، ففي عدد صغير (وإن كان مهمًا) من الحالات، صادفنا مجموعات غير متسقة بشكل كبير. وهذا مثير للفضول بشكل خاص، لأنه لا يوجد مجال كبير للخطأ عند حساب المؤشرات الأربعة من البيانات الأولية للموجبات الصادقة والسالبات الصادقة والموجبات الكاذبة والسالبات الكاذبة. ونظرًا لأن المؤشرات الأربعة تشكل ثلاثة كيانات مستقلة فقط (بدلاً من أربعة) ، فإن الباحث لا يتمتع بحرية تخمين هذه المؤشرات الأربعة كلا على حدة، بل يجب أن تقتصر أية محاولة لتقدير هذه المؤشرات الأربعة من خلال رأي الخبراء أو من خلال أي نوع من النماذج على تخمين ثلاثة منها فقط ، ثم يتم استنتاج المؤشر الرابع عدديًا من هذه الثلاثة.

show abstract

Binary classification performance measures/metrics: A comprehensive visualized roadmap to gain new insights

Cited by 70 publications

References 13 publications

Predicting Diabetes Onset: An Ensemble Supervised Learning Approach

Predicting Diabetes Onset: An Ensemble Supervised Learning Approach

A Novel Approach for Seizure Classification Using Patient Specific Triggers: Pilot Study

العلاقات البينية التي تربط المؤشرات الأساسية الأربعة للاختبارات التشخيصية: مقاربة تستخدم رسوم سريان الإشارة

Contact Info

Product

Resources

About