Acı həqiqətlər, ya şirin yalanlar?
Sizcə, sevdiyiniz birinin sizə qarşı heç bir hissi olmadığı halda, onun sizi sevdiyinə inanmaq daha yaxşıdır, yoxsa sizi həqiqətən sevdiyi halda, onu sizə heç vaxt müsbət hisslər bəsləməyəcəyinə inanmaq? Birinci halda, yalan ümid bəsləmiş olursunuz. İkinci halda isə qarşılıqlı bir sevgi münasibətinin qarşısını kəsirsiniz. Bəs, görəsən, hansı daha yaxşıdır? Əlbəttə, ikisi də pisdir. Amma hansı daha az pisdir?
Bu bloqa keçməzdən əvvəl bir öncəki "Hansı arşınla ölçmək lazımdır?" bloqunu oxumağı məsləhət görürük. Çünki hazırki bloqumuz onun davamıdır.
Playing Devil's advocate
Heç də bütün modellər prediktiv deyil. Onlardan bəziləri də hipotez modelləridir. Biz nümunə (sample) əsasında əhali (population) üçün deduktiv analiz aparmağa çalışdıqda Null hipotezdən ("null hypothesis") istifadə edirik. Null hipotez araşdırmaya başlamadan öncə ortaya qoyulan fərziyyədir. Bu fərziyyə adətən inkar halda olur. Məsələn, əgər tütün məmulatlarının qiymətlərindəki artımın tütünə olan tələbata təsir göstərib-göstərmədiyini araşdırmaq istəyiriksə, Null hipotezimizi qiymətlərin tələbata təsir etməməsi kimi götürürük. Araşdırma nəticəsində ya Null hipotez inkar olunur, ya da inkar oluna bilmir.
Qeyd: Null hipotez heç vaxt təsdiq oluna bilməz, sadəcə inkar edilə bilməyə bilər.
İngilis dilində "Devil's advocate" ("şeytanın vəkili") deyə bir ifadə var. Bu ifadə adətən doğru olduğuna inandığınız bir faktı əksini inkar edərək təsdiqləməyə çalışdıqda işlənilir.
Bu bir növ daha obyektiv olur, çünki öz inandığınız doğruları daha obyetiv mühakimə edirsiniz.
Null Hipotez üzərindən təhlil də bu prinsiplə işləyir. Yəni siz şeytanın günahkar olduğunu, ona vəkillik edərək (müdafiə edərək) ortaya çıxarırısınız.
Humanum est errare
Xətasız qul olmaz (Ya da səhvsiz düşmənin olsun?!)
Şeytanın günahını sübut etmək, onsuz da, asandır. Amma biz insanların həyatda həm səhvləri, həm düzləri ola bilər. Elə modellərdə də olduğu kimi.
Proqnozlaşdırmada hər zaman doğru nəticələr olmur. Bəzi hallarda modellər yanlış proqnozlar (false predictions) verir. Bu yanlışlara xətalar da demək olar. Xətalar 2 növ olur: elə adlarına da I və II növ xətalar deyilir.
I növ xəta mənfi halın yanlışlıqla müsbət qiymətləndirilməsidir (False Positive): sağlam şəxsin test nəticələrinin pozitiv çıxması, yanğın olmayan hallarda detektorun işə düşməsi kimi (Doğru Null hipotez inkar edilir). Məsələn, siz evdə itmiş pultu axtaranda, onun yastığın altında olduğu güman edir, amma orada tapmırsınızsa, bu I növ xətadır. Siz həqiqətdə olmayan bir şeyi güman etmisiniz.
II növ xəta isə müsbət halın yanlışlıqla mənfi olaraq qiymətləndirilməsidir (False Negative). Məsələn, yanğın baş verdiyi halda, detektorun yanğını müəyyən edə bilməməsi, yaxud pasientin həqiqətən xəstə olduğu halda, testin onu sağlam göstərməsi kimi (Yanlış Null hipotez inkar oluna bilmir). Evin hər yerini axtarıb, bircə yastığın altına baxmağı ağlınızdan keçirmisiniz, amma sonra pultu oradan tapırsınızsa, bu II növ xətadır. Pult orada var olduğu halda, siz neqativ düşünərək, orada olmadığını güman etmisiniz.
Aşağıdakı cədvəldə bunu daha aydın görmək olar: Fikir vermək lazımdır ki, Null hipotezin inkar olunması müsbət, oluna bilməməsi mənfi deməkdir. Bunu bir növ Null hipotezə qalib gəlmək kimi düşünə bilərik. Çünki Null fərziyyə əslində bizim inanmadığımız, və ya arzulamadığımız haldır. Biz onu inkar edəndə öz fikrimizin təsdiqini tapırıq.
Bu xətalar həm hipotez, həm də prediktiv modellərdə baş verir. Prediktiv modellərdə mənfi hallara müsbət demək birinci, müsbət hallara mənfi demək ikinci növ xəta hesab edilir. Hipotez modellərdə isə ortaya atılan Null hipotezin yanlışlıqla inkar olunması (olmayan şeyə var demək) birinci, yanlışlıqla inkar edilə bilməməsi (olan şeyə yox demək) ikinci növ xəta hesab edilir.
Hansı daha az pisdir?
Bizim məqsədimiz də bu yanlışların sayını azaltmaqdır. Lakin modellərin öyrənmə (train) və yaxşılaşdırılma (tune) prosesində I və II növ xətalardan hansını azaltmalı olduğumuzla bağlı seçim qarşısında qalırıq. Bunun üçün də hansı növ xətaların bizim üçün daha təhlükəli olduğunu müəyyən etməliyik. Sağlamlıq, ekstremal hadisələr, təbii fəlakətlərin qiymətləndirilməsində II növ xəta daha təhlükəli hesab edilir: çünki hadisənin həqiqətən baş verdiyi halda model bunu müəyyən edə bilmir, bunun nəticəsində isə müvafiq tədbirlərin görülmür və bu fəsadlara səbəb olur.
Araşdırma məqsədləri üçün isə adətən I növ xəta daha təhlükəli hesab olunur. Çünki tədqiqat nəticəsində mövcud olmayan bir həqiqətin təsdiq olunması, yanlışlıqla ona inanılmasına və doğruluğunun təkrar araşdırılmamasına səbəb ola bilər. II növ xətada isə, həqiqətin mövcudluğunun sübuta yetirilə bilmədiyi (yəni Null hipotezin inkar edilə bilmədiyi) qeyd olunur, və bu mövcud həqiqətin daha sonralara tədqiq olunaraq ortaya çıxa bilməsinə mane olmur.
Qeyd: Hansı növ xətanın daha təhlükəli olduğu biznes məqsədləri və sahə bilikləri ilə müəyyən edilir.
II Növ xətalar daha təhlükəli olduğu zaman, modelin dəqiqliyi recall (TP/(TP + FN)) ilə ölçülür. Çünki burada ən vacib olan pozitiv halları düzgün tapa bilmək və özümüzü qoruya bilməkdir. Bunun üçün "false negative" halların sayını mümkün qədər azaltmalıyıq.
I növ xətalardan qaçmaq istədiyimiz zaman isə qiymətləndirmə üçün precisiondan (TP/(TP + FP)) istifadə edirik. Çünki "false positive" hallar bizə daha çox zərər verir və biz onları minimallaşdırmağa çalışırıq.
Hər iki xətanın bizim üçün önəmli olduğu hallarda (ki adətən belə olur) isə accuracy, və ya F1 score vasitəsilə qiymətləndirmə aparırıq, çünki yuxarıda da gördüyümüz kimi bu iki ölçünün düsturu həm precisionu, həm də recallı ehtiva edir.
"Precision", "recall", "accuracy", "F1 score" haqqında daha ətraflı: link
İstinadlar: