Data Analitiklər nə iş görür?
Bu yaxınlarda Data Analitiki olaraq fəaliyyətimi sonlandırdığım üçün, qərar verdim ki, gördüyüm işlərilə bağlı məlumatlandırıcı bloq paylaşım.
Data Elmi (Science) komandasında Data Analitiki
Data Elmi komandası daxilində data analitiki (paralel olaraq da biznes analitiki) olduğum zaman biznes tələblərinin formalaşdırılmasında, araşdırma aparılması və ona əsasən təqdimatların hazırlanmasında, data toplanması və emalında, eyni zamanda "feature selection" prosesində iştirak etmişəm. Yuxarıda qeyd etdiklərimin bir qismi data analtikinə, bir qismi biznes analtikinə aid tapşırıqlardır. Data analitiki kimi buradakı əsas vəzifəm isə araşdırmaq və nəticələri təhlil edib qərarvermə üçün hazır vəziyyətə gətirmək olub. Bu "hazır vəziyyət" həm hesabatlar, həm də təqdimatlar şəklində ola bilər. Bir çox hallarda isə hər ikisini özündə cəmləşdirir.
Hər bir layihə başlamazdan əvvəl müəyyən araşdırma aparmaq lazımdır. Bu araşdırma 3 cür ola bilər:
xarici data və mənbələrə əsaslanan bazar araşdırması. Sizin şirkətlə eyni və ya yaxın sektorda fəaliyyət göstərən digər şirkətlərin xidmətləri necədir, onlar hansı üsulları tətbiq edirlər, və daha nələri öyrənmək olar. Bir az da sizin yaradıcılığınıza və marağınıza bağlıdır;
"ResearchGate", "Elsevier", "Google Scholar" kimi platformalardan tətbiq oluna biləcək modellər və toolar haqqında məqalələr oxumaq, araşdırmaq və icmalını çıxarmaq. Bununla da komanda ilə bərabər yeni fikirləri müzakirə etmək. Həmçinin müxtəlif üsulların risk, xərc və fayda analizini aparmaq. Bu analizi SWOT, və ya digər üsullarla etmək olar.
şirkətin daxili datalarını analiz edib problemləri, fürsətləri aşkar etmək. Bununla paralel müxtəlif departamentlərin ehtiyaclarını da müəyyən etmək də buraya daxildir ki, bu əsasən Biznes Analitikinin işidir. Lakin mən demək olar ki, həm Biznes, həm Data Analitiki kimi çalışdığım üçün hər ikisini edirdim. Komanda daxilində bu işi həm Data, həm Biznes Analitiki cross-functional olaraq edə bilərlər.
Digər bir iş data collection prosesidir. Bu işi də Biznes Analitiklərlə bərabər yerinə yetirmişik. Modelin qurulması, təhlillərin aparılması üçün lazım olan cədvəllər, hətta bəzən kompüterlərdə "Excel" fayllarında toplanan məlumatlar sizə lazım olur. Bununla bağlı ciddi araşdırma aparmaq lazımdır. Bu barədə sizə adətən araşdırmaq istədiyiniz mövzuya uyğun şöbələrin əməkdaşları, Hesabatlılıq mütəxəssisləri, "Data Governance" komandası kömək edə bilər. Burada əsas nüanslardan biri həm də keyfiyyətli data tapmaq məsələsidir. Nəzərə alsaq ki, ölkədə bu sahə yeni-yeni formalaşır, toplanmış datalar vahid bir standarda uyğun gəlmir. Ona görə mövcud ən yaxşı cədvəli tapmağa çalışın. Bəzən datalar sizə ".csv", ".xlsx", ".json" olaraq da gələ bilər. Bu zaman arxayınlıq məqsədilə çalışın mənbəyini də öyrənin. Hesabatlar və ya cədvəllər özləri də başqa cədvəllərdən yarana bilir. CTRL + click vasitəsilə "source code"-u görmək olur. Əgər bu üsulla tapa bilmirsinizsə, bu haqda data mühəndislərindən ("data engineer") soruşun. Bu iş daxilində ən çox istifadə olunan alətlər: PL SQL (Postgre və ya Oracle), MS Excel, MS PowerPoint, MS Word (həmçinin Google Sheets, Docs, Slides), Python, Vizuallaşdırma alətlərindən hər hansısa biri (şirkətdə nə istifadə olunursa), Biznes proseslərinin izahı üçün bəzən Microsoft Visio aləti də lazım gələ bilər (biznes analitikası ilə də məşğul olursunuzsa).
Bundan əlavə datanın "label"-lanması və, simulativ (süni) data hazırlanması ilə bağlı da dəstək göstərdiyim olub. Lakin bunlar Data analitikin birbaşa vəzifə öhdəliyi deyil.
Hesabatlılıq (reporting) və Vizuallaşdırma (visualization) komandasında Data Analitiki
Burada iş nisbətən fərqlidir. Data Elmi komandasında siz öz ehtiyaclarınız üçün təhlil edirsiniz və proses daha sürətli, daha dəyişkən gedir. Məsələn, hansısa Data Scientist həmkarınız sizdən əlavə bir dəyişiklik istəyir və onu edirsiniz. Hesabatlılıq ("Reporting") isə sizdən tələb olunan məlumatın hazırlanıb təqdim olunmasıdır. Data Hesabatlılığı bu məlumatlar birbaşa şirkətdəki cədvəllərlə əlaqəli olur. Məsələn, hansısa tarix aralığında pərakəndə müştərilərin kartla ödəniş əməliyyatları sizdən istənilə bilər. Bu zaman siz cədvəllərə bələd olmalı, hansı sütunda və hansı cədvəldə nələrin yerləşdiyini, müxtəlif kodlarla ifadə olunan kateqorik sütunlardakı kodların və abbreviaturaların mənasını bilməyiniz gərəkdir.
Data sahəsinin inkişaf etdiyi şirkətlərdə data üçün müvafiq data dokumentasiyası hazırlanır və orada hər cədvəl və sütunun növü, izahı, istinad etdiyi başqa cədvəllər, alternativləri və s. məlumatlar qeyd olunur. Yerli şirkətlərimizdə də artıq bu cür dokumentasiyalar mövcuddur və getdikcə də təkmilləşir.
Vizuallaşdırma üçün yerli şirkətlərdə QlikSense, Tableau, Power BI istifadə edilir. Tanıdığım startup şirkətlərdə Looker, Google Studio, Tableau istifadə olunduğuna da şahid olmuşam.
Bəzən server həddindən artıq yükləndikdə SQL üzərindən "join", "group by", "subquery" əməliyyatları çətinləşir. Qeyd üçün deyim ki, adətən sorğuda "in", "exist", və "nested query" (iç-içə bir neçə select) olmaması məsləhət görülür. Mümkün qədər bu prosesləri "join" əməliyyatları ilə əvəz etmək sorğunu optimallaşdırır. Data kiçikdirsə və sorğu tez icra olunursa, çox zaman sorğunu optimallaşdırmağa zaman sərf etmirəm və əsasən hesabatı zamanında təhvil verməyə fokuslanıram.
Əlavə bir nüans da qeyd edim ki, bəzən istifadə etdiyiniz cədvəlin daha təmiz alternativi ola bilir. Bununla bağlı mütləq "Data Governance" komandası, data arxitektor və data mühəndislərindən, həmçinin sizdən əvvəl cədvəllərlə sıx işləmiş təcrübəli şəxslərdən soruşun. Çünki bəzən əvvəl yaradılan hesabatlar sizin işinizə yaraya bilər, və ya istifadə etdiyiniz cədvəl əslində ən yaxşı cədvəl olmaya bilər. Çalışın bütün alternativləri öyrənəsiniz. Eyni ilə Data Elmi komandası üçün də qeyd etdiyim kimi. Burada ən önəmli alətlər SQL, MS Excel, vizuallaşdırma alətləri, qismən də Python hesab edilir.
Data Keyfiyyətliliyi (Data Quality) komandasında Data analitiki
Data Keyfiyyətliliyi komandası tərkibində də analitiklər fəaliyyət göstərirlər. Burada analitiklərin əsas işi datadakı səhvləri, anlaşılmazlıqları, istisna ("outlier") halları, müəyyən edib bildirməkdir. Komandanın digər üzvləri də bu məlumatları düzəldirlər. Data ilə uzun müddət işlədiyimiz zaman bu bacarıq intuitiv hal alır. Əsas məqam bizə şübhəli görünən və narahat edən hər şeyi komanda ilə bölüşməkdir.
Data Keyfiyyətliliyi elə bir məsələdir ki, burada False Positive halları qəbul etmək olar, yetər ki, bütün actual Negativeləri predict edə bilək. Burada II növ xəta daha təhlükəlidir.
Nəzərə alsaq ki, ölkəmizdə data sahəsi yeni inkişaf edir, hələ də bir çox şirkətlərdə təmiz data, və ya tam strukturlaşdırılmış data baza olmur. Ona görə də əldə olunan verilənlərin təkrar yoxlanılmasına ehtiyac duyulur. Data analitiklər təhlil zamanı vizuallarla və hesablamalarla bu problemləri aşkara çıxarıb bildirir. Problemlər aradan qaldırıldıqdan sonra Data Science komandası həmin data üzərində işləyir. Məsələn, biz öz işimiz ərzində tamamilə boş olan cədvəl və sütunları, duplikat sütunları, həmçinin yanlış, yaxud dələduzluq ola biləcək (ümumi datadan kəskin fərqlənən dəyərləri), ümumi data standardlarına uyğun gəlməyən halları aşkar edib bildirirdik. Əlavə olaraq, bazada yer tutan istifadəyə yararsız sütun və cədvəlləri müəyyən edir, istifadə üçün lazım olan cədvəllərin tərkibini öyrənir və digər komanda üzvlərinə bu barədə yardım edirik.
Digər komandalarda
Data Analitikləri sadəcə data yönümlü komandaların tərkibində deyil, həm də biznes yönümlü komandaların tərkibində mövcuddur. Çünki data özü bildiyimiz və bilmədiyimiz bir çox sahənin önəmli tərkib hissəsidir. Data hesabatlılığı komandası məhz bu analitiklərin tələbi ilə hesabatlar hazırlayırlar və təhvil verirlər. Ona görə deyə bilərik ki, Data hesabatlılığı komandası bir çox komandalara dəstək olur və onlarla əməkdaşlıq edir. Biznes yönümlü komandalarda data analitiklər əsasən hesabatlar əsasında icmal nəticələr çıxarır. Məsələn, hər ay olan satışları vizuallaşdırır və orada mövsümi dəyişkənlikləri müəyyən edir, ümumi satış miqdarının keçən ilə nisbətdə artımını hesablayır, orta dəyərləri tapır, zamandan asılı olaraq satış miqdarını göstərən qrafik qurub, dəyişkənliyə səbəb olan faktorları tapır. Daha sonra mövcud nəticələr əsasında gələcəklə bağlı planlamalar aparılır.
Həmin data analitiklər adətən hazır BI (business intelligence) alətlərlə hazır hesabatları təhlil edirlər. Bəzən nəticələri MS Excel vasitəsilə də təhlil edirlər. Ona görə də bu proqramla işləmə bacarığının olması gərəklidir.
Xarici praktikada data analitiklər həm də hipotez testinqi, sesonality testi, t-test kimi bir çox statistik testlər və təhlillər də edirlər. Ona görə də beynəlxalq bazarda biznes anlayışı və təhlil bacarığı ilə yanaşı, güclü statistika bilikləri tələb olunur. Burada da SQL, Oracle BI və digər BI alətləri, Excel, Python və R tələb olunur.
Onu da deməliyəm ki, qeyd olunan proqramlar şərtidir. Bəzi şirkətlər öz fəaliyyət növlərinə uyğun başqa alətlər də tələb edə bilir. Güclü riyazi biliklər, təhlil bacarığı və çox istifadə edilən proqramlaşdırma dillərindən bir neçəsini bilmək iş tapmaqda sizə kömək edər.
Hətta bir proqramlaşdırma dili bilsəniz belə digər dilə keçmək çox da çətin olmaz. Birini yaxşı bilmək digərini öyrənməyə kömək edər.