Data Science nu este Statistică, bre!

Unii cred că tot ce este dată, este statistică, ceea ce este total fals. Bazele de date care includ serii de date sunt doar cazuri particulare, iar bazele de date sunt înainte de toate informatică, adică analiză, proiectare și programare de cod în diferite limbaje specifice bazelor de date, oricare ar fi tipul lor.
Și în cazul Data Science tot de informatică este vorba. Cine vrea să înțeleagă Data Science, trebuie să știe să scrie programe în limbajul PYTHON de complexitate cu mult despre medie, pentru a nu rămâne în zona folclorică, a utilizării de concepte auzite în stația de tramvai sau în ritmurile de manele din cluburi de după ora 00:00.
Cine dorește să se considere că are cât de cât habar de data science, ar trebui să fi citit vreo 10 cărți fundamentale din domeniu, vreo 30 de articole și să fi mers cu comunicări pe la 5 conferințe științifice cu factor de respingere de peste 30%, altfel totul este folclor din spațiul mioritic, cu balade cântate după ureche, la șezătoare când ard vreascurile în sobă și vinul fiert cu scorțișoară este în bărdace aburind și îmbietor în șezători cu fete și flăcăi veseli nevoie mare.
Mai ușor cu pianul pe scări!


(28 mai 2026)

Cum de s-a ajuns la fundul prăpastiei?

Suntem în secolul al XXI-lea.
Există teoria creșterii economice.
Există modele cibernetice pentru dezvoltarea economică.
Există analiza de date.
Există data science.
Există BNR.
Există institute de cercetări economice.
Există departamente în universități dedicate dezvoltării economice.
Există reviste de analiză cantitativă în economie.
Există teze de doctorat cu subiecte de dezvoltare sustenabilă a economiei.
În concluzie, există de toate și totuși acum suntem la fundul prăpastiei. Explicația este una singură și anume, că din toate câte am enumerat aici că există, niciun element nu a stat la baza fundamentării deciziilor pe care oamenii politici le-au luat și ei s-au bazat pe empirismul lor rudimentar, căci ei nu au văzut nici măcar cât e lungul nasului și nu au ascultat de nimeni, orbecăind în întunericul micimii lor, spre niciunde. A mima cercetarea științifică, a mima utilizarea metodelor cantitative în economie, a mima optimizarea la nivel macroeconomic, sunt căile sigure de a ne fura căciula, căci realitatea se răzbună crunt pe cei care se fac că fac ceva, dar în realitate doar mimează activități denumite pompos.

S-a ajuns pe fundul prăpastiei pentru că realitatea în care trăim este de secolul al XIX-lea, unde nu există teoria creșterii economice, unde nu există modele cibernetice de dezvoltare economică, unde nu se face analiză de date, unde nu se știe de data science, unde BNR este doar un simbol pentru moneda națională, unde nu există institute de cercetare în economie, unde nu există departamente în universități dedicate dezvoltării economice, unde nu există reviste de niciun fel, unde tezele de doctorat sustinute la Paris sau la Berlin au cu totul alte teme decât economia mioritică. Secolul al XIX-lea este secolul sărăciei, al ignoranței, al analfabetismului și al polarizării populației, polarizare dusă la extrem.

(03 iulie 2025)

Pe colectivități complete nu se folosesc metode statistice!

De când avem calculatoare electronice pe toate drumurile, de când avem baze de date ce reflectă fidel toate elementele ce formează o colectivitate, a mai folosi metode statistice clasice, deja înseamnă o mare eroare. Am văzut acum modul aproximativ de lucru al celor care estimează impactul creșterii pensiilor. Nu este corect să se spună estimarea impactului, ci calculul impactului pentru că:

- se propune un procent de majorare a pensiilor,

- se definește algoritmul de calcul,

- se ia baza de date cu toți pensionarii,

- se fac calculele,

- se obține totalul sumei necesare pentru a crește pensiile cu procentul propus.

Dacă totalul depășește disponibilul de resurse, procentul este diminuat și calculele se reiau. Dacă, din contră, totalul este mai mic decât disponibilul de resurse, procentul de creștere este majorat și calculele se reiau. Rezultă cu claritate că atunci când dispunem de baze de date ce conțin informații despre toate elementele colectivității, a folosi eșantioane, a face sondaje, este nepotrivit. Nimeni nu mai trebuie să translateze metode vechi la noul context al utilizării bazelor de date complete și corecte, care conțin date despre toate elementele colectivității. Trebuie o cu totul altă abordare, nu folosirea metodelor statistice învechite. Este nevoie de a face saltul calitativ al utilizării altor indicatori, total diferiți de ceea ce se știa din statistică, pentru că acum dispunem de toate datele și nu mai suntem obligați să lucrăm cu subcolectivități și apoi să facem extrapolări la întreaga colectivitate. Avem date despre toată colectivitatea. Lucrăm cu datele despre toată colectivitatea și trebuie să le folosim în folosul nostru, pentru a fundamenta corect deciziile noastre. Acum nu media aritmetică mai este centrul universului decizional, ci dinamica fluctuațiilor legate de elementele minime și maxime, căci cunoașterea colectivității înseamnă cu totul altceva, adică studierea stabilității, studierea ritmicității, abordarea altor laturi de natură calitativă. Numai în acest fel vom avea posibilitatea ca lucrând cu miliarde de înregistrări, să construim profile și să folosim rezultatele agregate în folosul nostru.


(22 decembrie 2022)

Stabilirea științifică a categoriilor de concurs în bodybuilding

Ne-am obișnuit să vedem tot felul de clasamente și tot felul de regrupări, unele dintre ele schimbându-se cu frecvență mai mare decât ne-am aștepta. Pentru a aplica metode științifice este necesar să dispunem de suficient de multe date. În opinia mea, competițiile numeroase care sunt organizate în întreaga lume oferă fondul informațional care permite efectuarea unei cercetări solide și constituirea de grupe de concurs pe cu totul alte baze decât suntem obișnuiți. 
Cercetarea științifică nu trebuie să pornească de la idei preconcepute. Se pornește de la înregistrări de ordin cantitativ. din competiții și de la fiecare sportiv se înregistrează date precum:

- caracteristici de ordin fizic,
- participări în competiții pentru categoriile existente,
- rezultate obținute,
Se va căuta ca numărul caracteristicilor cantitative să fie cât mai mare, iar acolo unde apare necesitatea, se vor introduce caracteristici de natură calitativă.
La ora actuală există metode statistice excepționale care oferă cu precizie foarte mare informații extrem de utile decidenților. Se știe că există mai multe organizații ale culturiștilor și trebuie să spun din start că acea organizație care va face ca toți participanții din cadrul competițiilor să se simtă la fel de confortabil, în ideea maximizării nivelului de confort, va reuși să capaciteze cei mai mulți sportivi și calitatea competiției va fi cu totul alta dacă grupele de concurs sunt echilibrate.

Analiza de date permite identificarea sub-grupelor omogene de indivizi dintr-o colectivitate descrisă prin mai multe caracteristici. Ideea este că trebuie să fie înregistrate multe caracteristici ale sportivilor și acestea vor fi ierarhizate. După aceea, va fi constituită din aproape în aproape acea grupă a caracteristicilor reprezentative care va da și sub-grupele de indivizi omogene și stabile. Este totul științific și corect, cu condiția ca datele prelucrate să fie complete și mai ales reprezentative. Există o vorbă: gunoi bagi, gunoiu se obține. Dacă datele nu sunt corecte și complete, rezultatul analizei este un fiasco. Nu știința a greșit, ci noi că nu am fost în stare să facem o treabă ca lumea.

Nu este exclus ca metoda științifică să conducă la un rezultat care nu diferă foasrte mult de ceea ce există la o anumită organizație. Bravo ei! Dar tot atât de bine este ca grupele noi care sunt definite să revoluționeze culturismul, iar viața va fi aceea care va impune marele adevăr, căci nu este rezonabil să existe o grupă de concurs cu doi sportivi și tot în acea zi să urce pe scenă la o altă grupă 20 de competitori. Înseamnă că ceva este greșit și trebuie corectat, căci nu realitatea se corectează, ci competiția se mulează după realitate.


(14 iunie 2022)

Geniile și zodiile lor (I)

Omenirea a dat nenumărate genii. Pentru fiecare domeniu, de-a lungul timpului și-au făcut prezența genii care au reușit să revoluționeze domeniile respective, impunându-se ca deschizătoare de drumuri.
Există genii în matematică.
Există genii în fizică.
Există genii în  chimie.
Există genii în inginerie.
Există genii în pictură.
Există genii în literatură.
Există genii în muzică.
Există genii în sport.
Fără contribuțiile lor, lumea ar fi fost mai săracă, ar fi bătut pasul pe loc și ar fi așteptat ca altcineva să vină să soluționeze problema. Apar o serie de întrebări legate de genii.
Există o legătură între zodiile persoanelor și genii?
Există factori care influențează apariția geniilor?
Pentru a răspunde la nenumăratele întrebări care se referă la genii și pentru a lămuri cumva unele nedumeriri, se impune folosirea tuturor instrumentelor de care omenirea dispune la această oră, mai ales că acum Internetul este plin de informații despre marile personalități, marile descoperiri, atât cu elemente calitative, cât și cu elemente cantitative de descriere. Data Science are posibilitatea să descifreze unele aspecte. Lucru cu baze de date de foarte mari dimensiuni va permite obținerea de informații extrem de utile, care vor aduce lumină în zona aceasta atât de complexă a geniilor, zonă care obsedează pe toată lumea și mai ales intrigă pe cei care așteaptă rezultate, care întârzie să apară, la probleme deosebit de grele pentru omenire. Trebuie să acceptăm ceea ce este o realitate de necontestat, că geniul este 99% transpirație și doar 1% inspirație. Înseamnă, că numai acolo unde există muncă serioasă, continuă, exigentă, creativă și mai ales apreciată, există o probabilitate cât de cât acceptabilă, ca într-o sută de ani să apară un geniu. Oriunde altundeva, unde munca nu este apreciată, niciodată geniile nu vor apărea. Să fie clar!

(09 iunie 2022)

Etalonul aur și banii

S-au înregistrat tot felul de progrese și a apărut bitcoin-ul, un ceva de care toată lumea este entuziasmată, dar care s-a dovedit în februarie 2018 a fi foarte fragil, înregistrând o scădere de-a dreptul dramatică de la 18.500$ în 10 ianuarie 2018 la 7.583 în 27 ianuarie 2018.

Eu am  crezut că această monedă va fi o revoluție căci va însemna altceva în zona fluxurilor monetare, dar s-a dovedit o răscoală palidă din moment ce tot la etalonul aur este raportată, nefiind ea însăși un etalon-informație, adică să lucreze după o cu totul altă filosofie din moment ce există:

- big data,

- transputere, 

- VLDB,

- inteligență artificială.

- data science,

- algoritmi genetici,

- aplicații mobile.

Lumea folosește acum etalonul aur pentru că acest metal are o serie de caracteristici de care omenirea nu este în stare să se descotorosească, deși acum în seculul al XXI-lea lucrurile stau cu totul altfel. Etalonul aur este dominat de următoarele caractersitici:

- aurul există în cantități limitate,

- aurul este strălucitor și ne ia fața,

- aurul se găsește în cantități mici,

- aurul are un proces de obținere dificil,

- aurul are o durată de întrebionțare infinită,

- aurul nu se uzează fizic și nici moral,

- aurul are multiple utilizări industriale,

- aurul este fundamental în bijuterii,

- aurul are valoare în sine,

- aurul stârnește instinctiv atracție,

- aurul este puternic  și strălucitor,

- aurul a stat la baza bogăției,

- aurul stă la baza tuturor monedelor,

- aurul este fundamentul tezaurizării.

Acum când informația este totul, ar cam trebui să se producă o serie de mutații și oamenii să-și schimbe obiceiurile și mai ales năravurile, dintre care cele legate de aur ca simbol al bogăției, ar trebui să treacă undeva pe planul al III-lea sau pe planul al V-lea. Informația are acum un rol esențial în dezvoltarea societății și dacă pe durata crizei din primul deceniu al mileniului al III-lea s-a văzut că informația este esențială, se impune ca aceasta să-și găsească adevărata poziție în societate și nu numai de a fi o marfă simplă, oarecare, ci să devină etalon prin virtuțile pe care le are.

(05 martie 2018)

PANAMA PAPERS = big data applications

Inevitabilul s-a produs. Băncile, societățile de investiții au exagerat cu centralizarea de informații. Sistemele de gestiune a bazelor de date -SGBD moderne sunt caracterizate prin:

- lucru cu mai multe chei de regăsire;

- lungimi de chei care nu se limitează la 256butes;

- componente de regăsire de informații folosind expresii  cu mai multe chei;

- elaborare de arhitecturi pe platforme flexibile cu autoorganizare;

- implementări de algoritmi de concatenare la nivel virtual;

- conectarea de baze de date complexe la resursele oferite de cloud computing.

Deja tehnologia a luat-o cu mult înaintea celor care utilizează aplicații cu baze de date de foarte mari dimensiuni, iar vrând-nevrând breșele involuntare existente produc din întâmplare necazuri insurmontabile. Am cunoscut sisteme informatice bancare din discuțiile cu unii de acolo din interior și întrebările pe care le-am pus arătau că există preocupări, dar efectiv luarea de măsuri este o chestiune de timp și mai ales de a investi în componente software care să permită menținerea lucrurilor cât de cât sub control.

Așa cum s-a discutat de contradicțiile din economie, există nenumărate contradicții și în informatică. Una dintre contradicțiile fundamentale ale informaticii este aceea dintre multiplele facilități oferite de produsele software de bază și puținele facilități activate de cei puși să utilizeze dar mai ales să asigure recuperarea investiției.

Ca fapt divers, cine lucrează cu un procesor de texte, sa numere cele N opțiuni avute la dispoziție în barele de menu de la primul vive, să numere și cele K opțiuni pe care le folosesc într-o lună cel puțin o dată și să calculeze raportul R = K / N și va vedea că se află într- situație stânjenitoare.

O altă contradicție a informaticii este necesitatea de a controla nivelul redundanței din sisteme pentru a gestiona birocrația și disponibilul aproape infinit al resurselor de stocare, în condiții de timp absolut rezonabile de generare a informației. Tot ca fapt divers, se observă plăcerea secretă a funcționarilor de a scana acte de identitate cu orice prilej, ceea ce duce la stocarea de fișiere imagine care de cele mai multe ori au punere în corespondență cu operațiunea realizată într-o bază de date multimedia.

Fluxurile din cadrul băncilor sunt caracterizate prin:

- volum, ca număr de tranzacții;

- volum ca număr de documente;

- circulație între locul unde se produce tranzacția și locul gazdă al contului;

- achiziții automate de date disproporționat de mare;

- caracterul constant structural al datelor ce definesc tranzacția.

Este cunoscut faptul că înainte, cu mulți ani în urmă:

- cineva deschidea un cont la o filială a băncii;

- la acea filială depunea banii;

- de la acea filială retrăgea banii;

- dacă existau instrumente stabilite, operațiunile se efectuau oriunde  de la filialele băncii;

- cu timpul au scăzut restricțiile privind limitările de sume retrase mai ales.

Apariția cardurilor,a automatelor, a e-banking și a băncilor virtuale a schimbat integral modul de lucru al băncilor. Sunt necesare foarte multe informații de indentificare legate de cont, posesor, locul unde se face tranzacția, momentul în care are loc. Toate acestea reprezintă informații achiziționate automat pentru că sunt în card,  în coduri bară sau în baza de date a băncii. Ceea ce este element variabil este numai suma cu care se face tranzactia. 

Documentele care se generează la ora actuală au un nivel de complexitate foarte ridicat, incluzând chiar poze de la automatul de unde se face retragerea sau amprente digitale sau vocale. Ceea ce este cucerire a tehnologiei în zona achizițiilor de date, este preluat rapid de sistemele financiare bancare. Documentele sunt criptate, dar ele sunt de regulă în niște formate pentru care decriptarea nu este marea problemă pentru că:

- formează o masă omogenă ca structură de document financiar bancar;

- forma de transmitere este unică în ceea ce privește reprezentarea (text, pdf, imagine);

- algoritmul de criptare este unic pentru un sistem bancar;

- algoritmul de decriptare este de asemenea, unic, logic și firesc.

Goana de a avea până și respirațiile funcționarilor în bazele de date determină creșterea complexității sistemelor informatice dar în același timp realizarea acelei fluidizări a traficului astfel încât orice tranzacție de oriunde să se efectueze în timp real.

Despre securitatea tranzacțiilor, trebuie spus că SGBD-urile au ele însele asemenea sisteme, dar băncile scot destul de mulți bani să plătească ținerea sub control a cât mai multe clase de vulnerabilități.

Acum,că tot există baze de date  de îngrozitor de mari dimensiuni, unde numărul de articole depășesc în mod curent câteva zeci de miliarde de înregistrări, întrebarea firească este ce se face cu atâta informație din punctul de vedere al celor deștepți care doresc să o prelucreze statistic.

Lucrul cu volume foarte mari de date presupune:

- un centru unic de comanda;

- acces descentralizat pentru unele operații;

- sistem de definire a rolurilor flexibil și dinamic;

-diferențe între baza de date fizică și baza de date logică;

- definirea de operații diferențiate pe niveluri.

De aceea apar situații prin care bazele de date nu sunt prelucrate complet sau din care se produc transferuri deschise, de cele mai multe ori controlate. În zona SGBD-urilor accidentele nu sunt deloc accidentale, nici ca fluxuri, nici ca tranzacții, nici ca nivel de securitate, nici ca rezultate ale prelucrărilor.

Se știe că acum mulți ani în urmă un tinerel juca aiurea la o bancă franțuzească sume mici dar cu frecvențe uriașe. La o analiză de date (data analysis) doar cu contorizarea frecvențelor de la computere se vedea ca zilnic de la un acelasi computer cineva face 1000 de tranzactii de 100 de euro. dacp acel computer era chiar dintr-un sediu al băncii, deja era indiciul că acolo pute sulfuros cumva.

În legătură cu milioanele de documente, mai precis cele 11,5 milioane, care au zburat de de undeva (emitent știut) către undeva (destinatari știuți) lucrurile trebuie văzute nuanțat. Este exact ca în situați în care unui flămând i se dă o oală cu sarmale. precis se va îneca cu o sarma. Și aici e la fel. Cele 11,5 milioane de documente trebuie supuse unei analize mai întâi cantitative și mai apoi calitatice. Trebuie văzut:

- dacă reprezintă fluxuri complete;

- frecvențele de efectuare a tranzacțiilor menținând elemente fixe;

- nivelul sumelor;

- identificări de persoane.

Dacă lucrurile rămân la primul nivel, deja prea mare lucru nu s-a obținut. Trebuie făcute mult mai multe operații de prelucrare unde facilitățile software  de la BIG DATA sunt esențiale. Pentru a merge și mai departe terbuie activat aparatul matematic specific noului domeniu DATA SCIENCE. Numaă că în ambele cazuri este nevoie de:

- bani pentru achiziție de software;

- plata unor superspecialiști pentru cele 11,5 milioane de documente;

- evaluare efectelor;

- a ști dacă se merită și nu e un foc de paie.

In opinia mea, nu este un lucru accidental acest transfer atât de consistent de documente și tocmai dintr-un paradis fiscal. Ca să se producă o astfel de operațiune trebuie analizata:

- secvențialitatea, dacp privesc totul despre o perioadă precis delimitată;

- selectivitatea, dacă vizază operarea cu citerii de extragere se submulțimi;

- direcționalitatea generată de obiectivele destinatarului și capacitatea acestuia de a reacționa.
Toată tărășenia nu trebuie tratată ca o chestiune de lipsă de securitate în sistemele informatice bancare. Este un act voit, care are un scop recis, nedeclarat celor mulți din presă. Nu este nici un cartof fierbinte. Este un caz tipic de transfer al unei baze de date către destinatari cunoscuți într-un scop precis. Acum urmează prelucrările cam lente, zic eu, iar rezultatele sunt într-o așteptare cam prelungită

Până în momentul de față au fost descoperite nume de persoane, ceea ce nu mi se pare câtuți de puțin spectaculos. Dacă se vor face prelucrări specifice BIG DATA și deja trebuiau să fie făcute că pentru cele 11,5 milioane de documente acele prelucrări durează la nivel de  sub 10 ore indiferent de nivelul de complexitate în condiții de  cloud computing, altfel se discuta. Ele reprezentau o armă jurnalistică. Mulți au tratat-o ca pe o bombă jurnalistică, asemeni unui viol sau o bătaie între bețivi. Nu este așa. Trebuiau să se clatine niște poziții, trebuiau să apară demișii. N-a fost să fie. Numai premierul Islandei a avut o anume reacție, ca pentru o insuliță. Purcoiul de documente care a ajuns la presă este ca și neatins, iar afacerea PANAMA PAPERS, ca orice balon de săpun va face fâs în căteva zile, pentru că alte și alte informații îi vor lua locul. În rest, liniște și pace. Încă o dată se vede că un diamant brut de mii de caracte e dat unora care vor să-l șlefuiască cu dalta și-l fac țăndări. Cine n-a auzit de BIG DATA să se apuce de altceva când primește 11,5 milioane de documente de la o socieatte financiară, ca de exemplu, să vină la intersecția de la Perla și să spele parbrize la mașini pe mai nimic.

(06 aprilie 2016)