Data Science nu este Statistică, bre!

Unii cred că tot ce este dată, este statistică, ceea ce este total fals. Bazele de date care includ serii de date sunt doar cazuri particulare, iar bazele de date sunt înainte de toate informatică, adică analiză, proiectare și programare de cod în diferite limbaje specifice bazelor de date, oricare ar fi tipul lor.
Și în cazul Data Science tot de informatică este vorba. Cine vrea să înțeleagă Data Science, trebuie să știe să scrie programe în limbajul PYTHON de complexitate cu mult despre medie, pentru a nu rămâne în zona folclorică, a utilizării de concepte auzite în stația de tramvai sau în ritmurile de manele din cluburi de după ora 00:00.
Cine dorește să se considere că are cât de cât habar de data science, ar trebui să fi citit vreo 10 cărți fundamentale din domeniu, vreo 30 de articole și să fi mers cu comunicări pe la 5 conferințe științifice cu factor de respingere de peste 30%, altfel totul este folclor din spațiul mioritic, cu balade cântate după ureche, la șezătoare când ard vreascurile în sobă și vinul fiert cu scorțișoară este în bărdace aburind și îmbietor în șezători cu fete și flăcăi veseli nevoie mare.
Mai ușor cu pianul pe scări!


(28 mai 2026)

Cum mai stau lucrurile cu Inteligența Artificială?

Asistăm la asaltul dezvoltatorilor de teorii, algoritmi și de software din zona Inteligenței Artificiale - IA, la un nivel fără precedent. Ceea ce este foarte important este legat de faptul că Inteligența Artificială - IA este un domeniu unde numai super-specialiștii își găsesc locul și rostul, ceea ce înseamnă:
- angrenarea de sume de bani la niveluri inimaginabile,
- utilizarea de tehnici și metode noi de cercetare și de programare,
- necesitatea de a recupera rapid investițiile prin aplicații în producție,
- transformări radicale la nivelul conștiinței cetățenilor prin avantajelor IA,
- adâncirea decalajelor între dezvoltatorii de aplicații bazate pe IA.

Inteligența Artificială are meritul de a prelua și prelucra toate informațiile selectate de criteriile definite, de a le ierarhiza și de a efectua prelucrări mecanice, obținând concluzii nebănuite în alte condiții, ceea ce joacă rolul de motor al dezvoltării calitative, datorită acumulărilor cantitative în exces. Faptul că Inteligența Artificială reușește să construiască serii de date extrase din baze de date de trilioane de înregistrări, obținând niveluri de omogenitate nebănuite în alte condiții, duce în mod firesc la prelucrări echivalente cu redescoperirea apei calde, de care oamenii se vor minuna datorită simplității soluțiilor obținute. Acum tragem concluzii din prelucrări statistice trase de păr și nu dăm prea mare credit rezultatelor. Dacă însă se prelucrează 20 de milioane de tomografii ale aceleiași părți ale corpului, obținute la computer tomograf și se fac prelucrări folosind însemnările medicilor care dau diagnostice, acuratețea concluziilor pe care Inteligența Artificială le oferă sunt de un nivel de calitate excelent și ele vor fi folosite în spitale de medici pentru a maximiza șansele de reușită ale tratamentelor.

Acum Inteligența Artificială trebuie pusă la treabă, fără prea multe comentarii și organismele statale trebuie să dea dovadă de mult mai multă aplecare în obținerea de rezultate pozitive, nu pentru a defini limitări, generate de frici imaginare sau puerile, date de aspectele spectaculoase unde apare IA, așa cum sunt clipurile generate cu diverși politicieni care spun lucruri bizare, pe care ei oricum le spun și fără IA.




(10 martie 2025)

Inteligența artificială nu este sperietoarea nimănui

Așa cum se întâmplă cu orice noutate, inteligența artificială mai mult îi sperie pe oameni, decât să-i încurajeze pentru a căuta s-o folosească în folosul lor. Este ceva normal, căci oamenii sunt foarte ușor influențabili, mai ales de către cei care au interese imediate. Să dau un exemplu: să zicem că inteligența artificială preia un text de lege făcut de parlamentarii din spațiul mioritic și-i găsesc toate hibele și toate minusurile. Mai mult, inteligența artificială oferă și textul de lege corectat. este clar că niște indivizi care voit sau nevoit au creat un text cu lacune, se tem de inteligența artificială, care le pune oglinda în față arătând cât de prost pregătiți profesional sunt.
Un alt exemplu, este acela al elevilor unei clase care elaborează referate despre basmul HARAP ALB al lui Ion CREANGĂ și în loc să fie corectat de profesorul de la clasă, textele sunt analizate de o componentă software înzestrată cu inteligență artificială. Nu este vorba de a avea un rezumat standard în memorie, așa cum se întâmplă în cazul în care referatul elevului este corectat de profesorul care știe un rezumat și vede totul prin prisma unui text pre-format. Produsul software înzestrat cu inteligență artificială are în față mulțimea referatelor pe de o parte și doar basmul HARAP ALB . Referatul este analizat prin prisma a ceea ce elevul a scris pornind de la basm. Tragedia profesorului și a elevului se leagă de faptul că elevul care nu a citit basmul va face un referat nul, în timp ce acum, elevul care memorează perfect un rezumat dictat de un meditator, va face  referatul, de fapt va reda textul altuia ca fiind referatul lui și va obține o notă bună sau chiar foarte bună.

Acum se lucrează la demolarea inteligenței artificiale, ceea ce va arunca omenirea cu cel puțin 50 de ani în urmă. Să ne imaginăm că există N tomografe computerizate. Să zicem că anual un tomograf computerizat produce 2.000 de tomografii, care sunt de fapt fișiere stocate, cu date de identificare ale persoanelor. Să zicem că nu au fost pierdute tomografiile din ultimii 5 ani, deci de la fiecare tomograf se provin 10.000 de fișiere. Dacă N este un număr suficient de mare, să zicem 100.000 avem imaginea că baza de date a tomografiilor va conține 200.000.000 de fișiere. Cine as-a informat despre BIG DATA și cuplează acest domeniu cu inteligența artificială, va vedea că se trag concluzii extrem de importante în legătură cu dinamica din punct de vedere medical a ceea ce conțin acele tomografii și aplicarea de teste statistice va duce la verificarea de ipoteze cu probabilitate de 0,9999 fără nicio dificultate.

Așa cum virușii informatici au caracter distructivi și hackerii au plăcerile lor vinovate, tot așa și roboții înzestrați cu inteligență artificială sunt precursori ai răului, dacă oamenii își doresc acest lucru.


(24 aprilie 2023)

Astra Zeneca merge mai departe

Era un film Angela merge mai departe și mi-am adus aminte că întreaga intrigă a filmului are parcă ceva în comun cu ceea ce se întâmplă în atmosfera îmbâcsită cu vaccinul Astra Zeneca pe malurile Dâmboviței.

Eu aveam un prieten care mi0a zis că atunci când văd cohorte de oameni mai deștepti ca mine că fac ceva, fără să stau prea mult pe gânduri să mă alături lor și să fac și eu ca ei. Am învățat lecția de la prietenul meu și am făcut ce mi-a zis și trebuie să recunosc că mi-a merf foarte bine. Numai muștele te duc la hazna. oamenii deștepți te duc tot timpul în direcția cea mai bună.

Mergând pe aceeași logică, țări ca Austria, Danemarca, Estonia, Lituania, Letonia, Luxemburg, Norvegia, Islanda, Germania, Irlanda, Bulgaria, Suedia, Italia, Spania, Portugalia și Franța, au sistat momentan vaccinarea cu Astra Zeneca. 

Undeva am scris eu despre statistica pe colectivității mari în condițiile existenței bazelor de date ale populației, actualizate în timp real. dacă există rezultate ale utilizării de software big data și este demonstrat că vaccinul Astra Zeneca este OK e o abordare, dar stau și mă gândesc cum de Germania, Norvegia și Suedia nu au efectuat astfel de analize, deși acolo big data este la ea acasă.

(16 martie 2021)

Astra Zeneca și big data

Se știe că cele trei vaccinuri utilizate în Europa au fost testate pe mii, zeci de mii de cazuri. Incidentele legate de vaccinul Astra Zeneca au continuat să nască incertitudini în rândul oamenilor pentru că acum se folosesc instrumente vechi de analiză, deși există bine pus la punct bonceptul de big data.

Acum există baze de date ale populațiilor din fiecare țară din Europa cu suficient de multe date care să permită efectuarea de studii detaliate. Dacă există aceste posibilități, trebuie trecut urgent de la statistica clasică, la statistica modernă, în care informații despre colectivitățile complete sunt aaccesibile și doar trebuie accesate. 

Dacă avem o bază de date cu populația unei țări și cunoaștem:

- numărul N al persoanelor care se vaccinează într-o perioadă dată,

- caracteristicile subcolectivității care se vaccinează,

- numărul persoanelor din subcolectivitate,

construim K eșantioane din populația țării formate din câte N elemente și le analizăm să vedem ce se întâmplă cu aceste eșantioane din punct de vedere al comportamentului fiecărui element din eșantion. Vor rezulta nenumărate comportamente, care vor fi consemnate cantitativ, stări febrile, tromboze, decese, infarcturi și tot așa. Va exista un tabel cu un număr de coloane egal cu K și cu N linii, iar în interior se vor găsi coduri cu starea fiecărui element. Interpretarea codurilor va duce la concluzia că cele K eșantioane fie au comportament similar, fie se comportă diferit. 

În același mod se construiește coloana K+1 corespunzătoare celor N elemente care au fost vaccinate și tot așa se vor înregistra codurile. Se va face și aici analiza. Se vor face comparații cu ceea ce a rezultat din cele K eșantioane. Fie se va concluziona că vaccinul nu induce schimbări, fie se va concluziona că este o legătură între vaccin și anumite manifestări, dacă acele manifestări nu se regăsesc în cele K eșantioane.

Dacă exista un astfel de studiu folosind big data, evident, decizia legată de Astra Zeneca în țările EU ar fi fost fundamentată instantaneu și nu ar mai fi bâjbâit nimeni așa cum se întâmplă acum.

Este adevărat că lumea nu este obișnuită să opereze cu eșantioane de peste 30.000 de componente sau chiar de peste un milion de componente, dar calculatoarele, produsele software și bazele de date de mari dimensiuni nu sunt făcute să socotim pe degete sau cu bețișoare ca la clasa a I-a, ci pentru a lucra cu zeci sau sute de mii de componente în eșantion. dacă nu ne-am obișnuit cu așa ceva, ghinion!

(16 martie 2021)

Din no=u despre statistica pe colectivități mari și complete

Existența bazelor de date complete a schimbat din temelii abordarea din statistică, numai că statistica a rămas în urmă, căci încă se mai lucrează cu eșantioane, deși puterea de calcul de azi permite lucru cu colectivități de sute de mii, de zeci de milioane de compăonente fără nicio problemă.

Acum se fac vaccinări și în cadrul acestui proces se produc nenumărate situații, iar interpretările din punct de vedere statistic sunt:

- penibile, 

- nesusținute,

- aberante,

- tendențioase,

- cretine.

În opinia mea, având colectivitatea în integralitatea ei la dispoziție, nici media aritmetică, nici analiza dispersională și nici analiza de corelație nu mai sunt ceea ce au fost când se lucra cu serii de date având câteva zeci de termeni, obținuți și aceia cu mare trudă.

Acum se fac vaccinări.

Zilnic se vaccinează să zicem N persoane.

Analizele se efectuează pentru 1, 2, 3, ..., k zile de la vaccinare.

Se înregistrează comportamentul celor vaccinați.

În parel se construiesc multe eșantioane reprezentative existând colectivitatea.

Se studiază comportamentul din cadrul acelor eșantioane.

Având colectivitatea, eșantioanele se constituie să fie comparabile cu cele ale persoanelor vaccinate.

Se compară ceea ce se întâmplă în eșantioanele constituite aleator, cu cele ale persoanelor vaccinate.

Din instinct, se zice că există o lege, legea numerelor mari. Nu vreau să mă pronunț înainte de a se face analize pe colectivități reale, căci din pix se trage orice concluzie care folosește susținerii oricăi ipoteze, chiar dacă este o aberație.

Dacă din colectivitatea completă, folosind un mecanism simplu de extragere câte N componente comparabile cu subcolectivitatea celor vaccinați, pentru a obține M eșantioane și dacă se studiază eșantioanele și subcolectivitatea celor vaccinați, iar rezultatul analizei duce la verificarea ipotezei că subcolectivitatea celor vaccinați nu diferă semnificativ de cele M eșantioane, trebuie trasă concluzia că vaccinul nu deformează comportamentul colectivității. Ceea ce nu înțeleg eu este legatde faptul că aceste analize trebuiau făcute de cei care au analizat săptămâni în șir vaccinurile, deși aveau zeci de mii de voluntari. Rămân la ideea că statistica nu este adaptată la operarae pe big data.

Ceea ce s-a întâmplat cu graba de a trage concluzii legate de vaccinul Astra Zeneca îmi arată că e o luptă surdă pe rating, fără nicio legătură cu știința, știut fiind faptul că dacă un prost aruncă o piatră în lac nici o mie de savanți n-o mai scot la lumină. Așa se întâmplă și cu rolul catastrofic al unui text ce devine informație de prime time, care nu va fi remediat nici de 1.000 de texte care să arate că a fost vorba de o eroare. În mintea oamenilor ceea ce s-a zis prima dată este marele adevăr, chiar dacă e minciună gogonată.

(16 martie 2021)

big data și BIG DATA

Nouă ne place când auzim de ceva noi, imediat să mimăm că:

- știm despre ce e vorba,

- lucrăm deja cu acel ceva,

- că dăm sfaturi și la alții,

- avem succese datoriă lui.

În realitate începem să facem ceva și aflăm că există un altceva și reptăm figura, încât suntem tot timpul în căutări, doar la început, căci soluția începută cu o tehnologie este abandonată în favoarea unei alte și mai noi tehnologii. Aceasta este explicația că nu prea avem chestii începute și terminate, adică proiecte serioase, vreau să zic.

Să dau niște exemple.

Se vorbește despre sisteme expert de vreo 40 de ani. Am mari dubii că avem un sistem expert cap-coadă care funcționează la noi în spațiul mioritic.

Se vorbește de algoritmi genetici de creo 20 de ani aici și chiar se zvonea că sunt utilizați în bursa de valori. Nu am văzut niciun miardar în euro de pe meleagurile carpato-danubiano-pontice care să-mi facă bezele doar că a jucat la BVB și nu a avut niciun contract de la stat.

S-a vorbit de vreo 10 ani de big data și în naivitatea mea am crezut că aplicațiile de big data nu sunt nici greu de realizat și nici greu de hrănit, mai ales că băncile au sute de mii de tranzacții online, că sistemele naționale de taxe și impozite sau altele asemenea, oferă câmp bun de dezvoltare a aplicațiilor de big data. N-am înțeles că pentru cele 5 milioane de pensionari s-ar fi lucrat pe colectivități complete cu big data și nu pe eșantioane pentru a se vedea scenarii de creștere a pensiilor și așa-zișii analiști nu fac altceva decât să bată câmpii în mod ridicol, lamentabil și degradant pentru ei.

PS: prin 1975 era la Ministerul Învățământului o bază de adte cu peste 400.000 de articole care gestiona toate cadrele didactice ale învățământului comunist și cu ea se planifica suficient de riguros dinamica forței de muncă. știind în orice clipă efectele pe are le au măsurile luate de conducerea PCR, căci se lucra pe colectivitate, nu pe eșantion.

(14 martie 2020)

Etalonul aur și banii

S-au înregistrat tot felul de progrese și a apărut bitcoin-ul, un ceva de care toată lumea este entuziasmată, dar care s-a dovedit în februarie 2018 a fi foarte fragil, înregistrând o scădere de-a dreptul dramatică de la 18.500$ în 10 ianuarie 2018 la 7.583 în 27 ianuarie 2018.

Eu am  crezut că această monedă va fi o revoluție căci va însemna altceva în zona fluxurilor monetare, dar s-a dovedit o răscoală palidă din moment ce tot la etalonul aur este raportată, nefiind ea însăși un etalon-informație, adică să lucreze după o cu totul altă filosofie din moment ce există:

- big data,

- transputere, 

- VLDB,

- inteligență artificială.

- data science,

- algoritmi genetici,

- aplicații mobile.

Lumea folosește acum etalonul aur pentru că acest metal are o serie de caracteristici de care omenirea nu este în stare să se descotorosească, deși acum în seculul al XXI-lea lucrurile stau cu totul altfel. Etalonul aur este dominat de următoarele caractersitici:

- aurul există în cantități limitate,

- aurul este strălucitor și ne ia fața,

- aurul se găsește în cantități mici,

- aurul are un proces de obținere dificil,

- aurul are o durată de întrebionțare infinită,

- aurul nu se uzează fizic și nici moral,

- aurul are multiple utilizări industriale,

- aurul este fundamental în bijuterii,

- aurul are valoare în sine,

- aurul stârnește instinctiv atracție,

- aurul este puternic  și strălucitor,

- aurul a stat la baza bogăției,

- aurul stă la baza tuturor monedelor,

- aurul este fundamentul tezaurizării.

Acum când informația este totul, ar cam trebui să se producă o serie de mutații și oamenii să-și schimbe obiceiurile și mai ales năravurile, dintre care cele legate de aur ca simbol al bogăției, ar trebui să treacă undeva pe planul al III-lea sau pe planul al V-lea. Informația are acum un rol esențial în dezvoltarea societății și dacă pe durata crizei din primul deceniu al mileniului al III-lea s-a văzut că informația este esențială, se impune ca aceasta să-și găsească adevărata poziție în societate și nu numai de a fi o marfă simplă, oarecare, ci să devină etalon prin virtuțile pe care le are.

(05 martie 2018)

Big data și ce trebuie știut în prealabil

Viteza cu care se merge înainte mă face să cred că fundamentele sunt lăsate altora, deși marile progrese de la ele încep. Pentru rezultate dintre cele mai spectaculoase, înainte de a pune carul înaintea boilor, adică înainte de a vorbi despre big data, se impune a vorbi despre fundamentele probabilităților și statisticii, privite cu ochii practicianului. Înseamnă că înainte de orice să ne aplicăm asupra lecturii cărții  Introduction to Probability and Statistics for Engineers and Scientists, a lui Sheldon M. ROSS, acum la a patra ediție. Eu am în mână ediția a III-a și despre ea voi scrie, pentru că nu vreau să mă dau rotund că aș fi eu de cea mai mare actualitate, vorbind despre o carte pe care nu am citit-o și doar din auzite, așa cum se face folosind frânturi de pe Internet.

Cartea are următoarele coordonate:

Sheldon M. ROSS - Introduction to Probability and Statistics for Engineers and Scientists,Third Edition, Elsevier Academic Press, Amsterdam, 2004, 624pp, ISBN 0-12-598037-4 (Text), ISBN 0-12-598059-0 (CD-ROM)

Cartea are următoarele capitole:Capitolul 1: Introducere în statistică

Capitolul 2: Statistică descriptivă

Capitolul 3: Elemente de probabilități

Capitolul 4: Valriabile aleatoare

Capitolul 5: Variabile aleatoare speciale

Capitolul 6: Distribuții și eșantioane

Capitolul 7: Estimarea parametrilor

Capitolul 8: Verificarea ipotezelor

Apreciez la această carte modul foarte clar și simplu cu care sunt tratate probleme complicate. Prin exemplele folosite, autorul reușește să fie convingător prin aceea că utilizarea metodelor cantitative are rolul de a crea o imagine cu mult mai clară asupra unor aspecte foarte complicate din viața reală. El ia date din diferite domenii pe care le explică și arată cum se organizează și ce calcule se fac cu acele date, folosind tot felul de indicatori statistici. Autorul arată încărcătura acestor indicatori, dând înțelesul exact al lucrurilor, fără a fetișiza niciun rezultat, așa cum fac mulți dintre statisticieni care turuie tot felul de formulte, fără a le explica semnificația și fără a-l ghida pe viitorul utilizator în direcția corectă de a trage concluzii, care nu trebuie să fie nici mecaniciste, nici primitive, nici înguste, ci care să sprijine luarea unor decizii, pur și simplu, folosind flerul decidentuliui și nicidecum sprijinul pe cifre seci și fără viață.

Cartea conține nenumărate definiții și formule foarte clar și complet prezentate, lucru posibil numai și numai prin faptul că autorul le-a mînțeles foarte bine înainte de a le include în carte. Este de lăudat că Sheldon M. ROSS niciodată nu folosește un concept înainte de a fi definit și niciodată nu face trimiteri de colo până colo îmbârligându-l pe cititor inutil, așa cum se face pe Dâmbovița uneori, adică, nepermis de des. Fiecare capitol are și probleme de rezolvat, care folosesc multe dintre soluțiile de la exemplele date anterior. Ceea ce-mi place este mai ales legat de faptul că el nu pictează formule, ci are niște elemente de start, după care face tot felul de calcule intermediare și ajunge la forme finale, demne de a fi incluse în biblioteci software ca proceduri de calcul eficient pentru acei indicatori descriși cu măiestrie. Peste tot sunt date exemple numerice și interpretări ale rezultatelor. Nenumăratele aspecte sunt foarte convingătoare și inginerii, dar și cercetătorii cărora li se adresează cartea nu trebuie să-și părăsească domeniile lor, cu pur și simplu, așa cum învață cuvinte dintr-un vocabular și utilizarea lor. tot așa vor înbăța indicatori și locul cel mai nimerit de folosire în a rezolva probleme inginerești dar și de cercetare științifică, unde volumele de date experimentale apar cu prisosință.

Îmi amintesc că o carte tot așa, directă scrisă pentru specialiștii din industrie, am văzut publicată la noi în 1982 la editura Științificăși Enciclopedică.

(10 iunie 2017)

BIG DATA la nivel ceva mai complicat

BIG DATA înseamnă baze de date cu sute de milioane de înregistrîri sau chiar cu zeci de miliarde de înregistrări. Asemenea volume se obțin din achiziții de date. caracteristicile persoanelor se obțin prin scanare în 3D și prin cântărire dar și prin colectare deprobbe foarte simple dar din care se obțin informații dintre cele mai importante. Ne vom imagina un tabel cu milioane sau miliarde de linii și cu nenumărate coloane, atâtea caracteristici câte se achiziționează. În acele baze de date se stochează imagini din stații de metrou, imagini din trafic, evoluîia vremii, rezultatele analizei calității produselor și orice informații care se achiziționează despre orice ne interesează. Vânzările din marketuri, tranzacțiile din bănci, adică tot ce inseamnă informație, căci acum memoriile sunt atât de ieftine încât a stoca oric nu mai este o dificultate. Și nenumăratele modalități de a achiziționa date, cu senzori, cu microfoane, cu scannare și cu taste, ceea ce conduce la ideia că oricine va fi posesorul unor colecții de date care fără nicio dificultate să intre în categpria de BG DATA ca prelucrări.
Pentru a vedea legăturile dintre două variabile, fără BIG DATA se calculează coeficientul de corelație.
Cu BIG DATA se procedează astfel:

• se iau cele două variabile X și Y;
• se ordonează elementele colectivității duă una dintre variabile;
• se extrag toate elementele care au aceeași valoare Yk;
• se calculează media și dispersia  Xmed, Dx;
• se procedează așa pentru restul;
• se aplică testul de egalitate a dispersiilor;
• dacă se demonstrează că dispersiile sunt statistic egale o fi vreo legătură;
• dacă dispersiile nu sunt statistic egal nu prea este vreo legătură,

Chestia cu cercetătorii britanici care evidențiază cele mai trăznite ipoteze folosește BIG DATA. dacă se dorește să se verifice ipoteza că bărbații cu ochi albaștri se casătoresc la vârste fragede  se procedează astfel:

• din baza de date cu vreo 300 milioane de articole ce conțin pe lângă tot felul de date despre bărbații planetei se extrag X = vârsta la momentul căsătoriei și Y = culoarea ochilor;
• se sortează cele două serii după culoarea ochilor;
• se extrag submulțimi după culoarea ochilor;
• se calculează medii și dispersii pentru X la toate submulțimile extrase;
• se analizează reprezentativitatea mediilor prin teste statistice;
• se testează dispersiile pentru a vedea dacă submulțimile sunt omogene;
• dacă sunt omogene se trece la pasul următor, dacă nu se conchide că o astfel de ipoteză nu-și are rostul;
• dacă dispersia pentru Y = albaștri este foarte mică si dacă media  variabilei X este cea mai mică, înseamnă că submulțimea bărbaților cu ochi albaști verifică ipoteza presupusă.

Având milioane de articole, se încearcă tot felul de ipoteze până se găsește una care se verifică perfect statistic. Acele rafinări generate prin introducerea de tot felul de filtre miroase cu crearea mediului ideal din mecanica lui Newton în care frecarea este nulă, materialele sunt perfect omogene și tot așa.  BIG DAT se utilizează și pentru a verifica cele mai trăznite ipoteze, dar trebuie măsurători pentru milioane de elemente sau evenimente. Achizițiile de date sunt esențiale aici că nu stă nimeni să introducă de la tastatură informații despre tot felul de ciudățenii.

(18 mai 2016)

O banala prelucrare în BIG DATA

Cineva zicea că se îneacă în date. Nu este adevărat dacă datele sunt stocate într-o bază de date cu vreo câteva zeci de miliarde de înregistrări efectuate prin achiziții de date. Adică nu sunt afectate de erori de măsurători, erori de transcriere, erori de localizare sau orice fel de erori cu intenție sau fără de intenție așa cum ne zice nouă la biserică tata popa.

Să presupunem că ne interesează să vedem cum stau lucrurile cu tranzacțiile bancare la bancomatele unei bănci.

În baza de date se află câteva sute de milioane de înregistrări ale celor care au conturi în lei și care fac diferite operatii. Câmpurile achiziționate automat sunt:

• momentul în care s-a făcut tranzacția;
• elemente de identificare ale bancomatului;
• elemente de identificare ale posesorului de card;
• valoare sold;
• destinatar;
• suma tranzacționată;
• codul operației;
• corecții de tastare pin;
• corecții la tastare  sumă;
• moment ieșire din sesiune.

Analiza de constatare nu pornește de la un obiectiv stabilit, ci ia realitatea așa cum este ea pentru a fi interpretată.

• Despre sumele tranzacționate se aleg elementul minim, elementul maxim, se construiesc subintervale, se traversează baza de date și se construiesc frecvențele de aparișie a tranzacțiilor pe intervale. Se construiește o histogramă, se mai fac și alet prelucrări statistice și se vede care sunt sumele care se tranzacționează cel mai mult. 
• Despre momentele in care se fac tranzacțiile, se iau cele 24 de ore ale zilei și se numără tranzacțiile care au loc în fiecare dintre cele 24 de ore. Se va vedea că în cursul zilei sunt tranzacții mai numeroase decât în cursul nopții. Se va vedea că la anumite ore tranzacțiile sunt la un nivel foarte scăzut, drept care atunci se dezctivează bazele de date de bancomate și se fact tot felul de operații de întreținere, nu așa cum discreționar făceau niște bănci mioritice care decuplau bancomatele în cursul zilei, disprețuindu-și în nesimțirea lor toți clienții.
• Pentru a vedea duratele tranzacțiilor, adică timpul petrecut de cetățean pentru a face o operație se face diferența dintre momentul de intrare în sesiune și momentul încheierii unei operații. Se aleg durata minimaî și durata maximă, se construiesc intervale și se construiesc frecvențele duratelor prin numărarea elementelor ce aparțin fiecărui interval generat. se va constata că un anumit interval are frecvențele mari dar există și intervale cu frecvențe mici.
• Lucrurile devin mai interesante dacă încep să se facă și corelații între seriile de date achiziționate. Adică să se vadă corelația dintre valoarea tranzacției și nivelul solcului. va rezulta că sunt clienți care scot toți banii la un interval foarte mic față de momentul alimentării. Sunt situații din care rezultă ciclicitatea alimentării și dinamica soldului. BIG DATA permite băncii să stabilească soldul optim de numerar care trebuie să se afle în bancomate. Tot BIG DATA arată cum stau trebuirle cu rupturile de stoc, adică bancomatele se închid din lipsă de numerar. este o tratare elevată transferată de la optimizarea stocurilor de materiale din cercetările operaționale.

Doamne, câte concluzii divine se obțin de cei din bânci dacă au software de BIG DATA pe care să-l folosescă rațional. Sunt sigur că folosind un astfel de software multe tranzacții frauduloase s-ar depista cu mult mai mare ușurință și însăși banca ar fi în mare câștig. Chiar și pentru clonările de carduri BIG DATA are zic eu soluție 100% eficientă.
BIG DATA nu este un vis, ci o realitate. Ea este vis dacă rămâne doar la stadiul de poezie recitată frumos, fără a se trece la practica de zi cu zi a prelucrării milioanelor de date cear se achiziționează, de cele mai multe ori degeaba.

(16 mai 2016)

PANAMA PAPERS = big data applications

Inevitabilul s-a produs. Băncile, societățile de investiții au exagerat cu centralizarea de informații. Sistemele de gestiune a bazelor de date -SGBD moderne sunt caracterizate prin:

- lucru cu mai multe chei de regăsire;

- lungimi de chei care nu se limitează la 256butes;

- componente de regăsire de informații folosind expresii  cu mai multe chei;

- elaborare de arhitecturi pe platforme flexibile cu autoorganizare;

- implementări de algoritmi de concatenare la nivel virtual;

- conectarea de baze de date complexe la resursele oferite de cloud computing.

Deja tehnologia a luat-o cu mult înaintea celor care utilizează aplicații cu baze de date de foarte mari dimensiuni, iar vrând-nevrând breșele involuntare existente produc din întâmplare necazuri insurmontabile. Am cunoscut sisteme informatice bancare din discuțiile cu unii de acolo din interior și întrebările pe care le-am pus arătau că există preocupări, dar efectiv luarea de măsuri este o chestiune de timp și mai ales de a investi în componente software care să permită menținerea lucrurilor cât de cât sub control.

Așa cum s-a discutat de contradicțiile din economie, există nenumărate contradicții și în informatică. Una dintre contradicțiile fundamentale ale informaticii este aceea dintre multiplele facilități oferite de produsele software de bază și puținele facilități activate de cei puși să utilizeze dar mai ales să asigure recuperarea investiției.

Ca fapt divers, cine lucrează cu un procesor de texte, sa numere cele N opțiuni avute la dispoziție în barele de menu de la primul vive, să numere și cele K opțiuni pe care le folosesc într-o lună cel puțin o dată și să calculeze raportul R = K / N și va vedea că se află într- situație stânjenitoare.

O altă contradicție a informaticii este necesitatea de a controla nivelul redundanței din sisteme pentru a gestiona birocrația și disponibilul aproape infinit al resurselor de stocare, în condiții de timp absolut rezonabile de generare a informației. Tot ca fapt divers, se observă plăcerea secretă a funcționarilor de a scana acte de identitate cu orice prilej, ceea ce duce la stocarea de fișiere imagine care de cele mai multe ori au punere în corespondență cu operațiunea realizată într-o bază de date multimedia.

Fluxurile din cadrul băncilor sunt caracterizate prin:

- volum, ca număr de tranzacții;

- volum ca număr de documente;

- circulație între locul unde se produce tranzacția și locul gazdă al contului;

- achiziții automate de date disproporționat de mare;

- caracterul constant structural al datelor ce definesc tranzacția.

Este cunoscut faptul că înainte, cu mulți ani în urmă:

- cineva deschidea un cont la o filială a băncii;

- la acea filială depunea banii;

- de la acea filială retrăgea banii;

- dacă existau instrumente stabilite, operațiunile se efectuau oriunde  de la filialele băncii;

- cu timpul au scăzut restricțiile privind limitările de sume retrase mai ales.

Apariția cardurilor,a automatelor, a e-banking și a băncilor virtuale a schimbat integral modul de lucru al băncilor. Sunt necesare foarte multe informații de indentificare legate de cont, posesor, locul unde se face tranzacția, momentul în care are loc. Toate acestea reprezintă informații achiziționate automat pentru că sunt în card,  în coduri bară sau în baza de date a băncii. Ceea ce este element variabil este numai suma cu care se face tranzactia. 

Documentele care se generează la ora actuală au un nivel de complexitate foarte ridicat, incluzând chiar poze de la automatul de unde se face retragerea sau amprente digitale sau vocale. Ceea ce este cucerire a tehnologiei în zona achizițiilor de date, este preluat rapid de sistemele financiare bancare. Documentele sunt criptate, dar ele sunt de regulă în niște formate pentru care decriptarea nu este marea problemă pentru că:

- formează o masă omogenă ca structură de document financiar bancar;

- forma de transmitere este unică în ceea ce privește reprezentarea (text, pdf, imagine);

- algoritmul de criptare este unic pentru un sistem bancar;

- algoritmul de decriptare este de asemenea, unic, logic și firesc.

Goana de a avea până și respirațiile funcționarilor în bazele de date determină creșterea complexității sistemelor informatice dar în același timp realizarea acelei fluidizări a traficului astfel încât orice tranzacție de oriunde să se efectueze în timp real.

Despre securitatea tranzacțiilor, trebuie spus că SGBD-urile au ele însele asemenea sisteme, dar băncile scot destul de mulți bani să plătească ținerea sub control a cât mai multe clase de vulnerabilități.

Acum,că tot există baze de date  de îngrozitor de mari dimensiuni, unde numărul de articole depășesc în mod curent câteva zeci de miliarde de înregistrări, întrebarea firească este ce se face cu atâta informație din punctul de vedere al celor deștepți care doresc să o prelucreze statistic.

Lucrul cu volume foarte mari de date presupune:

- un centru unic de comanda;

- acces descentralizat pentru unele operații;

- sistem de definire a rolurilor flexibil și dinamic;

-diferențe între baza de date fizică și baza de date logică;

- definirea de operații diferențiate pe niveluri.

De aceea apar situații prin care bazele de date nu sunt prelucrate complet sau din care se produc transferuri deschise, de cele mai multe ori controlate. În zona SGBD-urilor accidentele nu sunt deloc accidentale, nici ca fluxuri, nici ca tranzacții, nici ca nivel de securitate, nici ca rezultate ale prelucrărilor.

Se știe că acum mulți ani în urmă un tinerel juca aiurea la o bancă franțuzească sume mici dar cu frecvențe uriașe. La o analiză de date (data analysis) doar cu contorizarea frecvențelor de la computere se vedea ca zilnic de la un acelasi computer cineva face 1000 de tranzactii de 100 de euro. dacp acel computer era chiar dintr-un sediu al băncii, deja era indiciul că acolo pute sulfuros cumva.

În legătură cu milioanele de documente, mai precis cele 11,5 milioane, care au zburat de de undeva (emitent știut) către undeva (destinatari știuți) lucrurile trebuie văzute nuanțat. Este exact ca în situați în care unui flămând i se dă o oală cu sarmale. precis se va îneca cu o sarma. Și aici e la fel. Cele 11,5 milioane de documente trebuie supuse unei analize mai întâi cantitative și mai apoi calitatice. Trebuie văzut:

- dacă reprezintă fluxuri complete;

- frecvențele de efectuare a tranzacțiilor menținând elemente fixe;

- nivelul sumelor;

- identificări de persoane.

Dacă lucrurile rămân la primul nivel, deja prea mare lucru nu s-a obținut. Trebuie făcute mult mai multe operații de prelucrare unde facilitățile software  de la BIG DATA sunt esențiale. Pentru a merge și mai departe terbuie activat aparatul matematic specific noului domeniu DATA SCIENCE. Numaă că în ambele cazuri este nevoie de:

- bani pentru achiziție de software;

- plata unor superspecialiști pentru cele 11,5 milioane de documente;

- evaluare efectelor;

- a ști dacă se merită și nu e un foc de paie.

In opinia mea, nu este un lucru accidental acest transfer atât de consistent de documente și tocmai dintr-un paradis fiscal. Ca să se producă o astfel de operațiune trebuie analizata:

- secvențialitatea, dacp privesc totul despre o perioadă precis delimitată;

- selectivitatea, dacă vizază operarea cu citerii de extragere se submulțimi;

- direcționalitatea generată de obiectivele destinatarului și capacitatea acestuia de a reacționa.
Toată tărășenia nu trebuie tratată ca o chestiune de lipsă de securitate în sistemele informatice bancare. Este un act voit, care are un scop recis, nedeclarat celor mulți din presă. Nu este nici un cartof fierbinte. Este un caz tipic de transfer al unei baze de date către destinatari cunoscuți într-un scop precis. Acum urmează prelucrările cam lente, zic eu, iar rezultatele sunt într-o așteptare cam prelungită

Până în momentul de față au fost descoperite nume de persoane, ceea ce nu mi se pare câtuți de puțin spectaculos. Dacă se vor face prelucrări specifice BIG DATA și deja trebuiau să fie făcute că pentru cele 11,5 milioane de documente acele prelucrări durează la nivel de  sub 10 ore indiferent de nivelul de complexitate în condiții de  cloud computing, altfel se discuta. Ele reprezentau o armă jurnalistică. Mulți au tratat-o ca pe o bombă jurnalistică, asemeni unui viol sau o bătaie între bețivi. Nu este așa. Trebuiau să se clatine niște poziții, trebuiau să apară demișii. N-a fost să fie. Numai premierul Islandei a avut o anume reacție, ca pentru o insuliță. Purcoiul de documente care a ajuns la presă este ca și neatins, iar afacerea PANAMA PAPERS, ca orice balon de săpun va face fâs în căteva zile, pentru că alte și alte informații îi vor lua locul. În rest, liniște și pace. Încă o dată se vede că un diamant brut de mii de caracte e dat unora care vor să-l șlefuiască cu dalta și-l fac țăndări. Cine n-a auzit de BIG DATA să se apuce de altceva când primește 11,5 milioane de documente de la o socieatte financiară, ca de exemplu, să vină la intersecția de la Perla și să spele parbrize la mașini pe mai nimic.

(06 aprilie 2016)