Arhitectura software pentru data mining

Georges Edouard Kouamou,

National Advanced School of Engineering, Cameroon

1. Introducere

Data Mining cunoscut și sub denumirea Knowledge Discovery (,,descoperirea cunoașterii’’) constă în analiza unor cantități mari de date pentru a extrage informații ascunse și predictive. Aceasta este o disciplină care se află la granița dintre inteligența artificială, baze de date, statistică și învățarea automată (machine learning). Întrebările referitoare la ,,descoperirea cunoașterii” prezintă diferite aspecte iar principalele se referă la: clasificarea, gruparea și regulile de asociere. Diverse modele de algoritmi sunt utilizate pentru fiecare aspect: rețele neuronale, structuri lattice, statistici, arbori decizionali, algoritmi genetici (Mephu, 2001).

Tehnic, data mining este procesul prin care se analizeză datele de diferite dimensiunii sau unghiuri, centralizând relațiile identificate. De exemplu, analizând datele de la un punct de vânzare putem obține informații despre ce produse se vând și când. Rezumatul unor astfel de date pe magazin pot fi analizate penru a cunoaște comportamentul consumatorului în cazul unori campani promoționale. Bazându-se pe cunoștințele obținute, un furnizor sau un magazin (vânzator cu amănuntul) poate determina ce produse sunt cele mai potrivite pentru eforturi promoționale. Deși s-au dezvoltat mai multe instrumente în acest scop, putem observa lipsa unor medii software care sunt capabile să vină în sprijinul activității utilizatorilor într-o formă clară pe parcursul procesului de data mining.

Mediul software poate fi privit ca un set de componente care sunt capabile să lucreze prin cooperare. Fiecare componentă oferă servici către alte componente și pot solicita alte servicii de la acestea. Rolul mediului îl constituie coordonarea execuției componentelor pe care le încorporează, cu scopul de a termina sarcinile care îi sunt adresate acestuia. Scopul impus este oferirea de suport pentru procesele din cadrul software-ului adică planificarea diferitelor etape ce descriu obiectivul de atins. În ingineria software acest obiectiv este asociat cu capacitatea de dezvoltare și de evoluție software. În acest caz vorbim despre Software Environment Engineering (SEE) cunoscut ca și instrument CASE. Atunci când mediu software aplicativ este conceput, este specific să includem și data mining, deci aceasta constă într-un set de instrumente construite pentru analiza și oferirea informațiilor potrivite să îmbunătățească soluția persoanelor decidente.

În general mediu software trebuie să se dezvolte și să ia în considerare schimbările și noile cerințe. De exemplu, adăugarea unor instrumente care implică noi funcționalități, înlăturarea sau înlocuirea cu un alt instrument în sistem devine esențială. Aceste modificări nu ar trebui să implice restructurarea consecventă a întregului sistem. De aceea este interesant să reflectăm structura mediului cu scopul de a determina posibilitățile de modularitate și adaptare la contextul acestuia. Modul de evoluție al mediului software este diferit de la viziunea monolitică (unitară) care constă în legătura statica a tuturor elementelor în timpul compilării. Mai multe mecanisme sunt disponibile pentru a implementa acest mod de abordare de construire a mediilor extensibile împreună cu reutilizarea software-ului, în special Design Patterns, arhitecturi software și componente bazate pe dezvoltare.

În acest capitol, suntem interesați de mediul data mining. Scopul acestui studiu este de a descrie o arhitectură software deschisă, care este capabilă de instanțierea prin adăugarea unor componente care implementează diferiți algoritmi, cu scopul de a dezvolta medii pentru ,,descoperirea cunoașterii”. Această arhitectură trebuie să îndeplinească mai multe condiții:

- să ia în considerare varietatea modelelor algoritmice;

- să asigure mecanisme de interoperabilitate între modele;

- să fie integrate cu sistemul informațional existent, deoarece acesta constituie principala sursă de date.

Având în vedere interesul manifestat de mediul afacerilor și de cercetători pentru achiziționarea și/sau dezvoltarea unor astfel de mediii, este necesar să se găsească mijloacele de reducere a eforturilor necesare pentru astfel de cazuri, în special în contextul în care puternice resurse umane lipsesc. Pe parcursul acestui capitol, vom analiza proiectarea unei astfel de arhitecturii generale detaliind posibile soluții care rezolvă condițiile asociate.

2. Problemă

Activitățile din domeniul data mining erau realizate în trecut de către cercetători. Odata cu maturizarea algoritmilor și relevanța problemei care se adresează, producția devine interesată din acest moment de acestă disciplină. În această capitol, vom analiza ce este realizat de alți cercetători și ce de producători.

2.1 Contextul

În domeniul de cercetare, interesul se îndreaptă către dezvoltarea algoritmilor si îmbunătățirea complexității. Instrumentele care rezultă din implementarea acestor algoritmi sunt folosiți separat pe seturi de date indicate și formate destul de simplu, deoarece cercetători rămân în situația de testare a cazurilor academice.

Există eforturi care să reunească aceste instrumente diferite într-un mediu comun. În această privință, experiența de la Universitatea din WAIKATO a creat un mediu omogen, WEKA în termeni limbajului de programare (Witten and Frank, 2005). Cu toate acestea algoritmi trebuie scriși în limbaj de progrmare java pentru a fi integrat pe această platformă. De asemenea mecanismul de interoperabilitate și de schimb al modelelor între instrumente nu este prevăzut.