Metode bayesiene de învățare automată

Metode bayesiene de invatare automata

Clasificatorul bayesian naiv (Naïve

Bayes). Retele bayesiene.

Fundamente teoretice

- Teoria rationamentului probabilist

definita de Thomas Bayes (regula lui

Bayes).

- Regula lui Bayes permite actualizarea

probabilitatii ipotezelor pe baza

faptelor (evidentei), dupa care sunt

alese ipotezele cele mai probabile.

Aplicabilitate

Metodele de invatare bayesiana

sunt utile pentru domeniile cu multe

caracteristici.

Exemplu

0 1 1 0 1

0 1 0 1 1

0 0 0 0 1

0 1 0 1 1

0 1 0 0 1

1 0 0 0 0

1 1 1 0 0

1 0 1 0 1

1 1 1 0 0

1 0 1 1 0

y f4 f3 f2 f1 Se calculeaza Rk(n,m),

ponderea instantelor din clasa

m pentru care caracteristica k

are valoarea n.

R1(1,1) = 1/5; R1(0,1) = 4/5

R1(1,0) = 5/5; R1(0,0) = 0/5

R2(1,1) = 1/5; R2(0,1) = 4/5

R2(1,0) = 2/5; R2(0,0) = 3/5

R3(1,1) = 4/5; R3(0,1) = 1/5

R3(1,0) = 1/5; R3(0,0) = 4/5

R4(1,1) = 2/5; R4(0,1) = 3/5

R4(1,0) = 4/5; R4(0,0) = 1/5

Avand un vector x de caracteristici (vector

de input), clasa in care se repartizeaza x

(valorea y care se asociaza lui x) se

determina cu ajutorul valorilor R.

- Presupunem: x=<0,0,1,1>.

- Scorul lui x, daca presupunem ca x

apartine clasei 1:

S(1) = R1(0,1)*R2(0,1)*R3(1,1)*R4(1,1)

S(1) = 0.205

- Scorul lui x, daca presupunem ca x

apartine clasei 0:

S(0) = R1(0,0)*R2(0,0)*R3(1,0)*R4(1,0)

S(0) = 0

S(1) > S(0) Ò x se clasifica in clasa 1 (y=1).

Algoritmul de clasificare – faza de instruire

Pe baza instantelor de instruire se calculeaza:

j y count

y x count

Algoritmul de clasificare – faza de predictie

Fiind dat un vector x, se calculeaza scorul:

=  altfel R

x daca R

=  altfel R

x daca R

Corectia Laplace

- Instantele de instruire reflecta doar

partial realitatea.

- Daca in cadrul instantelor nu exista

valori de caracteristici prezente la

anumite clase, R va primi valoare 0.

- Se recomanda evitarea valorilor 0/1

pentru R.

Modificarea formulelor de calcul pentru R