Extras din curs
Metode bayesiene de invatare automata
Clasificatorul bayesian naiv (Naïve
Bayes). Retele bayesiene.
Fundamente teoretice
- Teoria rationamentului probabilist
definita de Thomas Bayes (regula lui
Bayes).
- Regula lui Bayes permite actualizarea
probabilitatii ipotezelor pe baza
faptelor (evidentei), dupa care sunt
alese ipotezele cele mai probabile.
Aplicabilitate
Metodele de invatare bayesiana
sunt utile pentru domeniile cu multe
caracteristici.
Exemplu
0 1 1 0 1
0 1 0 1 1
0 0 0 0 1
0 1 0 1 1
0 1 0 0 1
1 0 0 0 0
1 1 1 0 0
1 0 1 0 1
1 1 1 0 0
1 0 1 1 0
y f4 f3 f2 f1 Se calculeaza Rk(n,m),
ponderea instantelor din clasa
m pentru care caracteristica k
are valoarea n.
R1(1,1) = 1/5; R1(0,1) = 4/5
R1(1,0) = 5/5; R1(0,0) = 0/5
R2(1,1) = 1/5; R2(0,1) = 4/5
R2(1,0) = 2/5; R2(0,0) = 3/5
R3(1,1) = 4/5; R3(0,1) = 1/5
R3(1,0) = 1/5; R3(0,0) = 4/5
R4(1,1) = 2/5; R4(0,1) = 3/5
R4(1,0) = 4/5; R4(0,0) = 1/5
Avand un vector x de caracteristici (vector
de input), clasa in care se repartizeaza x
(valorea y care se asociaza lui x) se
determina cu ajutorul valorilor R.
- Presupunem: x=<0,0,1,1>.
- Scorul lui x, daca presupunem ca x
apartine clasei 1:
S(1) = R1(0,1)*R2(0,1)*R3(1,1)*R4(1,1)
S(1) = 0.205
- Scorul lui x, daca presupunem ca x
apartine clasei 0:
S(0) = R1(0,0)*R2(0,0)*R3(1,0)*R4(1,0)
S(0) = 0
S(1) > S(0) Ò x se clasifica in clasa 1 (y=1).
Algoritmul de clasificare – faza de instruire
Pe baza instantelor de instruire se calculeaza:
j y count
y x count
Algoritmul de clasificare – faza de predictie
Fiind dat un vector x, se calculeaza scorul:
= altfel R
x daca R
= altfel R
x daca R
Corectia Laplace
- Instantele de instruire reflecta doar
partial realitatea.
- Daca in cadrul instantelor nu exista
valori de caracteristici prezente la
anumite clase, R va primi valoare 0.
- Se recomanda evitarea valorilor 0/1
pentru R.
Modificarea formulelor de calcul pentru R
Preview document
Conținut arhivă zip
- Metode Bayesiene de Invatare Automata.pdf