Modele de regresie liniară - procedura REG

Laborator 1. Modele de regresie liniară. Procedura

REG

- Regresia liniară simplă

- Regresia liniară multiplă

Metoda regresiei este folosită pentru a caracteriza forma şi sensul legăturii dintre

variabile.

Se consideră că între variabilele Y şi X1, X2, …Xn există o interdependenţă, în

sensul că Y este influenţat de X1, X2, …Xn. Metoda regresiei conduce la obţinerea unei

expresii analitice a unei funcţii de regresie care sintetizează forma şi sensul variaţiei lui Y

sub influenţa factorilor Xi (i=1..n). Variabila Y se numeşte variabilă dependentă (sau

target), iar variabilele X1, X2, …Xn se numesc variabile independente sau factori

predictori.

Dacă se consideră un singur factor, se obţine un model de regresie simplă sau

unifactorială, funcţia de regresie putând fi liniară sau curbilinie.

Dacă se consideră doi sau mai mulţi factori, se obţine un model de regresie

multiplă sau multifactorială.

Se recomandă selectarea factorilor în funcţie de importanţa influenţei lor.

Regresia liniară simplă

Dacă între variabilele X şi Y există o legătură de formă liniară, metoda regresiei

permite estimarea parametrilor funcţiei:

y  f x  ax  b   i i i ( ) (8.1)

unde i x şi i y sunt valori cunoscute ale variabilelor X şi Y, a şi b sunt parametrii ce vor fi

estimaţi, iar  este eroarea, calculată ca diferenţă între valoarea reală şi valoarea

aproximată a variabilei dependente. Estimarea parametrilor a şi b se face cu metoda celor

mai mici pătrate, pe baza următorului sistem:

Coeficientul a se numeşte coeficient de regresie şi exprimă sensul şi mărimea

influenţei lui X asupra lui Y. Dacă a este pozitiv, indică o dependenţă directă. Dacă a este

negativ, indică o dependenţă inversă. Mărimea parametrului a arată cu cât se modifică

variabila dependentă Y la creşterea cu o unitate a factorului predictiv X.

Regresia liniară multiplă

Regresia multiplă presupune luarea în considerare a influenţei concomitente a doi

sau mai mulţi factori predictori. Funcţia de regresie liniară multiplă are următoarea

formă:

n n Y  f (X)  a  a x  a x  ...  a x 0 1 1 2 2 (8.3)

Parametrii se obţin prin rezolvarea sistemului:

Calitatea unui model de regresie

Pentru caracterizarea funcţiei de regresie (calitatea funcţiei de regresie) se

folosesc următorii indicatori:

 Eroarea standard – abaterea medie pătratică a valorilor teoretice faţă de cele

reale:

 Coeficientul de variaţie (de eroare) – cuantifică intensitatea variaţiei în jurul

funcţiei de regresie:

 Coeficientul de determinare R2 – indicator care măsoară gradul de adecvare

al modelului la date. Se calculează ca raport între variabilitatea explicată prin

modelul de regresie folosit şi variabilitatea totală în jurul mediei. R2 ia valori

în intervalul (0, 1), o valoare apropiată de 1 indicând un model adecvat.