Extras din curs
1. INTRODUCERE
Teoria Informatiei raspunde la doua intrebari fundamentale in telecomunicatii :
- Cat de mult se poate transmite printr-un canal de comunicatie ? (In anii 40, comunitatea stiintifica credea ca marind cantitatea de informatie transmisa printr-un canal, creste si probabilitatea eronarii ei ; Shannon a surpris lumea stiintifica, aratand ca transmisia poate fi facuta corect, cu conditia ca rata de transmisie sa nu depaseasca capacitatea canalului ; capacitatea canalului se poate calcula din caracteristicile zgomotului existent in canal)
- Cat de mult pot fi compresate datele ? (Shannon a aratat ca datele reprezentand procese aleatoare ca muzica sau vorbirea, nu pot fi compresate sub o anumita limita pe care a numit-o entropie, un termen folosit deja in termodinamica ; apoi a aratat ca daca entropia este mai mica decat capacitatea canalului, atunci transmisia datelor se poate face fara erori)
Teoria Informatiei are contributii si in alte domenii (Fig. din Elements of Information Theory, Thomas M. Cover, Joy A. Thomas)
Theoria Informatiei a fost elaborata de Claude Shannon (1916-2001).
Biografie
1935 Licenta la Michigan University
1936 Asistent de cercetare la MIT (Mesechusetts Institute of Technolgy)
Master
1940 Doctorat in matematica cu teza « Mathematics in genetics »
15 ani la Bell Laboratories in compania unor personalitati din lumea stiintei : John Pierce (comunicatiile prin satelit), Harry Nyquist (Teoria semnalelor), Hendrik Bode (diagramele), inventatorii tranzistorului (Shokley, Bardee,Brattain).
1948 Shannon a elaborat Teoria informatiei, una dintre teoriile cu cel mai mare impact in secolul XX.
2. INTRODUCERE IN TEORIA PROBABILITATILOR
2.1. Experiment aleator, evenimente
Definitie : Un experiment aleator este un experiment cu mai multe rezultate posibile.
Definitie : Rezultatele unui experiment aleator se numesc evenimente.
Exemplu : aruncarea unui zar
Este un experiment cu 6 evenimente posibile.
Multimea evenimentelor posibile
Multimea evenimentelor se poate largi adaugand: - evenimentul sigur (orice fata)
- evenimentul imposibil (fata 7)
- evenimente compuse (fata para)
Rezultatul unui experiment aleator nu este cunoscut dinainte ; realizarea unui anumit eveniment este caracterizata de o probabilitate.
2.2. Probabilitatea unui eveniment
Definitia 1 (clasica, de cum cateva secole) : unde este numarul de cazuri favorabile evenimentului si numarul de cazuri posibile.
Definitia 2 (Von Mises, inceput de sec XX): unde este numarul de aparitii ale evenimentului si este numarul total de exeperimente.
Definitia 3 (Kolmogoroff, 1933) : Axiomele probabilitatilor
a) probabilitatea este un nr nenegativ
b) probabilitatea evenimentului sigur este 1
c) probabilitatea a doua evenimenete mutual exclusive, si , este egala cu suma probabilitatilor evenimentelor.
2.3. Variabila aleatore
Variabila aleatoare este o notiune folosita pentru a descrie evenimentele rezultate in urma unui experiment aleator.
Definitie: Variabila aleatoare (v.a.) este o functie care asociaza fiecarui eveniment o valoare numerica.
Notam cu v.a.
: ( asociaza fiecarui eveniment o valoare numerica)
Exemplu:
Zarul :
Observatie:
a) Oricarei submultimi a multimii valorilor lui ii corespunde un eveniment
b) se numesc realizari particulare a le v.a. .
2.4. Probabilitatile unei v.a.
Notam probabilitatea ca un eveniment sa se realizeze cu:
Exemplu:
Zarul : multimea valorilor lui este discreta
Temperatura ia valori intr-un interval.
Definitia 1 (tipul v.a.) : V.a. discreta ia valori intr-o multime discreta
V.a. continua ia valori intr-un interval
V.a. mixta
Definitie: Functia de repartitie a unei v.a. (sau distributia v.a.)
Definitie: Densitatea de probabilitate a v.a. (derivata functiei de repartitie
Exemplu:
Zarul: Functia de repartitie este o functie in scara scara
Densitatea de probabilitate este o serie de functii Dyrac
Densitate de probabilitate gaussiana (sau normala): unde este media v.a., iar este varianta v.a. ( se numeste dispersie).
Preview document
Conținut arhivă zip
- Cursuri Teoria Transmisiunii Informatiei
- 1 Introducere.doc
- 2 Notiuni de Teoria probabilitatilor.doc
- 3 Surse de informatie.doc
- 4 Entropia.doc
- 5 Canale discrete.doc
- 6 Surse si canale continue.doc
- 7 Codarea de sursa.doc
- 8 Codarea de canal.doc
- 9 Coduri corectoare.doc