Il corso si propone di presentare i principali risultati della teoria dell'informazione con approccio rigoroso e nella prospettiva dei sistemi di trasmissione, di elaborazione e di memorizzazione di segnali.

Martedi 10:30-12:30; Martedi 8:30-10:30; Giovedi 10:30-12:30. Aula B4 sede scientifica.

Mercoledi 10:30-11:30 Ufficio (Sede scientifica, Palazzina 2, piano 2, stanza 2/19T).

Programma

LEZIONE 1:
Prima ora: Organizzazione del Corso, Obiettivi, Testi, modalità esami. Descrizione panoramica del corso, motivazioni, applicazioni. Seconda ora: [libro TSA Bononi par. 8.4] richiami di teoria della probabilità, regola di Bayes discreta e continua, teorema prob totale discreta/continua, doppio condizionamento. Esercizio su verifica delle ipotesi [par. 8.5 libro TSA, fino a pag 254].

LEZIONE 2:
Prima ora: completato esercizio su verifica ipotesi. Seconda ora: teoria del Test di Bayes (a minimo rischio).

LEZIONE 3:
Prima ora: esercizio sul test di Bayes (distrib. laplaciane) Seconda ora: teoria del test MiniMax.

LEZIONE 4:
Prima ora: esercizio su minimax. Seconda ora: test di Neyman Pearson con esempio.

LEZIONE 5:
Prima ora: proprietà analitiche della ROC. Test per VA discrete: la randomizzazione. Seconda ora: Esercizio di ripasso dei test di Bayes, Minimax, Neyman-Pearson.

LEZIONE 6:
Prima ora: Multiple hypothesis testing, impostazine Bayesiana. Test MAP e ML. Zone di decisione e confini tra zone: Esempi in R^1 e R^2. Seconda ora: Esempio: 3 ipotesi di segnale -A,0,A equiprobabili in rumore AWGN con n campioni: regola di Bayes (ML) basata sulla statistica sufficiente "media campione".

LEZIONE 7:
Prima ora: Finito esempio a 3 ipotesi con calcolo della probabilità di errore. Cenni al minimax in ipotesi multiple. Statistche sufficienti: introduzione. Seconda ora: Teorema di fattorizzazione (senza dim.), teorema dell'irrilevanza, con esempio dettagliato. Teorema della reversibilita'. Inizio riassunto di risultati noti sui vettori Gaussiani: PDF congiunta, introduzione alle MGF/CF.

LEZIONE 8:
Prima ora: Riassunto risultati noti sui vettori Gaussiani: MGF Gaussiana, statistiche del 4 ordine dal teorema dei momenti, dim della Gaussianità di trasf. lineari basata sulla MGF. Esempi di vettori Gaussiani: Canale con evanescenza. Seconda ora: A: Test MAP con segnali Gaussiani. B: Canale con rumore additivo Gaussiano. Le Zone di Decisione sono iperpiani.

LEZIONE 9:
Prima ora: Esempi di zone di decisione. Decisione ottima su segnali tempo-continuo: motivazione per rappresentazione discreta dei segnali. Seconda ora: Rappresentazione discreta: definizioni. prodotto scalare, norma, distanza, indipendenza lineare. Basi ortonormali e coordinate rispetto ad esse.

LEZIONE 10:
Procedimento di Gram-Schmidt. Esempio dettagliato. Operazioni sui segnali e duali operazioni sulle immagini.

LEZIONE 11:
Cambi di base e matrice unitaria del cambio. Matrici ortogonali: rotazioni e riflessioni. Principio di ortogonalità. Teorema della proiezione. Interpretazione del procedimenti Gram-Schmidt come proiezioni successive. Basi ON complete: motivazioni e definizione.

LEZIONE 12:
Prima ora: Esercizi: 1. prodotto di matrici unitarie è unitario. 2. matrice unitaria preserva la norma di vettori. Matrici di proiezione, autovettori, autovalori, decomposizione spettrale. Proprietà. Seconda ora: Esempi di basi complete: lo spazio delle funzioni limitate in banda, calcolo coefficienti della serie, teorema del campionamento, verifica ON della base. Altre basi complete: Legendre, Hermite, Laguerre.

LEZIONE 13:
Rappresentazione discreta di processo stocastico n(t). Media e covarianza dei coeff. del processo. Prorietà delle matrici di covarianza per vettori aleatori: Hermitianità e proprietà relative. Sbiancamento del vettore. Paralello con lo sbiancamento del processo n(t) tramite base ON opportuna: Teorema di Karhunen-Loeve (KL). Enunciato del Teorema di Mercer. Basi di KL.

LEZIONE 14:
Riassunto matrici utili: Normali e sottoclassi: unitarie, Hermitiane, skew-hermitian. Se n(t) bianco, ogni base ON è KL. Modulazione numerica. Esempio: QPSK. Demodulazione numerica a correlatori e a filtri adattati.

LEZIONE 15:
Prima ora: Proprietà del filtro adattato: max SNR, ragione fisica del picco a T. Seconda ora: Ritorno al problema di test ipotesi M-rie con segnali tempo-continui: struttura del ricevitore. Con rumore bianco, irrilevanza delle componenti fuori base segnali. Struttura RX ottimo MAP in AWGN. Basis detector. Signal detector.

LEZIONE 16:
Esempi di RX MAP e prestazioni Prima ora: RX per segnali QPSK e calcolo Pe. Seconda ora: RX per segnali binari qualunque, basis detector, reduced complexity signal detector. Calcolo Pe.

LEZIONE 17:
Prima ora: Tecniche di calcolo Pe: invarianza rotazionale in AWGN e traslazioni. Baricentro per minima energia. Seconda ora: Calcolo Pe per segnalazione binaria. Confronti tra segnali antipodali e ortogonali. Inizio calcolo Pe in una 16-QAM.

LEZIONE 18:
Prima ora: Fine calcolo Pe in 16-QAM. Seconda ora: Calcolo Pe in segnalazione m-aria ortogonale. Fino a impostazione calcolo Bit error rate.

LEZIONE 19:
Calcolo BER in segnalazione M-aria ortogonale. Esempio: M-FSK. Banda occupata. Limite per M-> infinito e connessione con la capacità di canale di Shannon. Note sul Simplex. Calcolo BER per QPSK: mapping naturale vs. mapping Gray.

LEZIONE 20:
Ulteriori note sul mapping Gray. Calcolo approssimato BER: union upper bound, minimum distance bound, nearest-neighbor bound. Lower bound. Esempio: M-PSK. Ripasso conversioni cartesiane polari, Per X,Y normali zero-mean, R,Q sono indipendenti Rayleigh e Uniforme.

LEZIONE 21:
Per X,Y normali non-zero-mean, R,Q sono Rice e Bennet. Proprietà di tali PDF. Uso della Bennet per il calcolo esatto della prob. di errore nel M-PSK. Test delle ipotesi composite: introduzione . Segnali parzialmente noti in AWGN.

LEZIONE 22:
Segnali parzialmente noti in AWGN. Strategia MAP. Applicazione ai segnali passabanda incoerenti. Strutture del ricevitore ottimo. Ricevitore OOK e inizio calcolo prestazioni.

LEZIONE 23:
Reinterpretazione del ricevitore ottimo incoerente per segnali passabanda usando gli inviluppi complessi. Fine del calcolo delle prestazioni del ricevitore incoerente OOK e analisi comparativa della BER con altri formati binari coerenti.

LEZIONE 24:
Ricezione con rumore Gaussiano colorato. Impostazione Karhunen-Loeve. Cenni al filtro sbiancante analogico. Teorema della reversibilità e sbiancamento del segnale campionato. Esempio 1: Sbiancamento tramite trasformazione unitaria che allinea gli autovettori della matrice di correlazione alla base canonica. Interpretazione geometrica con gli ellissoidi equi-PDF. Esempio 2: Decomposizione Cholesky ed esempio di calcolo.

LEZIONE 25:
Esercizio su sbiancamento e calcolo Pe in rumore Gaussiano colorato. Segnali stocastici: caso di segnale Gaussiano. Ipotesi binarie. Radiometro e ricerca segnale lungo gli autovettori della matrice di covarianza di segnale.

LEZIONE 26:
I ora: Calcolo Pe nel radionetro. Problema Neyman Pearson e calcolo ROC. Es: segnalazione ASK su canale con fading. Calcolo Pe. II ora: Introduzione a teoria della stima. Stima classica in costo MSE. Bias, varianza e tradeoff. Esempio e motivazione per studio stimatori unbiased.

LEZIONE 27:
Stimatori asintoticamente unbiased e consistenti. MVUE. Cramer Rao Lower Bound: motivazione, enunciato, esempio: segnali in AWGN (campionati e tempo-continui). Stima dell'ampiezza.

LEZIONE 28:
Stima della fase. Dimostrazione del CRLB. Estensione CRLB a parametri vettoriali: enunciato ed esempi. Stima ML, introduzione. Quando esiste stimatore efficiente, esso è ML.

LEZIONE 29:
ML: proprietà asintotiche e di invarianza. Esempi: 1) dati Gaussiani con media e varianza da stimare. 2) modello Gaussiano lineare e confronto con soluzione least squares. 3) stima fase segnale passabanda (inizio)

LEZIONE 30:
ML: es) stima fase segnale passabanda (fine). Stime Bayesiane: 1) MMSE, stimatore ed errore. Principio di ortogonalità. Unbiasedness. Note sulla curva di regressione. Es: Gaussiano. Esercizio con dati e parametro esponenziali negativi.

LEZIONE 31:
Stime Bayesiane: stimatore MAP. Esempio. Criterio ML come caso particolare del MAP. Es: modello Gaussiano lineare (assegnato per casa, con soluzione). Estensione a vettore di parametri. Regressione Gaussiana multivariata. Stime bayesiane lineari MMSE. Coefficienti ottimi del filtro, principio di ortogonalità. Equazioni Yule-Walker. Stimatore ottimo LMMSE ed errore MSE minimo.

LEZIONE 32:
Ripasso Stimatore scalare ottimo LMMSE ed errore MSE minimo. Estensione a stimatore vettoriale. Filtro di Wiener: impostazione problema, obiettivi. A) Smoothing, filtro ottimo non causale, errore MMSE, caso canale additivo. Calcolo alternativo errore con filtro d'errore.

LEZIONE 33:
B) filtro di Wiener causale: impostazione del problema in 2 passi: sbiancamento e stima sulle innovazioni. Sbiancamento: 1) Ripasso Z-transform bilatera e ROCs. 2) Ripasso Z-transform della PSD di uscita da sistema lineare; 3) Teorema di Fattorizzazione spettrale: enunciato.

LEZIONE 34:
Cenni alla dim del teorema di fattorizzazione spettrale (SF). Calcolo filtro innovazioni L(z) per processi reali tramite SF. Classificazione processi regolari con L(z) razionale fratta. Processi AR, MA, ARMA. Esempio: AR(1).

LEZIONE 35:
Filtro di Wiener causale, formula in z. Esempio (n. 3 Verrazzani, p. 162) Predittore a r passi: forma del filtro in z. Formula dell'errore.

LEZIONE 36:
Predittore: esempio: predizione processi AR(p). Filtraggio e predizione a r passi: formula in z. Formula generale dell'errore per canali additivi. Esempio.

L'esame consiste in una prova scritta di due ore, seguita subito da una prova orale. Allo scritto è ammesso portare un foglio A4 di appunti personali.