Stimare modelli dai dati: stimatori, minimi quadrati, massima verosimiglianza, regressione logistica, bias e varianza, regolarizzazione e validazione, fino a segnali, sistemi a tempo discreto, processi stocastici e famiglie di modelli dinamici.
Cosa vuol dire costruire un modello matematico a partire dalle misure. Modelli white, gray e black box, sistemi statici e dinamici, e perché alla fine è sempre un problema di stima.
Uno stimatore è una variabile casuale, e si giudica dalla sua distribuzione, non da un singolo risultato. Correttezza, consistenza, varianza minima e il compromesso tra bias e varianza, con un esempio sulla varianza campionaria.
Il modello più semplice del machine learning: trovare la retta che passa "meglio" tra i punti, con i minimi quadrati e la discesa del gradiente.
Quando le variabili sono più di una, la retta diventa un piano e i conti si scrivono con le matrici. Come si ricavano le equazioni normali e cosa fare quando non funzionano.
La discesa del gradiente con più parametri, in forma vettoriale. E perché, senza normalizzare i dati, servono 300.000 iterazioni dove ne bastano 31.
Con altri dati la retta sarebbe un po' diversa, ma in media la stima è giusta. Quanto può sbagliare, come ridurre l'incertezza e come calcolare errore standard e intervallo di confidenza.
Dodici esercizi graduati su minimi quadrati, forma matriciale, discesa del gradiente e proprietà dello stimatore, con le soluzioni da aprire solo dopo averci provato.
Dato un modello probabilistico per i dati e se ne cercano i parametri che rendono più probabile ciò che si è osservato.
Nonostante il nome, serve a classificare. Perché la regressione lineare non va bene per le categorie, come la sigmoide trasforma una retta in una probabilità e da dove viene la funzione di costo.
Ciò che conta è l'errore su dati mai visti, non quello sui dati di addestramento. Come si scompone in bias e varianza, perché i modelli troppo complessi imparano il rumore e cosa dicono le learning curves.
Due strumenti complementari. La regolarizzazione penalizza i modelli troppo complessi, la validazione stima l'errore su dati nuovi. Ridge e Lasso, train/validation/test, cross-validazione e i criteri AIC e MDL.
Un segnale campionato è una sequenza di numeri. Come si misura quanto è "grande", come si scompone in sinusoidi con la trasformata di Fourier e cosa fa davvero la FFT, compreso il leakage spettrale.
Il ripasso che serve prima di identificare un sistema dinamico. Trasformata Zeta, convoluzione, funzione di trasferimento e forma ricorsiva, stabilità, guadagno e risposta in frequenza, tutto su un unico esempio.
Nei sistemi dinamici i dati non sono variabili casuali indipendenti, ma campioni di un segnale che evolve nel tempo. Cos'è un processo stocastico, come lo si descrive con media e autocovarianza, cosa vuol dire stazionario, il rumore bianco e perché l'ergodicità permette di stimare tutto da una sola realizzazione.
Come si guarda un processo stocastico in frequenza. La densità spettrale di potenza come trasformata dell'autocovarianza, cosa racconta su quattro processi tipici, e come la si stima dai dati, dal periodogramma, che non migliora con più campioni, al metodo di Bartlett.
Cosa succede quando un processo stocastico stazionario entra in un sistema lineare stabile. Media, autocovarianza e spettro dell'uscita, il teorema che lega gli spettri con il modulo quadro della funzione di trasferimento, e perché ogni processo stazionario si può vedere come rumore bianco passato attraverso un filtro.