Stimatori: come si giudica una stima

Le misure sono sempre affette da rumore. Per gestire questa incertezza, nell'identificazione dei modelli i dati si trattano come variabili casuali: valori che dipendono dall'esito di un esperimento casuale. Da qui discende tutto il resto, compreso il modo di giudicare una stima.

Richiami

Di una variabile casuale $v$ servono soprattutto due numeri:

• il valore atteso $\mathbb{E}[v]$, la media dei valori possibili pesata con la loro probabilità. È lineare: $\mathbb{E}[\alpha v_1 + \beta v_2] = \alpha\,\mathbb{E}[v_1] + \beta\,\mathbb{E}[v_2]$;
• la varianza $\operatorname{Var}(v) = \mathbb{E}\bigl[(v - \mathbb{E}[v])^2\bigr]$, quanto i valori si allontanano dalla media. La sua radice è la deviazione standard $\sigma$.

Con più variabili, la covarianza misura quanto variano insieme; se è zero le variabili sono scorrelate. Due variabili indipendenti sono sempre scorrelate, ma non vale il contrario: possono dipendere l'una dall'altra in modo non lineare.

Stima e stimatore

Vogliamo conoscere l'altezza media degli studenti di un corso, ma ne possiamo misurare solo dieci. La regola "faccio la media dei dieci" è uno stimatore: una funzione dei dati. Il numero che esce applicandola ai dieci studenti misurati è una stima.

Con altri dieci studenti, la stessa regola darebbe un numero diverso. Lo stimatore quindi è a sua volta una variabile casuale: ha una distribuzione, un valore atteso e una varianza. E la bontà di uno stimatore si giudica da quella distribuzione, non da una singola stima fortunata.

Proprietà

Indichiamo con $\theta^0$ il valore vero del parametro e con $\hat\theta$ lo stimatore.

Correttezza. Lo stimatore è corretto (unbiased) se in media centra il valore vero:

$$\mathbb{E}[\hat\theta] = \theta^0$$

La differenza $\mathbb{E}[\hat\theta] - \theta^0$ si chiama bias, o distorsione. Se il bias va a zero solo quando i dati $N$ tendono a infinito, lo stimatore è asintoticamente corretto.

Consistenza. Al crescere di $N$, la probabilità di sbagliare di più di una qualsiasi quantità fissata tende a zero: con abbastanza dati, la stima diventa precisa quanto si vuole.

Varianza minima. Tra due stimatori corretti è migliore quello con varianza più piccola, perché le sue stime si disperdono meno. Ma quanto piccola può essere?

C'è un limite, la disuguaglianza di Cramér-Rao: nessuno stimatore corretto può avere varianza più piccola dell'inverso dell'informazione di Fisher, che dipende da quanto i dati "dicono" sul parametro. È un limite strutturale: i dati sono rumorosi, quindi non saranno mai informativi al 100%. Uno stimatore che raggiunge il limite si dice efficiente.

Errore quadratico medio

Uno stimatore distorto non è per forza da buttare. Per confrontare stimatori qualsiasi si usa l'errore quadratico medio, che tiene conto di entrambi gli aspetti:

$$\text{MSE} = \mathbb{E}\bigl[(\hat\theta - \theta^0)^2\bigr] = \text{bias}^2 + \text{Var}(\hat\theta)$$

Uno stimatore leggermente distorto ma molto più stabile può avere un MSE più basso di uno corretto ma ballerino.

Esempio: dividere per N o per N − 1?

La media campionaria $\hat\mu = \frac{1}{N}\sum y(i)$ è corretta e consistente. Per la varianza invece ci sono due candidati, che differiscono solo per il denominatore:

$$S^2_{N} = \frac{1}{N} \sum_{i=1}^{N} \bigl(y(i) - \hat\mu\bigr)^2$$ $$S^2_{N-1} = \frac{1}{N-1} \sum_{i=1}^{N} \bigl(y(i) - \hat\mu\bigr)^2$$

Proviamo al computer: estraiamo 5 valori da una gaussiana di varianza vera 4, calcoliamo le due stime, e ripetiamo 200.000 volte.

Dividere per $N - 1$ dà uno stimatore corretto: in media centra 4. Dividere per $N$ lo sottostima sistematicamente di un quinto, perché gli scarti sono misurati dalla media del campione, che è più vicina ai dati di quanto lo sia la media vera.

Eppure $S^2_{N}$ ha un errore quadratico medio più basso: perde in bias, ma guadagna di più in varianza. Questo compromesso tra bias e varianza tornerà, in grande, quando i "parametri" da stimare saranno interi modelli: lo vedremo nell'articolo su bias, varianza e overfitting.

Con molti dati la differenza sparisce: $S^2_{N}$ è asintoticamente corretto, e anche lui consistente.

Dimostrazioni: la media e la varianza campionaria

Media campionaria corretta. Per linearità del valore atteso, se ogni $y(i)$ ha media $\mu$:

$$\mathbb{E}[\hat\mu] = \frac{1}{N} \sum_{i=1}^{N} \mathbb{E}[y(i)] = \frac{1}{N}\, N \mu = \mu$$

Se i dati sono indipendenti con varianza $\sigma^2$, $\operatorname{Var}(\hat\mu) = \sigma^2/N$: tende a zero, quindi è anche consistente. Con dati gaussiani è esattamente il limite di Cramér-Rao, quindi la media campionaria è efficiente. Nella simulazione: varianza 0,80, contro $4/5 = 0{,}8$.

$S^2_{N-1}$ corretto. Si usa $\operatorname{Var}(v) = \mathbb{E}[v^2] - \mathbb{E}[v]^2$, cioè $\mathbb{E}[y^2] = \sigma^2 + \mu^2$ e $\mathbb{E}[\hat\mu^2] = \sigma^2/N + \mu^2$. Sviluppando il quadrato:

$$\sum_{i=1}^{N} \bigl(y(i) - \hat\mu\bigr)^2 = \sum_{i=1}^{N} y(i)^2 - N\hat\mu^2$$

e passando ai valori attesi:

$$\begin{aligned} \mathbb{E}\Bigl[\textstyle\sum (y(i) - \hat\mu)^2\Bigr] &= N(\sigma^2 + \mu^2) \\ &\quad - (\sigma^2 + N\mu^2) \\ &= (N-1)\,\sigma^2 \end{aligned}$$

Dividendo per $N - 1$ si ottiene esattamente $\sigma^2$. Dividendo per $N$ si ottiene $\frac{N-1}{N}\sigma^2$: con $N = 5$ e $\sigma^2 = 4$, proprio 3,2.

I numeri della tabella. Con dati gaussiani $\operatorname{Var}(S^2_{N-1}) = 2\sigma^4/(N-1) = 8$. $S^2_N$ è $S^2_{N-1}$ moltiplicato per $0{,}8$, quindi ha varianza $0{,}64 \cdot 8 = 5{,}12$ e MSE $0{,}8^2 + 5{,}12 = 5{,}76$. La simulazione dà 5,17 e 5,80.

Riepilogo

• Uno stimatore è una funzione dei dati, quindi una variabile casuale; la stima è il valore che assume sui dati osservati.
• Corretto: in media centra il valore vero. Consistente: con più dati diventa preciso quanto si vuole.
• Tra stimatori corretti si preferisce quello a varianza minima; il limite di Cramér-Rao dice quanto in basso si può arrivare.
• In generale conta l'MSE = bias² + varianza: un po' di bias può valere la pena, se riduce molto la varianza.