Minimi quadrati: quanto è affidabile la stima

Negli articoli precedenti abbiamo stimato che un metro quadro vale 2,061 k€. Ma quel numero viene da dieci appartamenti: con altri dieci, la retta sarebbe stata un po' diversa. Quanto ci si può fidare di quella stima?

L'esperimento

Supponiamo che i prezzi seguano davvero una retta, più un rumore casuale: tutto ciò che il modello non vede, come piano, esposizione e trattativa. In un computer possiamo fissare la retta "vera", 20 k€ più 2 k€ al m², aggiungere un rumore gaussiano con deviazione standard di 5 k€ e generare dieci prezzi. Poi lo rifacciamo 100.000 volte, e ogni volta stimiamo la retta con i minimi quadrati.

Ecco come si distribuiscono le 100.000 stime della pendenza:

Si vedono due cose: la campana è centrata sul valore vero ed è larga quanto basta a dire quanto può sbagliare una singola stima.

In media la stima è giusta

La media delle 100.000 stime è 2,000: proprio il valore vero. Ogni singola stima sbaglia un po', a volte in eccesso e a volte in difetto, ma non c'è un errore sistematico. Lo stimatore a minimi quadrati si dice corretto:

$$\mathbb{E}[\hat\theta] = \theta_{\text{vero}}$$

Qui $\hat\theta$ è il vettore dei parametri stimati (intercetta e pendenza) e $\theta_{\text{vero}}$ quello della retta vera.

Quanto sbaglia una singola stima

La larghezza della campana si calcola anche senza simulare. Se le superfici sono fissate e gli errori hanno media zero, sono incorrelati e hanno tutti la stessa varianza $\lambda^2$:

$$\operatorname{Var}(\hat\theta) = \lambda^2 \, (X^\top X)^{-1}$$

dove $X$ contiene le superfici osservate. Il risultato è una matrice: sulla diagonale ci sono le varianze di intercetta e pendenza, e la loro radice è la deviazione standard di ciascuna stima. Per la pendenza la formula prevede 0,0625 k€/m²; la simulazione dà 0,0623.

Dice anche come ridurre l'incertezza. Con lo stesso rumore di 5 k€ e superfici distribuite uniformemente nell'intervallo indicato:

• Più dati: quadruplicandoli, l'incertezza si dimezza. Con abbastanza dati la stima arriva al valore vero, e per questo lo stimatore si dice consistente.
• Dati più vari: con superfici tutte simili la stima è otto volte più incerta. È come capire l'inclinazione di un'asse guardandone solo un pezzetto.

Sui dati veri

Nella realtà la retta vera non si conosce, e nemmeno il rumore. Il rumore però si può stimare dai residui, e la formula restituisce l'errore standard di ogni parametro:

Da qui si costruisce un intervallo di confidenza: la stima, più o meno circa 2 errori standard. Con pochi dati e rumore gaussiano il fattore è un po' più grande: con i nostri dieci appartamenti vale 2,31 (t di Student). Il prezzo al m² risulta così tra 1,90 e 2,22 k€/m²: una stima affidabile.

Il "95%" di un intervallo così è una proprietà del metodo: se si ripetesse la raccolta dei dati molte volte, gli intervalli costruiti in questo modo conterrebbero il valore vero in 95 casi su 100. L'intercetta invece è molto incerta, e anche per questo conviene non darle un significato concreto.

Quando non vale

Tutto questo regge se il modello è giusto. Non vale più se:

• la relazione vera non è lineare: la stima converge alla migliore retta possibile, che però non è il modello vero, anche con infiniti dati;
• manca una variabile importante e correlata con quelle incluse: per esempio l'età, se gli appartamenti grandi fossero anche i più vecchi. La superficie si prende una parte del suo effetto, e la stima diventa distorta;
• gli errori sono legati tra loro o hanno varianza diversa, come spesso nei dati nel tempo: la formula della varianza non vale più e gli errori standard possono ingannare.

Due dimostrazioni

Il modello vero è $Y = X\theta_{\text{vero}} + E$, con $X$ fissata e rumore a media zero, incorrelato e di varianza $\lambda^2$. Sostituendolo nelle equazioni normali:

$$\begin{aligned} \hat\theta &= (X^\top X)^{-1} X^\top Y \\ &= \theta_{\text{vero}} + (X^\top X)^{-1} X^\top E \end{aligned}$$

Correttezza. $X$ non è casuale e $\mathbb{E}[E] = 0$, quindi $\mathbb{E}[\hat\theta] = \theta_{\text{vero}}$.

Varianza. La parte casuale è $A\,E$ con $A = (X^\top X)^{-1} X^\top$. La varianza di $A\,E$ è $A\,\lambda^2 I\,A^\top$:

$$\begin{aligned} \operatorname{Var}(\hat\theta) &= (X^\top X)^{-1} X^\top \cdot \lambda^2 I \\ &\quad \cdot X (X^\top X)^{-1} \\ &= \lambda^2 (X^\top X)^{-1} \end{aligned}$$

Errore standard. È la radice dell'elemento diagonale corrispondente: per la pendenza, $\sqrt{\lambda^2 \, [(X^\top X)^{-1}]_{22}}$, contando dall'intercetta come parametro 1.

Sui dati reali si usa $\hat\lambda^2 = \frac{1}{N - d} \sum \hat\varepsilon(i)^2$, dove $d$ è il numero di parametri stimati, intercetta inclusa: qui $d = 2$, quindi $N - d = 8$ gradi di libertà. Si divide per $N - d$ perché i $d$ parametri hanno già "assorbito" parte del rumore. Con superficie ed età più intercetta sarebbero $d = 3$ e 7 gradi di libertà.

Intervallo al 95%. Con errori gaussiani si usa il quantile della t di Student con $N - d$ gradi di libertà, $t_{0{,}975;\,8} \approx 2{,}306$: $2{,}061 \pm 2{,}306 \cdot 0{,}068 \approx [1{,}904;\ 2{,}218]$.

Riepilogo

• La stima cambia con i dati, ma in media è giusta: lo stimatore a minimi quadrati è corretto.
• La sua incertezza cala con più dati e con dati più vari.
• Sui dati reali si ricava l'errore standard di ogni parametro.