Regressione logistica: classificare stimando una probabilità

La regressione lineare prevede un numero: un prezzo, un tempo, una temperatura. Molto spesso però la risposta è una categoria: la mail è spam o no, la transazione è fraudolenta o no, il paziente ha una certa patologia o no. Stimare una categoria a partire dai regressori $\varphi$ si chiama classificazione.

Più che la categoria secca, conviene stimare la probabilità di ciascuna categoria, e poi scegliere la più probabile. La regressione logistica fa esattamente questo.

Perché non la regressione lineare

La regressione lineare vuole numeri, quindi la prima idea è trasformare le categorie in numeri. Con due categorie è naturale: 1 per "sì", 0 per "no". L'idea è che la retta, invece di prevedere direttamente 0 o 1, prevede un valore intermedio da leggere come probabilità del "sì": 0,8 vorrebbe dire "probabilmente sì", 0,1 "probabilmente no".

Proviamo con dieci studenti: quante ore hanno studiato e se hanno superato l'esame (1) oppure no (0).

La retta dei minimi quadrati è $\hat y = -0{,}133 + 0{,}115 \cdot \text{ore}$: ogni ora in più aggiunge circa 11,5 punti percentuali di probabilità. Tra 1 e 10 ore i valori sembrano ragionevoli, ma una retta non si ferma mai. A zero ore la "probabilità" di essere promossi è −0,13, a 12 ore è 1,25: due numeri che come probabilità non significano niente. Il problema non è questo dataset, è la forma del modello: una retta prima o poi esce dall'intervallo tra 0 e 1.

La sigmoide

Serve una funzione che prenda un numero qualsiasi e lo limiti tra 0 e 1. È la funzione logistica, o sigmoide:

$$s(a) = \frac{1}{1 + e^{-a}}$$

Per $a$ molto positivo vale quasi 1, per $a$ molto negativo quasi 0, e in $a = 0$ vale esattamente 0,5.

La regressione logistica applica la sigmoide a una combinazione lineare dei regressori, e la interpreta come probabilità della classe 1:

$$P(y = 1 \mid \varphi) = s(\varphi^\top \theta) = \frac{1}{1 + e^{-\varphi^\top \theta}}$$

Sui dieci studenti, con $\varphi = [1,\ \text{ore}]^\top$, la stima dà $\hat\theta_0 = -3{,}72$ e $\hat\theta_1 = 0{,}677$:

Con 2 ore di studio la probabilità stimata di superare l'esame è 0,09; con 9 ore è 0,91. Ora le uscite sono vere probabilità, e si avvicinano a 0 e a 1 senza mai superarli.

Il confine di decisione

Per classificare, si assegna la classe 1 se la probabilità è almeno 0,5. Dato che $s(a) \ge 0{,}5$ esattamente quando $a \ge 0$, la regola equivale a:

$$\varphi^\top \theta \ge 0$$

Il confine tra le due classi è quindi lineare: una soglia con un regressore, una retta con due, un piano con tre. Qui il confine è a $3{,}72 / 0{,}677 \approx 5{,}5$ ore.

La funzione di costo

Per stimare $\theta$ si usa la massima verosimiglianza. Ogni dato è 0 o 1, quindi è una variabile di Bernoulli con probabilità $\pi(i) = s(\varphi(i)^\top\theta)$ di valere 1.
La meno-log-verosimiglianza è:

$$\begin{aligned} J(\theta) = -\sum_{i=1}^{N} \Bigl[\, & y(i) \ln \pi(i) + \bigl(1 - y(i)\bigr) \ln\bigl(1 - \pi(i)\bigr) \Bigr] \end{aligned}$$

La variabile di Bernoulli

Una variabile di Bernoulli descrive un esperimento con due soli esiti, come il lancio di una moneta: vale 1 con probabilità $\pi$ e 0 con probabilità $1 - \pi$. Le due probabilità si scrivono in un'unica formula:

$$P(y) = \pi^{\,y}\,(1 - \pi)^{1 - y}$$

È solo un modo compatto di scrivere i due casi:

• se $y = 1$: $\ \pi^1 (1 - \pi)^0 = \pi$
• se $y = 0$: $\ \pi^0 (1 - \pi)^1 = 1 - \pi$

Da qui a $J(\theta)$. Se i dati sono indipendenti, la probabilità di osservarli tutti (la verosimiglianza) è il prodotto delle probabilità dei singoli dati:

$$L(\theta) = \prod_{i=1}^{N} \pi(i)^{\,y(i)} \bigl(1 - \pi(i)\bigr)^{1 - y(i)}$$

Conviene prenderne il logaritmo, che trasforma i prodotti in somme e porta gli esponenti davanti, $\ln(a^b) = b \ln a$:

$$\begin{aligned} \ln L(\theta) = \sum_{i=1}^{N} \Bigl[\, & y(i) \ln \pi(i) + \bigl(1 - y(i)\bigr) \ln\bigl(1 - \pi(i)\bigr) \Bigr] \end{aligned}$$

Massimizzare $\ln L$ equivale a minimizzare $-\ln L$, che è esattamente $J(\theta)$.

Sembra complicata, ma è più semplice di quanto appare. Ricordiamo che $\pi$ è la probabilità che il modello dà alla classe 1, e $1 - \pi$ quella che dà alla classe 0.
Dato che $y$ vale 0 oppure 1, uno dei due coefficienti, $y$ o $1 - y$, si annulla.

• se $y = 1$, il costo è $-\ln \pi$, cioè dipende solo dalla probabilità data alla classe 1.
  Lo studente con 9 ore è stato promosso e il modello gli dava $\pi = 0{,}91$ di essere promosso: costo $0{,}09$;
• se $y = 0$, il costo è $-\ln(1 - \pi)$, cioè dipende solo dalla probabilità data alla classe 0.
  Lo studente con 7 ore è stato bocciato, ma il modello gli dava $\pi = 0{,}73$ di essere promosso, quindi solo $1 - \pi = 0{,}27$ alla bocciatura: costo $1{,}32$.

Se il modello è sicuro al 100% della previsione corretta, il costo è 0. Al contrario, più la probabilità assegnata al risultato corretto si avvicina a 0, più il costo aumenta, tendendo all’infinito.

Sbagliare con sicurezza costa molto più che sbagliare con prudenza.

A differenza dei minimi quadrati, qui non c'è una formula chiusa: il minimo si cerca con metodi iterativi, per esempio la discesa del gradiente, che ha bisogno del gradiente di $J$. Ha una forma sorprendentemente semplice:

$$\nabla J(\theta) = \sum_{i=1}^{N} \varphi(i)\,\bigl(\pi(i) - y(i)\bigr)$$

La derivata della sigmoide e il gradiente

La sigmoide ha una derivata comoda:

$$\begin{aligned} \frac{ds}{da} &= \frac{e^{-a}}{(1 + e^{-a})^2} = \frac{1}{1 + e^{-a}} \cdot \frac{e^{-a}}{1 + e^{-a}} \\ &= s(a)\,\bigl(1 - s(a)\bigr) \end{aligned}$$

Con $a = \varphi^\top\theta$, per la regola della catena $\nabla_\theta\, \pi = \varphi\, \pi (1 - \pi)$. Derivando $J$ termine per termine:

$$\begin{aligned} \nabla J &= -\sum_{i} \Bigl[ y\, \frac{\varphi\,\pi(1-\pi)}{\pi} - (1-y)\, \frac{\varphi\,\pi(1-\pi)}{1-\pi} \Bigr] \\ &= -\sum_{i} \varphi \bigl[ y(1-\pi) - (1-y)\pi \bigr] \\ &= \sum_{i} \varphi\, (\pi - y) \end{aligned}$$

dove per brevità $y$, $\pi$ e $\varphi$ stanno per $y(i)$, $\pi(i)$ e $\varphi(i)$.

Un modello, due distribuzioni

Regressione lineare e logistica sono due casi dei modelli lineari generalizzati. In entrambi un modello lineare $\varphi^\top\theta$ descrive il "centro" di una distribuzione:

• nella lineare, la media di una gaussiana: $y \sim \mathcal{N}(\varphi^\top\theta,\ \sigma^2)$;
• nella logistica, attraverso la sigmoide, la probabilità di una Bernoulli: $y \sim \text{Bernoulli}\bigl(s(\varphi^\top\theta)\bigr)$.

Cambiando la distribuzione cambia la funzione di costo, ma il metodo per arrivarci è lo stesso.

Riepilogo

• La regressione logistica stima la probabilità della classe 1 come $s(\varphi^\top\theta)$, sempre tra 0 e 1.
• Si classifica con la soglia 0,5, che equivale a $\varphi^\top\theta \ge 0$: il confine è lineare.
• La funzione di costo viene dalla massima verosimiglianza su dati di Bernoulli: punisce molto gli errori fatti con sicurezza.
• Non ha soluzione in forma chiusa; si minimizza con la discesa del gradiente, con gradiente $\sum \varphi\,(\pi - y)$.