Econometria.

Il significato dell’econometria

L’econometria studia come utilizzare osservazioni quantitative per descrivere relazioni economiche, confrontare spiegazioni alternative, formulare previsioni e valutare effetti causali. Il suo punto di partenza non è una formula, ma una domanda: quanto varia il consumo al variare del reddito? Un corso di formazione migliora le prospettive occupazionali? Una diminuzione del prezzo aumenta le vendite? In ciascun caso occorre precisare quali grandezze sono osservate, quale popolazione interessa e quale confronto consentirebbe di rispondere. Una regressione non sostituisce questa scelta iniziale: traduce una domanda già definita in una procedura di analisi, sotto ipotesi che devono essere rese esplicite.

La teoria economica suggerisce meccanismi e vincoli. La statistica permette di ragionare sull’incertezza. I dati costituiscono il collegamento con la realtà osservata. Nessuno dei tre elementi è sufficiente isolatamente. Un meccanismo teoricamente plausibile può produrre previsioni incompatibili con i dati; una correlazione molto precisa può essere priva dell’interpretazione economica che le viene attribuita; un campione enorme può misurare con estrema precisione una popolazione diversa da quella pertinente. La qualità dell’analisi dipende quindi anche dalla coerenza fra problema, dati, modello e conclusioni.

Descrizione, previsione e causalità

Una domanda descrittiva riguarda caratteristiche della distribuzione osservata: media dei salari, dispersione dei redditi, differenze fra gruppi o associazione fra istruzione e occupazione. Una domanda predittiva riguarda un esito non ancora osservato: prevedere la domanda di un’impresa nel prossimo mese oppure la probabilità di insolvenza di un nuovo debitore. Una domanda causale riguarda invece ciò che cambierebbe modificando un fattore attraverso un intervento, a parità del confronto controfattuale pertinente. Le tre finalità possono utilizzare gli stessi dati, ma richiedono criteri di successo differenti.

Immaginiamo che nelle giornate in cui vengono venduti più ombrelli si registrino più incidenti stradali. L’associazione può essere utile per una previsione, perché le vendite di ombrelli forniscono informazione sulle condizioni atmosferiche. Non dimostra però che acquistare ombrelli provochi incidenti: la pioggia può influenzare entrambe le variabili. Eliminare le vendite non equivale a eliminare la pioggia. La distinzione fra osservare X e intervenire su X è il cuore dell’interpretazione causale. Un algoritmo può prevedere molto bene senza aver identificato un effetto utilizzabile per una politica.

Dal modello economico al modello econometrico

Una relazione teorica può affermare che il consumo C dipende dal reddito disponibile Y e dalla ricchezza W. Una specificazione econometrica lineare scrive C_i = β₀ + β₁Y_i + β₂W_i + u_i. Il pedice i identifica un’unità osservata; β₀ è l’intercetta; β₁ e β₂ descrivono variazioni associate ai regressori mantenendo fissi gli altri; u_i raccoglie la parte non rappresentata dalla componente sistematica. La linearità riguarda i parametri: un modello contenente Y² può essere lineare nei coefficienti anche se la relazione fra consumo e reddito è curva.

Il termine di errore non è soltanto un errore di compilazione. Può includere preferenze, shock transitori, fattori non osservati, approssimazioni della forma funzionale e disturbi di misurazione. Dire che tali elementi sono racchiusi in u non elimina il problema che pongono. Se una caratteristica non osservata è associata al reddito e influenza il consumo, una regressione che la ignora può attribuirne parte dell’effetto al reddito. Le ipotesi sull’errore descrivono proprio quali relazioni fra componente osservata e non osservata sono ammesse.

Parametri, stime e oggetti di interesse

Un parametro è una caratteristica della popolazione o del modello. Una stima è il valore ottenuto applicando uno stimatore a un campione. La distinzione può essere resa con β per il parametro, β̂ per lo stimatore o per la sua realizzazione e b per un valore numerico quando il contesto lo richiede. Se una stima del coefficiente dell’istruzione è 0,08 in una regressione del logaritmo del salario, il numero 0,08 non è automaticamente un effetto causale universale: la sua interpretazione dipende da forma funzionale, popolazione, controlli e disegno di ricerca.

L’oggetto che si desidera stimare prende il nome di estimando. Può essere una media, un’elasticità, una probabilità, un effetto medio del trattamento, un effetto locale presso una soglia o un errore di previsione atteso. Definire l’estimando prima di scegliere il metodo evita di confondere quantità diverse. L’effetto medio di un corso fra coloro che vi partecipano non coincide necessariamente con l’effetto che si avrebbe imponendo la partecipazione a tutti. Anche due stime entrambe corrette possono differire perché rispondono a domande diverse.

Identificazione, stima e inferenza

L’identificazione riguarda la possibilità di ricavare l’oggetto di interesse dalla distribuzione dei dati osservabili, date certe ipotesi. La stima riguarda il modo in cui lo si approssima con un campione finito. L’inferenza riguarda l’incertezza di tale approssimazione. La distinzione è sostanziale: un problema non identificato non viene risolto aumentando il numero di osservazioni. Se due meccanismi causali incompatibili producono la stessa distribuzione osservata, i dati da soli non permettono di scegliere fra essi.

Consideriamo salari medi pari a 2.200 euro fra laureati e 1.700 euro fra non laureati. La differenza osservata è 500 euro. Per attribuirla interamente alla laurea servirebbe sapere che cosa avrebbero guadagnato i laureati senza laurearsi. I non laureati possono costituire un confronto adeguato soltanto sotto ipotesi aggiuntive: per esempio, che le differenze rilevanti antecedenti alla scelta formativa siano eliminate da un disegno sperimentale o da un insieme sufficiente di controlli. Calcolare un errore standard molto piccolo per la differenza di 500 euro non dimostra che queste ipotesi siano vere.

Ceteris paribus e confronti pertinenti

L’espressione ceteris paribus indica un confronto in cui gli altri fattori specificati sono mantenuti costanti. In una regressione multipla il coefficiente di X misura una variazione associata a X dopo aver tenuto conto degli altri regressori. Il controllo statistico è però relativo alle variabili effettivamente incluse e alla forma funzionale scelta. Non equivale a rendere identici tutti gli aspetti osservati e non osservati delle unità. Inoltre, controllare una variabile generata dal trattamento può eliminare parte dell’effetto che si desidera misurare.

Per studiare l’effetto di un programma formativo sul salario, l’esperienza lavorativa precedente può essere un controllo ragionevole. L’occupazione ottenuta dopo il programma può invece essere un canale attraverso cui il programma modifica il salario. Inserirla indiscriminatamente cambia la domanda: si passa dall’effetto totale a un confronto condizionato su una conseguenza del trattamento, con possibili ulteriori distorsioni. La selezione dei controlli deve essere guidata dalla sequenza temporale e dal meccanismo economico, non soltanto dalla capacità di aumentare R².

Esempio didattico: una politica di sconto

Un’impresa osserva vendite medie di 120 unità nei giorni con sconto e 90 nei giorni senza sconto. La differenza grezza è 30. Tuttavia, gli sconti vengono applicati soprattutto nei fine settimana, quando la domanda è maggiore anche a prezzo pieno. La differenza combina quindi almeno due componenti: effetto del prezzo ed effetto della composizione dei giorni. Confrontare sabati scontati con sabati non scontati è più pertinente che confrontare tutti i giorni indistintamente, ma resta da chiedersi perché alcuni sabati siano scontati e altri no.

Supponiamo che l’impresa assegni casualmente lo sconto a 20 dei 40 sabati disponibili, senza modificarne pubblicità, disponibilità di prodotto e orari. In questo caso l’assegnazione casuale fornisce una giustificazione al confronto medio. Non garantisce che le due medie coincidano esattamente in assenza di effetto nel campione osservato: la casualità produce comunque squilibri e rumore. Consente però di costruire un’inferenza coerente con il disegno. Se invece lo sconto è riservato ai sabati con domanda prevista bassa, la selezione può attenuare o perfino invertire la differenza osservata.

Assunzioni e limiti delle conclusioni

Un’ipotesi econometrica non è vera perché compare in una formula. Alcune implicazioni possono essere confrontate con i dati, ma molte condizioni di identificazione non sono verificabili direttamente. L’assenza di confondenti non osservati, l’esclusione di effetti diretti di uno strumento o l’andamento controfattuale di un gruppo trattato richiedono argomentazioni sostanziali. Un test che non rifiuta un’ipotesi non certifica la sua validità; può semplicemente avere scarsa capacità di individuare la violazione rilevante.

Una conclusione corretta distingue ciò che i dati mostrano, ciò che viene dedotto sotto ipotesi e ciò che resta incerto. Dire «il coefficiente stimato è positivo e l’intervallo esclude zero» descrive un risultato inferenziale. Dire «la politica causa un aumento» aggiunge una lettura causale che richiede identificazione. Dire «l’aumento è economicamente rilevante» richiede infine un confronto con unità di misura, costi, valori iniziali e alternative disponibili. L’econometria diventa utile quando queste tre valutazioni rimangono separate ma collegate.

Esercizio svolto: tre domande sullo stesso campione

Si osservano 800 lavoratori con salario, età, istruzione e partecipazione a un corso. La domanda «qual è il salario medio dei partecipanti?» è descrittiva e richiede di definire il gruppo e calcolarne la media. La domanda «quanto guadagnerà un nuovo partecipante?» è predittiva e richiede anche una verifica fuori campione. La domanda «quanto aumenterebbe il salario di una persona grazie al corso?» è causale e richiede un confronto controfattuale credibile. Aggiungere regressori può migliorare una previsione senza rendere credibile l’ultima risposta. La prima decisione dell’analista è quindi specificare quale delle tre domande sta affrontando, prima di scegliere il comando da eseguire.

Unità statistica e struttura della base dati

L’unità statistica è l’entità alla quale si riferisce un’osservazione: una persona, un’impresa, una famiglia, un contratto oppure una coppia impresa-anno. Stabilire l’unità è indispensabile perché determina il significato delle righe e delle medie. Se un’impresa compare dodici volte, una per ciascun mese, la media delle righe non coincide necessariamente con la media delle imprese. Il problema non è formale: le unità che compaiono più frequentemente ricevono implicitamente un peso maggiore. Una base dati deve quindi avere una chiave identificativa compatibile con il suo livello di osservazione.

Nei dati trasversali, o cross-section, molte unità sono osservate in uno stesso periodo o in un intervallo sufficientemente circoscritto. Nelle serie storiche una o più grandezze sono osservate in periodi successivi. Nei dati panel le medesime unità vengono seguite nel tempo. Nelle sezioni trasversali ripetute, invece, ogni rilevazione può contenere persone differenti. Due indagini svolte in anni diversi non costituiscono un panel soltanto perché condividono le stesse variabili. Per parlare di panel occorre poter riconoscere la stessa unità fra le rilevazioni, tenendo conto di entrate, uscite e cambiamenti degli identificativi.

Un panel è bilanciato se ogni unità è osservata in tutti i periodi considerati; è sbilanciato quando mancano alcune combinazioni unità-tempo. Lo sbilanciamento non invalida automaticamente la stima, ma richiede di comprendere il processo che lo genera. Un’impresa assente perché costituita successivamente è diversa da un’impresa che smette di rispondere dopo un peggioramento dei risultati. Nel secondo caso l’assenza può essere informativa rispetto all’esito e al termine di errore. La disponibilità di molte osservazioni longitudinali non elimina il problema della selezione.

Tipi di variabili e scale di misurazione

Una variabile quantitativa esprime una grandezza numerica per la quale operazioni come somma e differenza hanno un significato. Una variabile qualitativa identifica categorie. Le categorie nominali non hanno un ordinamento naturale, come settore produttivo o provincia. Le categorie ordinali possiedono un ordine, come un giudizio da «molto insoddisfatto» a «molto soddisfatto», ma le distanze fra livelli non sono necessariamente uguali. Codificare i giudizi con 1, 2, 3, 4 e 5 non dimostra che il passaggio da 1 a 2 equivalga al passaggio da 4 a 5.

Una variabile binaria assume due valori, frequentemente 0 e 1. In questa codifica la media coincide con la proporzione di osservazioni appartenenti alla categoria indicata da 1. Se 32 persone su 80 partecipano a un programma, la media dell’indicatore di partecipazione è 32/80 = 0,40. La codifica deve essere documentata: invertire 0 e 1 modifica il segno di alcuni coefficienti e cambia la categoria di riferimento, pur lasciando invariata l’informazione sostanziale. Una variabile numerica contenente codici postali, invece, non deve essere trattata come una misura continua di posizione geografica.

Le unità di misura devono accompagnare ogni interpretazione. Se il reddito è espresso in migliaia di euro, un incremento unitario corrisponde a 1.000 euro, non a un euro. Se un tasso è scritto come 0,05 anziché come 5, il suo significato è identico ma i coefficienti della regressione cambiano di scala. Occorre distinguere percentuali e punti percentuali: un tasso che passa dal 10% al 12% aumenta di 2 punti percentuali e del 20% rispetto al valore iniziale. Confondere le due grandezze può moltiplicare o ridurre drasticamente l’effetto comunicato.

Valori nominali, reali e confrontabilità temporale

Una grandezza monetaria nominale è misurata nei prezzi del periodo corrente. Una grandezza reale corregge il valore nominale attraverso un indice dei prezzi pertinente. Se P_t è un indice con base 100, il valore reale nella base scelta è Y_tʳ = 100Y_tⁿ/P_t. Con ricavi nominali di 120 e indice dei prezzi 110, i ricavi reali sono circa 109,09. Un aumento nominale può quindi dipendere dall’aumento dei prezzi e non dalla crescita delle quantità o del potere d’acquisto. Il deflatore deve corrispondere alla grandezza studiata: prezzi al consumo, prezzi alla produzione e deflatore del prodotto non sono intercambiabili per definizione.

Per confrontare periodi bisogna inoltre verificare frequenza, stagionalità e definizioni. Una serie mensile non può essere unita a una trimestrale replicando ciascun valore trimestrale tre volte e trattando le repliche come nuova informazione indipendente. Un flusso, come il reddito prodotto durante il trimestre, si aggrega tipicamente sommando i flussi mensili. Uno stock, come il debito a fine trimestre, si riferisce a un istante e richiede una convenzione diversa. Un tasso può richiedere una media ponderata. La scelta deve seguire il significato economico della variabile, non la comodità del software.

Popolazione, campione e rappresentatività

La popolazione obiettivo è l’insieme sul quale si vogliono formulare conclusioni. Il campione è l’insieme effettivamente osservato. La popolazione accessibile, cioè quella raggiungibile dal procedimento di raccolta, può essere più ristretta della popolazione obiettivo. Un questionario pubblicato su una piattaforma universitaria descrive anzitutto chi utilizza quella piattaforma e decide di rispondere; non diventa rappresentativo di tutti i giovani soltanto perché raccoglie migliaia di risposte. L’ampiezza riduce il rumore campionario sotto appropriate condizioni, ma non corregge automaticamente una distorsione sistematica di copertura.

Nel campionamento casuale semplice ogni unità della popolazione ha la stessa probabilità di essere selezionata e il disegno è noto. Nel campionamento stratificato si effettuano estrazioni all’interno di gruppi definiti, per esempio fasce d’età. Nel campionamento a grappoli si estraggono gruppi, come scuole o comuni, e poi si osservano unità al loro interno. La dipendenza fra persone dello stesso gruppo incide sulla precisione. Per questo il numero di righe non coincide sempre con il numero di informazioni indipendenti. Pesi, strati e unità primarie di campionamento devono essere conservati quando fanno parte del disegno.

Se π_i è la probabilità di inclusione, un peso di base è w_i = 1/π_i. Una media ponderata normalizzata è ȳw = ∑_iw_iy_i/∑_iw_i. Questi pesi cercano di ricostruire la composizione della popolazione; non sono gli stessi pesi impiegati nei minimi quadrati ponderati per correggere l’eteroschedasticità. Pesi campionari, pesi di frequenza, pesi di precisione e pesi di probabilità del trattamento hanno finalità diverse. Usare il comando «weights» senza conoscere quale interpretazione implementi può produrre errori nelle stime o negli errori standard.

Dati mancanti e meccanismi di assenza

Un dato mancante non è uno zero. Se il reddito non è dichiarato, registrare zero equivale ad attribuire un reddito nullo e modifica artificialmente la distribuzione. Il meccanismo MCAR, missing completely at random, richiede che la probabilità di assenza non dipenda dai valori osservati né da quelli mancanti. Il meccanismo MAR, missing at random, consente che l’assenza dipenda dalle informazioni osservate, ma non ulteriormente dal valore mancante una volta condizionato su tali informazioni. Nel caso MNAR, missing not at random, rimane una dipendenza dai valori non osservati che richiede ipotesi aggiuntive.

Eliminare tutte le righe incomplete, procedura detta complete-case analysis, è semplice ma può ridurre molto il campione e alterarne la composizione. La sua validità dipende dall’oggetto stimato e dal meccanismo di assenza; MCAR è una condizione sufficiente in molti casi, non una condizione universalmente necessaria per ogni regressione. Sostituire ogni dato mancante con la media comprime artificialmente la variabilità e, se l’incertezza dell’imputazione viene ignorata, può dare errori standard troppo piccoli. L’imputazione multipla costruisce più completamenti plausibili e combina stime e incertezza, ma non rende superflue le assunzioni sul processo di assenza.

Unioni, duplicati e controlli di coerenza

L’unione fra archivi deve rispettare la cardinalità delle chiavi. Se un archivio contiene una riga per impresa e un altro una riga per fattura, l’unione produce correttamente più righe per impresa soltanto se si intende lavorare a livello di fattura. Se entrambi contengono duplicati non previsti, una relazione molti-a-molti può moltiplicare le righe. L’aumento del numero di osservazioni non rappresenta allora nuove informazioni, ma una duplicazione artificiale che altera pesi e precisione. Prima e dopo un’unione occorre confrontare numero di righe, unicità delle chiavi e distribuzione delle unità.

I controlli di coerenza devono combinare regole logiche e conoscenza del fenomeno. Una durata negativa può essere un errore di data; un’età di 140 anni può derivare da una codifica; una perdita d’impresa negativa può invece essere perfettamente legittima. Un valore estremo non va cancellato soltanto perché scomodo per la regressione. Occorre distinguere errore documentabile, osservazione rara ma autentica e cambiamento nella definizione della variabile. È buona pratica conservare i dati originali e applicare trasformazioni riproducibili, anziché modificare manualmente celle senza lasciarne traccia.

Esempio svolto: media semplice e media ponderata

Un campione contiene 80 studenti del gruppo A, con spesa media di 100 euro, e 20 del gruppo B, con spesa media di 200 euro. La media non ponderata è (80 × 100 + 20 × 200)/100 = 120 euro. Nella popolazione, però, i due gruppi hanno uguale numerosità. La media coerente con questa composizione è 0,5 × 100 + 0,5 × 200 = 150 euro. La differenza di 30 euro non nasce da un nuovo comportamento degli studenti: nasce dal peso attribuito ai gruppi. Per stimare la precisione della media ponderata serve anche conoscere il disegno di campionamento; la sola correzione della media non completa l’inferenza.

Una tabella descrittiva utile riporta, per ciascuna variabile, definizione, unità di misura, numero di valori osservati, media, deviazione standard e quantili pertinenti. Per variabili asimmetriche mediana e intervallo interquartile possono essere più informativi della sola media. Per categorie vanno riportate frequenze e proporzioni. Le statistiche descrittive non sono una formalità iniziale: permettono di scoprire incongruenze, verificare la plausibilità dei confronti e comprendere a quale popolazione i risultati si riferiscono effettivamente.

Sommatorie e identità utili

La notazione ∑_i=1ⁿx_i indica la somma delle n osservazioni di una variabile. La media campionaria è x̄ = (1/n)∑_ix_i. Le sommatorie rispettano la linearità: ∑_i(ax_i + b) = a∑_ix_i + nb. Non è invece vero, in generale, che la somma dei prodotti coincida con il prodotto delle somme. Con x = (1, 2) e y = (3, 4), ∑_ix_iy_i = 11, mentre (∑_ix_i)(∑_iy_i) = 21. La distinzione diventa essenziale nelle formule di covarianza e regressione.

Gli scarti dalla media sommano a zero: ∑_i(x_i − x̄) = 0. Da questa proprietà segue che ∑_i(x_i − x̄)y_i = ∑_i(x_i − x̄)(y_i − ȳ). La somma dei quadrati centrati può essere riscritta come ∑_i(x_i − x̄)² = ∑_ix_i² − nx̄². Per verificarlo basta espandere il quadrato, sommare e sostituire ∑_ix_i = nx̄. Queste identità non sono scorciatoie da memorizzare senza significato: esprimono il passaggio dai livelli alla variazione attorno alla media, che determina la pendenza della retta OLS.

Per due variabili si definiscono Sxx = ∑_i(x_i − x̄)² e Sxy = ∑_i(x_i − x̄)(y_i − ȳ). Il rapporto Sxy/Sxx misura quanta covariazione con y corrisponde a una unità di variabilità di x. Sxx è non negativo ed è zero soltanto quando tutte le x sono uguali. In quel caso il campione non contiene variazione capace di distinguere intercetta e pendenza. L’impossibilità di stimare una pendenza non è un problema del programma informatico, ma una mancanza di informazione nel disegno osservato.

Funzioni, dominio e composizione

Una funzione associa a ciascun valore ammesso dell’argomento un valore dell’esito. Il dominio specifica quali valori sono ammessi. La funzione logaritmo naturale ln(x) è definita, nei numeri reali, per x > 0. Pertanto la trasformazione logaritmica di una variabile con zeri o valori negativi richiede una scelta sostanziale, non la semplice esecuzione di un comando. Eliminare gli zeri cambia il campione; aggiungere una costante cambia la funzione e può modificare l’interpretazione. Non esiste una correzione universale che conservi automaticamente l’elasticità del modello originario.

Una funzione può essere lineare, affine, polinomiale, esponenziale o definita per tratti. La funzione y = a + bx è affine in x; in econometria viene comunemente chiamata lineare. Il modello y = β₀ + β₁x + β₂x² è non lineare in x ma lineare nei parametri β. Al contrario, y = β₀ + exp(β₁x) non è lineare nei parametri. Questa distinzione determina quali problemi possono essere risolti direttamente con OLS e quali richiedono una procedura di ottimizzazione non lineare, anche quando il grafico appare semplice.

Derivata e variazione marginale

La derivata f′(x) è il limite del rapporto incrementale [f(x + h) − f(x)]/h quando h tende a zero. Esprime la pendenza locale, cioè la variazione approssimata di f per una piccola variazione di x. Se y = 10 + 3x, la derivata è 3 in ogni punto. Se y = 10 + 3x − 0,2x², la derivata è 3 − 0,4x e dipende dal livello di x. Un coefficiente positivo sul termine lineare non implica quindi che l’effetto marginale sia positivo per ogni valore del regressore.

Le regole fondamentali sono d(xᵃ)/dx = axᵃ^-1, d ln(x)/dx = 1/x e d exp(x)/dx = exp(x). La derivata di una somma è la somma delle derivate. Per un prodotto vale (fg)′ = f′g + fg′; per una composizione vale la regola della catena: d f(g(x))/dx = f′(g(x))g′(x). Nel modello p(x) = 1/[1 + exp(−β₀ − β₁x)], la derivata è β₁p(x)[1 − p(x)]. Il coefficiente β₁ non coincide quindi con la variazione della probabilità: deve essere moltiplicato per un fattore che dipende dalla probabilità iniziale.

Derivate parziali e interazioni

Quando una funzione dipende da più argomenti, la derivata parziale rispetto a x descrive una variazione di x mantenendo fissi gli altri argomenti. Se f(x, z) = β₀ + β₁x + β₂z + β₃xz, allora ∂f/∂x = β₁ + β₃z. L’effetto di x dipende da z: questo è il significato matematico di un’interazione. Il coefficiente β₁ rappresenta l’effetto di x quando z = 0, non un effetto medio generale. Se zero è fuori dal dominio empiricamente rilevante, può essere utile centrare z attorno a un valore interpretabile.

Una variabile binaria non ammette una variazione infinitesima nel suo supporto. Per interpretarne l’effetto si confrontano di norma le previsioni quando passa da 0 a 1, mantenendo fissate le altre covariate. Nel modello lineare senza interazioni la differenza coincide con il suo coefficiente. Nel logit o nel probit occorre calcolare G(η + βD) − G(η), dove G è la funzione di risposta e η raccoglie gli altri regressori. Confondere una derivata rispetto a una variabile continua con una differenza discreta può alterare l’interpretazione quantitativa.

Elasticità e logaritmi

L’elasticità di y rispetto a x è ε = (dy/dx)(x/y), quando le quantità e la derivata sono definite. Misura la variazione percentuale locale di y associata a una variazione dell’1% di x. Nel modello y = Ax^β, con x e y positivi, ln(y) = ln(A) + βln(x), per cui l’elasticità è costante e uguale a β. Nel modello lineare y = a + bx l’elasticità è bx/(a + bx) e cambia con x. Il coefficiente di una regressione in livelli non può dunque essere chiamato elasticità senza questa conversione.

I logaritmi trasformano prodotti in somme: ln(ab) = ln(a) + ln(b), e potenze in coefficienti: ln(aᵇ) = b ln(a), quando le operazioni sono definite. Non trasformano le somme in somme di logaritmi: ln(a + b) non è ln(a) + ln(b). La differenza Δln(y) = ln(y₁/y₀) approssima il tasso di crescita (y₁ − y₀)/y₀ per variazioni piccole. Se y cresce da 100 a 110, il tasso esatto è 10%, mentre 100ln(1,10) è circa 9,531%. L’approssimazione è utile, ma per grandi variazioni va mantenuta distinta dalla variazione percentuale esatta.

Ottimizzazione e condizioni di primo ordine

Molti stimatori sono definiti come soluzioni di un problema di ottimizzazione. OLS sceglie i coefficienti che minimizzano la somma dei quadrati dei residui; la massima verosimiglianza sceglie i parametri che massimizzano la compatibilità probabilistica dei dati con il modello. Per una funzione differenziabile di una variabile, un punto interno di minimo soddisfa f′(x) = 0. Questa è una condizione necessaria, non sufficiente: può individuare anche un massimo o un punto stazionario che non è un estremo. La seconda derivata aiuta a distinguerli.

Per f(x) = (x − 4)² si ha f′(x) = 2(x − 4), quindi il punto stazionario è x = 4, e f″(x) = 2 > 0 conferma il minimo. Per f(x) = −(x − 4)² lo stesso punto è un massimo. Per f(x) = x³ la derivata si annulla in zero, ma la funzione attraversa quel punto senza raggiungere un estremo. Nei problemi con vincoli il minimo può trovarsi sulla frontiera e non soddisfare la condizione interna. Un parametro di varianza, per esempio, non può essere trattato come se ammettesse liberamente valori negativi.

Gradiente, hessiana e convessità

Per un vettore di parametri θ, il gradiente ∇Q(θ) raccoglie le derivate prime; la matrice Hessiana ∇²Q(θ) raccoglie le derivate seconde. Se l’Hessiana è positiva semidefinita su un insieme convesso, la funzione è convessa su quell’insieme; se è positiva definita in modo appropriato, il problema può avere un minimo unico. Nel criterio OLS Q(β) = (y − Xβ)′(y − Xβ), il gradiente è −2X′(y − Xβ) e l’Hessiana è 2X′X. Quando X ha rango pieno, X′X è positiva definita e il minimo è unico.

La convessità spiega perché OLS non richiede una ricerca fra molte soluzioni locali. Nei modelli non lineari, invece, l’ottimizzatore può incontrare massimi locali, regioni quasi piatte o problemi numerici. Un messaggio di convergenza non è una dimostrazione di identificazione, né garantisce che sia stato raggiunto il massimo globale. Conviene controllare valori iniziali alternativi, grandezza del gradiente, curvatura e plausibilità dei parametri. La conoscenza del problema matematico permette di interpretare i messaggi del software anziché accettarli passivamente.

Approssimazione di taylor e metodo delta

Un’approssimazione di Taylor del primo ordine scrive g(θ̂) ≈ g(θ) + g′(θ)(θ̂ − θ). Se θ̂ è vicino a θ, la trasformazione non lineare può essere approssimata localmente da una funzione lineare. Ne segue la formula del metodo delta: Var[g(θ̂)] ≈ [g′(θ)]²Var(θ̂). In pratica il parametro ignoto nella derivata viene sostituito con la sua stima. Per g(θ) = exp(θ), l’errore standard approssimato di exp(θ̂) è exp(θ̂)SE(θ̂). Per un vettore, la formula diventa ∇g(θ̂)′V̂∇g(θ̂).

L’approssimazione richiede regolarità e può essere scadente quando la trasformazione è molto curva, il campione è piccolo o la derivata si annulla nel punto rilevante. Per rapporti con denominatore vicino a zero la distribuzione può essere fortemente asimmetrica e gli intervalli costruiti meccanicamente possono risultare fuorvianti. La trasformazione diretta degli estremi di un intervallo può essere preferibile quando g è monotona e si dispone di un intervallo valido per θ. Non esiste un unico metodo corretto per ogni parametro non lineare: bisogna considerare geometria e supporto della quantità stimata.

Esercizio svolto: effetto marginale e punto di massimo

Si consideri la funzione prevista ŷ = 20 + 8x − 0,5x². L’effetto marginale è 8 − x. In x = 3 vale 5: un piccolo aumento di x è associato a circa cinque unità aggiuntive di y. In x = 10 vale −2. Il punto stazionario è x = 8; la seconda derivata è −1, quindi si tratta di un massimo della funzione quadratica. Il valore previsto è 20 + 64 − 32 = 52. Tuttavia, se i dati osservati coprono soltanto x fra 1 e 5, il massimo a 8 è un’extrapolazione. La soluzione algebrica resta corretta, ma la sua attendibilità empirica non è garantita dalla formula.

Perché serve l’algebra lineare

L’algebra matriciale permette di esprimere un modello con molti regressori senza riscrivere separatamente ogni equazione. Non cambia il contenuto economico del modello: rende visibili relazioni che nella notazione scalare rimangono nascoste. In una regressione con n osservazioni e k coefficienti, comprendendo l’intercetta, y è un vettore n × 1, X è una matrice n × k, β è un vettore k × 1 e u è un vettore n × 1. Il modello si scrive y = Xβ + u. La i-esima riga di X contiene le caratteristiche della i-esima osservazione; la j-esima colonna contiene tutti i valori del j-esimo regressore.

Un vettore colonna è una sequenza ordinata di numeri. La sua trasposta, indicata con un apice, è un vettore riga. Se x = (1, 2, 3)′ e z = (4, 0, 2)′, il prodotto interno x′z è 1 × 4 + 2 × 0 + 3 × 2 = 10. Il prodotto xx′ è invece una matrice 3 × 3, mentre x′x è lo scalare 14. L’ordine dei fattori e le dimensioni contano: due espressioni apparentemente simili possono rappresentare oggetti completamente diversi. Controllare le dimensioni è uno dei modi più efficaci per individuare errori nelle dimostrazioni econometriche.

Operazioni e dimensioni

Due matrici possono essere sommate quando hanno le stesse dimensioni. Il prodotto AB è definito quando il numero di colonne di A coincide con il numero di righe di B. Se A è m × r e B è r × p, AB è m × p. In generale AB non coincide con BA; talvolta BA non è neppure definito. Per la trasposta di un prodotto vale (AB)′ = B′A′: la trasposizione inverte l’ordine. Questa regola è indispensabile quando si calcola la varianza di una trasformazione lineare, poiché Var(Ay) = AVar(y)A′ per una matrice A non casuale.

La matrice identità I ha uno sulla diagonale e zero altrove. Moltiplicare una matrice per l’identità compatibile ne lascia invariati gli elementi. Una matrice quadrata A è invertibile se esiste A^-1 tale che AA^-1 = A^-1A = I. Per matrici invertibili, (AB)^-1 = B^-1A^-1. Non è lecito invertire elemento per elemento una matrice generale: il reciproco di ciascuna cella non produce l’inversa. Anche la divisione fra matrici non è un’operazione elementare equivalente alla divisione fra numeri; occorre precisare da quale lato si moltiplica per un’inversa.

Rango e indipendenza lineare

Le colonne di X sono linearmente indipendenti se nessuna può essere ottenuta come combinazione lineare delle altre. Il rango di X è il numero massimo di colonne linearmente indipendenti. Quando il rango è k, X ha rango pieno rispetto alle colonne e X′X è invertibile. Se invece un regressore è esattamente il doppio di un altro, i rispettivi effetti non possono essere separati: molte coppie di coefficienti producono le stesse previsioni. Il problema prende il nome di multicollinearità perfetta e riguarda l’identificazione dei coefficienti nel campione.

Un esempio comune è la presenza contemporanea di intercetta e indicatori per tutte le categorie di una classificazione esaustiva. Se ogni persona appartiene esattamente a uno fra tre gruppi, D₁ + D₂ + D₃ = 1. La colonna dell’intercetta è quindi la somma delle tre colonne indicatrici. Occorre omettere una categoria oppure eliminare l’intercetta, con una parametrizzazione coerente. La categoria omessa non scompare dai dati: diventa il riferimento rispetto al quale interpretare gli altri coefficienti. Il software può eliminare automaticamente una colonna, ma questa operazione non sostituisce la comprensione della parametrizzazione.

Forme quadratiche e definitezza

Una forma quadratica è un’espressione x′Ax, dove A è quadrata. Se A è simmetrica, si dice positiva semidefinita quando x′Ax ≥ 0 per ogni x e positiva definita quando la disuguaglianza è stretta per ogni x diverso da zero. Una matrice di covarianza è sempre positiva semidefinita, perché la varianza di qualsiasi combinazione lineare non può essere negativa. Anche X′X è positiva semidefinita: per qualsiasi a, a′X′Xa = (Xa)′(Xa), cioè una somma di quadrati. Diventa positiva definita quando Xa = 0 implica necessariamente a = 0.

La traccia tr(A) è la somma degli elementi diagonali. Per prodotti compatibili tr(AB) = tr(BA). Gli autovalori descrivono quanto una trasformazione allunga o comprime determinate direzioni; per una matrice simmetrica sono reali. Un autovalore molto piccolo di X′X segnala una direzione dei coefficienti poco informata dai dati. Non è necessaria una dipendenza esatta per avere problemi: regressori quasi ridondanti possono rendere le stime numericamente instabili e gli errori standard elevati. Standardizzare le scale può migliorare il calcolo, ma non crea informazione che manca.

Dal criterio OLS alle equazioni normali

La somma dei quadrati dei residui è Q(β) = (y − Xβ)′(y − Xβ). Espandendo il prodotto si ottiene Q(β) = y′y − 2β′X′y + β′X′Xβ. Il termine y′y non dipende da β. Derivando rispetto al vettore dei coefficienti e ponendo il gradiente uguale a zero si ottiene X′Xβ̂ = X′y, le equazioni normali. Quando X ha rango pieno, la soluzione unica è:

Il vettore dei valori stimati è ŷ = Xβ̂, mentre il vettore dei residui è û = y − ŷ. Dalle equazioni normali segue X′û = 0: ogni colonna di X è ortogonale ai residui. Questa è un’identità algebrica del campione, valida per il criterio OLS, non una prova che i regressori siano esogeni nella popolazione. Il fatto che la covarianza campionaria fra regressori e residui sia zero non dimostra che la covarianza fra regressori ed errori strutturali sia zero. Residui stimati ed errori non osservati sono oggetti diversi.

Proiezione ortogonale

Le combinazioni lineari delle colonne di X formano uno spazio di possibili vettori previsivi. OLS sceglie il vettore in questo spazio più vicino a y secondo la distanza euclidea. Si definisce P_x = X(X′X)^-1X′, detta matrice di proiezione o hat matrix, perché trasforma y in ŷ: ŷ = P_xy. La matrice M_x = I − P_x produce invece i residui: û = M_xy. Entrambe sono simmetriche e idempotenti, cioè P_x² = P_x e M_x² = M_x. Proiettare una seconda volta un vettore già proiettato non lo modifica.

L’ortogonalità fra ŷ e û implica il teorema di Pitagora non centrato y′y = ŷ′ŷ + û′û. Se nel modello è presente l’intercetta, i residui sommano a zero e si ottiene anche la decomposizione centrata della variabilità attorno alla media. Questa distinzione spiega perché alcune proprietà usuali di R² richiedono l’intercetta. Senza costante, la decomposizione rispetto a ȳ e l’intervallo abituale di R² non possono essere dati per scontati. Un risultato negativo del coefficiente di determinazione centrato non è allora necessariamente un errore di calcolo.

Leverage e gradi di libertà

Gli elementi diagonali h_ii di P_x misurano il leverage delle osservazioni, cioè quanto la loro posizione nello spazio dei regressori può incidere sulla propria previsione. Con rango pieno si ha 0 ≤ h_ii ≤ 1 e ∑_ih_ii = tr(P_x) = k. Il leverage medio è quindi k/n. Un’osservazione molto lontana dal centro dei regressori può avere leverage elevato anche se il suo residuo è piccolo. Leverage, residuo e influenza non sono sinonimi: l’influenza combina la posizione del punto con il suo disaccordo rispetto alla relazione stimata.

Poiché tr(M_x) = n − k, lo spazio residuo ha dimensione n − k. Questa è l’origine geometrica dei gradi di libertà nella stima s² = û′û/(n − k) della varianza dell’errore nel modello omoschedastico. Stimare k coefficienti impone k vincoli lineari ai residui. Dividere per n ignora questi vincoli e, nel modello classico, produce una stima distorta verso il basso della varianza. Il divisore non è una correzione convenzionale arbitraria: deriva dalla dimensione della componente che rimane dopo la proiezione.

Esempio matriciale completo

Si osservano x = (0, 1, 2)′ e y = (1, 2, 2)′. Con intercetta, X ha righe (1, 0), (1, 1), (1, 2). Si ottiene X′X = [[3, 3], [3, 5]] e X′y = (5, 6)′. Il determinante di X′X è 15 − 9 = 6, quindi la matrice è invertibile e (X′X)^-1 = (1/6)[[5, −3], [−3, 3]]. Moltiplicando per X′y si trova β̂ = (7/6, 1/2)′. La retta stimata è pertanto ŷ = 7/6 + x/2. Gli stessi risultati possono essere ottenuti dalla formula scalare della pendenza, mostrando che le due notazioni rappresentano il medesimo stimatore.

Le previsioni sono (7/6, 5/3, 13/6)′ e i residui sono (−1/6, 1/3, −1/6)′. La loro somma è zero; inoltre ∑_ix_iû_i = 0 × (−1/6) + 1 × (1/3) + 2 × (−1/6) = 0. La somma dei quadrati residui è 1/36 + 1/9 + 1/36 = 1/6. Con n = 3 e k = 2, s² = 1/6. I leverage sono 5/6, 1/3 e 5/6: sommano a 2, il numero dei coefficienti. Gli estremi di x hanno maggiore leverage del punto centrale.

Calcolo numerico e interpretazione

La formula con l’inversa è fondamentale per la teoria, ma non implica che un programma debba calcolare esplicitamente (X′X)^-1. Metodi basati su fattorizzazione QR o decomposizione ai valori singolari possono essere più stabili numericamente. Formare X′X può amplificare i problemi di condizionamento. Inoltre, una pseudoinversa consente di ottenere una soluzione quando il rango è insufficiente, ma non rende separatamente identificati coefficienti ridondanti. Una procedura numerica può scegliere una soluzione fra molte senza attribuirle un significato economico unico.

L’algebra lineare offre quindi tre vantaggi distinti: compatta la notazione, rende trasparenti le dimostrazioni e aiuta a diagnosticare la mancanza di informazione. La formula OLS va letta insieme alle sue dimensioni e alle condizioni di rango. Una volta compresa la proiezione, diventano più intuitivi il ruolo dei controlli, la regressione parziale, i residui, i gradi di libertà e le formule robuste della varianza. La matrice non è un formalismo aggiuntivo: è una rappresentazione strutturata degli stessi confronti che la regressione compie fra le osservazioni.

Incertezza, eventi e variabili casuali

La probabilità formalizza l’incertezza relativa agli esiti di un procedimento. Lo spazio campionario contiene gli esiti possibili; un evento è un insieme di tali esiti. Una probabilità assegna a ogni evento un numero fra zero e uno, attribuisce probabilità uno all’intero spazio e somma le probabilità di eventi incompatibili. Se A e B non possono verificarsi insieme, P(A ∪ B) = P(A) + P(B). In generale, quando possono sovrapporsi, occorre sottrarre l’intersezione: P(A ∪ B) = P(A) + P(B) − P(A ∩ B). Ignorare la sovrapposizione significa contare due volte alcuni esiti.

Una variabile casuale associa un numero agli esiti del procedimento. Prima di osservare il campione, il reddito della persona che verrà estratta è una variabile casuale; dopo l’osservazione, il valore registrato è una realizzazione. La distinzione fra variabile e realizzazione è la stessa che ricompare fra stimatore e stima. Anche quando i dati di un archivio sono ormai fissati, l’inferenza può considerare il procedimento ipotetico che li ha generati o il meccanismo casuale di assegnazione di un trattamento. Occorre sapere da quale fonte di casualità deriva l’incertezza quantificata.

Distribuzioni discrete e continue

Una variabile discreta assume valori in un insieme finito o numerabile. La funzione di probabilità p(x) = P(X = x) assegna una massa a ogni valore, con p(x) ≥ 0 e ∑_xp(x) = 1. Una variabile continua, nel caso dotato di densità, è descritta da una funzione f(x) non negativa la cui area totale è uno. La probabilità di un intervallo è P(a ≤ X ≤ b) = ∫_aᵇf(x)dx. La densità in un punto non è la probabilità di quel punto e può anche superare uno, purché l’area complessiva rimanga uno.

Per una variabile continua con densità, P(X = x) = 0 per ogni singolo x. Ciò non significa che non possa essere osservato un valore: significa che la probabilità è distribuita su un insieme continuo e va attribuita a intervalli. La funzione di ripartizione F(x) = P(X ≤ x) è definita sia per variabili discrete sia per variabili continue. È non decrescente, tende a zero verso l’estremo inferiore e a uno verso quello superiore. Il quantile di ordine p può essere definito come il più piccolo valore x tale che F(x) ≥ p; questa definizione resta utile anche quando la distribuzione presenta salti.

Valore atteso e momenti

Il valore atteso è una media ponderata secondo le probabilità. Per una variabile discreta, E(X) = ∑_xxp(x); per una continua, E(X) = ∫xf(x)dx, quando l’integrale è ben definito. Non coincide necessariamente con il valore più frequente né con un valore effettivamente possibile. Se una variabile Bernoulli assume soltanto zero e uno con probabilità di successo 0,3, il suo valore atteso è 0,3, pur non potendo realizzarsi quel numero. La media descrive il centro della distribuzione nel senso della media ponderata, non un esito tipico in ogni possibile accezione.

La linearità dell’aspettativa implica E(aX + bY + c) = aE(X) + bE(Y) + c, senza richiedere indipendenza. Non vale invece, in generale, E[g(X)] = g[E(X)]. Per esempio, E(X²) è diverso da [E(X)]² quando X ha varianza positiva. Se g è convessa e le aspettative esistono, la disuguaglianza di Jensen stabilisce g[E(X)] ≤ E[g(X)]. Con g(x) = exp(x), questa proprietà spiega perché esponenziare il valore atteso di un logaritmo non restituisce automaticamente la media della variabile in livelli.

Varianza, deviazione standard e dispersione

La varianza è Var(X) = E[(X − μ)²] = E(X²) − μ², con μ = E(X). Misura la dispersione quadratica attorno alla media ed è espressa nel quadrato dell’unità di misura. La deviazione standard σ = √Var(X) torna invece all’unità originaria. Se X è un reddito in euro, la varianza è in euro al quadrato e la deviazione standard in euro. Per una trasformazione affine, Var(aX + b) = a²Var(X): aggiungere una costante sposta la distribuzione senza allargarla, mentre moltiplicare per a modifica la dispersione.

La deviazione standard dei dati non coincide con l’errore standard di uno stimatore. La prima descrive quanto differiscono le osservazioni; il secondo descrive quanto cambierebbe la stima fra campioni o assegnazioni ripetute. In un campione indipendente, la media può essere stimata con grande precisione anche quando gli individui sono molto eterogenei. Viceversa, una bassa dispersione osservata in poche unità non garantisce una stima precisa. Questa distinzione deve essere mantenuta quando si leggono tabelle descrittive e tabelle di regressione.

Bernoulli e binomiale

Una variabile X ha distribuzione Bernoulli con parametro p se assume uno con probabilità p e zero con probabilità 1 − p. Poiché X² = X, E(X) = p e Var(X) = p − p² = p(1 − p). La varianza è massima in p = 0,5 e si riduce quando l’esito è quasi certo. La somma di n prove Bernoulli indipendenti con lo stesso parametro p ha distribuzione binomiale. Se S conta i successi, P(S = s) = C(n,s)pˢ(1 − p)^n-ˢ, E(S) = np e Var(S) = np(1 − p).

L’indipendenza e l’uguaglianza della probabilità di successo sono condizioni sostanziali. Dieci decisioni prese da persone che si influenzano reciprocamente non costituiscono necessariamente dieci prove Bernoulli indipendenti. Anche la somma di Bernoulli indipendenti con probabilità differenti non segue, in generale, la binomiale con un unico parametro. In econometria gli esiti binari sono spesso eterogenei: la probabilità di occupazione dipende da età, istruzione e condizioni del mercato. Il modello deve rappresentare questa eterogeneità invece di attribuire a tutti lo stesso p per comodità.

Poisson ed esponenziale

La distribuzione di Poisson descrive conteggi non negativi attraverso P(X = x) = exp(−λ)λˣ/x!, per x = 0, 1, 2, … e λ > 0. Media e varianza sono entrambe uguali a λ. Questa uguaglianza, detta equidispersione, è una proprietà del modello distributivo, non di tutti i conteggi osservati. Se il numero di acquisti presenta una varianza molto superiore alla media, una Poisson pienamente specificata può essere troppo restrittiva. Ciò non impedisce necessariamente di stimare correttamente una media condizionata con una procedura Poisson quasi-verosimile, purché si distinguano ipotesi sulla media e ipotesi sull’intera distribuzione.

La distribuzione esponenziale con tasso λ ha densità f(t) = λexp(−λt), per t ≥ 0, media 1/λ e funzione di sopravvivenza P(T > t) = exp(−λt). È caratterizzata da un rischio istantaneo costante e dall’assenza di memoria: la distribuzione della durata residua non dipende dalla durata già trascorsa. Tale proprietà può essere utile in modelli elementari di attesa, ma è spesso restrittiva per disoccupazione, sopravvivenza delle imprese o durata dei contratti. L’appropriatezza economica di una distribuzione non deriva dalla semplicità della sua formula.

Normale e standardizzazione

Una variabile normale X ∼ N(μ, σ²) ha densità simmetrica a campana, determinata da media e varianza. La trasformazione Z = (X − μ)/σ produce una normale standard N(0,1). La standardizzazione sottrae la posizione e divide per la scala, consentendo di utilizzare un’unica funzione di ripartizione Φ. Per una normale standard, l’intervallo approssimato [−1,96; 1,96] contiene il 95% della probabilità. Questi valori sono quantili di una distribuzione specifica: non descrivono automaticamente il 95% di qualunque insieme di dati.

Una combinazione lineare di variabili congiuntamente normali è normale. La normalità congiunta è più forte della normalità separata delle distribuzioni marginali. Inoltre, dati economici come redditi, patrimoni e conteggi sono spesso asimmetrici o limitati inferiormente; non vanno dichiarati normali soltanto perché si applica una regressione. In molte procedure l’approssimazione normale riguarda la distribuzione dello stimatore in grandi campioni, non la distribuzione delle singole osservazioni. Confondere queste due affermazioni conduce a imporre ipotesi inutilmente forti sui dati.

Chi-quadrato, student e f

Se Z₁, …, Zν sono normali standard indipendenti, la somma dei loro quadrati ha distribuzione chi-quadrato con ν gradi di libertà. Se Z è normale standard, V è chi-quadrato con ν gradi di libertà e i due sono indipendenti, il rapporto Z/√(V/ν) ha distribuzione t di Student. La t è simmetrica ma ha code più pesanti della normale: incorpora l’incertezza dovuta alla stima della scala. Al crescere dei gradi di libertà si avvicina alla normale standard. In piccoli campioni i quantili t possono essere sensibilmente maggiori di 1,96.

Il rapporto (V₁/ν₁)/(V₂/ν₂), con chi-quadrato indipendenti, segue una distribuzione F con ν₁ e ν₂ gradi di libertà. La F è non negativa ed è usata per confrontare restrizioni multiple nel modello lineare classico. Una t al quadrato con ν gradi di libertà segue una F con 1 e ν gradi di libertà. Questa relazione spiega perché il test F di una singola restrizione coincide con il quadrato del corrispondente test t, quando si impiegano la stessa stima di varianza e le stesse ipotesi.

Esempio svolto e controllo concettuale

Un’attività ha probabilità p = 0,2 di ricevere un reclamo per ciascuna di cinque consegne indipendenti e omogenee. Il numero atteso di reclami è 5 × 0,2 = 1, la varianza è 5 × 0,2 × 0,8 = 0,8 e la probabilità di nessun reclamo è 0,8⁵ = 0,32768. La probabilità di almeno un reclamo è quindi 1 − 0,32768 = 0,67232. Il numero atteso di un reclamo non significa che il caso più probabile debba coincidere con un reclamo in ogni problema analogo, né che ogni gruppo di cinque consegne ne produrrà esattamente uno.

Se tutte le consegne provengono dallo stesso lotto difettoso, l’ipotesi di indipendenza può fallire: sapere che una consegna ha generato un reclamo rende più plausibili altri reclami. La formula binomiale non è allora giustificata soltanto dal fatto che ciascuna consegna abbia due esiti. Il principio generale è che la scelta della distribuzione deve collegare supporto, dipendenza e meccanismo economico. La probabilità è uno strumento per rendere esplicite queste condizioni, non un insieme di formule da applicare senza interrogarsi sulla loro origine.

Osservare due variabili insieme

La distribuzione congiunta descrive quali combinazioni di valori di due o più variabili possono verificarsi e con quale probabilità. Con variabili discrete, p(x,y) = P(X = x, Y = y). Sommando rispetto a y si ottiene la distribuzione marginale di X: pX(x) = ∑ᵧp(x,y). Sommando rispetto a x si ottiene quella di Y. Nel caso continuo le somme sono sostituite da integrali. Una distribuzione marginale riassume una variabile senza distinguere i valori dell’altra; una distribuzione condizionata descrive invece il comportamento di una variabile all’interno di un insieme informativo specificato.

Si consideri una popolazione in cui X indica la partecipazione a un corso e Y il superamento di un esame. Le probabilità congiunte siano P(X = 0,Y = 0) = 0,30, P(0,1) = 0,20, P(1,0) = 0,10 e P(1,1) = 0,40. La probabilità marginale di partecipare è 0,50 e quella di superare l’esame è 0,60. Fra i partecipanti, però, la probabilità di superamento è 0,40/0,50 = 0,80; fra i non partecipanti è 0,20/0,50 = 0,40. Le distribuzioni condizionate mostrano quindi un’associazione che la sola percentuale complessiva del 60% non descrive.

Probabilità condizionata e teorema di bayes

Per un evento B con probabilità positiva, P(A|B) = P(A ∩ B)/P(B). Condizionare significa restringere l’universo di riferimento agli esiti compatibili con B e rinormalizzare le probabilità. In generale P(A|B) è diversa da P(B|A). Il teorema di Bayes collega le due quantità:

Se A₁, …, A_m formano una partizione dello spazio, la probabilità totale è P(B) = ∑_jP(B|A_j)P(A_j). La formula mostra che una probabilità inversa dipende sia dall’accuratezza del segnale sia dalla frequenza iniziale dell’evento. Un indicatore molto sensibile può generare numerosi falsi allarmi quando l’evento cercato è raro. In un problema economico di rilevazione di frodi, insolvenze o difetti, ignorare il tasso di base può produrre conclusioni sbagliate anche usando correttamente la sensibilità del classificatore.

Supponiamo che il 2% delle transazioni sia irregolare, che un controllo segnali il 90% delle irregolarità e che segnali erroneamente il 5% delle transazioni regolari. La probabilità di una segnalazione è 0,90 × 0,02 + 0,05 × 0,98 = 0,067. La probabilità di irregolarità condizionata alla segnalazione è 0,018/0,067 ≈ 0,2687. Il 90% è la probabilità di segnalazione dato che esiste un’irregolarità, non la probabilità di irregolarità dato che esiste una segnalazione. Il valore predittivo positivo è qui circa il 26,9%.

Indipendenza e incorrelazione

X e Y sono indipendenti se la loro distribuzione congiunta si fattorizza nelle marginali: p(x,y) = pX(x)pY(y), oppure f(x,y) = fX(x)fY(y) nel caso di densità. L’indipendenza implica che conoscere X non cambia la distribuzione di Y. Quando i momenti esistono, implica E(XY) = E(X)E(Y) e covarianza nulla. Il contrario non vale in generale: una covarianza nulla esclude soltanto una forma di associazione lineare, non tutte le dipendenze possibili.

Per esempio, sia X uniforme su [−1,1] e sia Y = X². Per simmetria E(X) = 0 ed E(X³) = 0, quindi Cov(X,Y) = E(X³) − E(X)E(X²) = 0. Tuttavia Y è determinata interamente da X e le due variabili non sono indipendenti. Un grafico mostrerebbe una relazione a U perfettamente deterministica. Per variabili congiuntamente normali, invece, la covarianza nulla implica indipendenza. La condizione di normalità congiunta è ciò che rende valido quel risultato particolare.

Covarianza e correlazione

La covarianza è Cov(X,Y) = E[(X − μX)(Y − μY)] = E(XY) − μXμY. È positiva quando scarti dello stesso segno tendono ad associarsi, negativa quando scarti di segno opposto tendono ad associarsi. La sua grandezza dipende dalle unità di misura. Il coefficiente di correlazione ρ = Cov(X,Y)/(σXσY), definito quando le deviazioni standard sono positive e finite, elimina questa dipendenza dalla scala ed è compreso fra −1 e 1. I valori estremi corrispondono a una relazione affine quasi certamente perfetta, crescente o decrescente.

Per combinazioni lineari, Var(aX + bY) = a²Var(X) + b²Var(Y) + 2abCov(X,Y). La covarianza è quindi essenziale anche per calcolare l’incertezza di una somma o di una differenza di coefficienti stimati. Se due stime hanno errori standard 0,2 e 0,3, non è possibile ricavare l’errore standard della loro somma conoscendo soltanto questi due numeri: serve anche la covarianza. Assumerla uguale a zero senza giustificazione può sovrastimare o sottostimare la precisione del confronto.

Aspettativa condizionata

La funzione m(x) = E(Y|X = x) è la media della distribuzione di Y fra le unità che presentano quel valore di X. Prima di osservare X, la quantità m(X) è essa stessa una variabile casuale. La funzione di aspettativa condizionata, spesso indicata con CEF, può essere lineare oppure non lineare. Una regressione lineare correttamente specificata per la media assume m(x) = β₀ + β₁x. Questa è un’ipotesi sulla forma della media condizionata, non l’affermazione che tutti i valori individuali di Y si trovino esattamente su una retta.

Definendo u = Y − m(X), si ha per costruzione E(u|X) = 0. Di conseguenza, per qualsiasi funzione integrabile h(X) per cui i prodotti siano ben definiti, E[h(X)u] = 0. Questo risultato non significa che qualsiasi errore introdotto in un modello economico abbia media condizionata nulla. Vale per il residuo teorico definito rispetto alla vera aspettativa condizionata. Se si impone una forma funzionale sbagliata, oppure se u è un errore strutturale che contiene fattori correlati con X, la proprietà non può essere attribuita automaticamente al modello specificato.

Legge delle aspettative iterate

La legge delle aspettative iterate stabilisce E[E(Y|X)] = E(Y). La media complessiva può essere ottenuta prima calcolando le medie all’interno dei gruppi definiti da X e poi facendo la media di tali medie con i pesi corretti. Nell’esempio corso-esame, la probabilità complessiva di superamento è 0,80 × 0,50 + 0,40 × 0,50 = 0,60. Con pesi diversi si otterrebbe un risultato diverso: la media delle medie non ponderata è corretta soltanto in casi particolari, come gruppi di uguale probabilità.

In una forma più generale, quando l’informazione Z è contenuta nell’informazione (X,Z), vale E[E(Y|X,Z)|Z] = E(Y|Z). Questa proprietà consente di semplificare molti passaggi nelle dimostrazioni di esogeneità e consistenza. Se E(u|X,Z) = 0, allora anche E(u|Z) = 0. Non vale il contrario: una media nulla dopo aver condizionato su poche informazioni non implica una media nulla dopo aver aggiunto informazioni. L’errore può nascondere relazioni che diventano visibili soltanto all’interno di sottogruppi più specifici.

Scomposizione della varianza

La legge della varianza totale afferma:

Il primo termine misura la dispersione media che rimane all’interno dei gruppi; il secondo misura la dispersione fra le loro medie. Per dimostrarla si scrive Y − E(Y) = [Y − m(X)] + [m(X) − E(Y)], si eleva al quadrato e si prende l’aspettativa. Il termine incrociato è nullo perché E[Y − m(X)|X] = 0. La decomposizione mostra che conoscere X può ridurre l’incertezza su Y, ma non necessariamente eliminarla. Anche una media condizionata perfettamente conosciuta lascia variabilità individuale se Var(Y|X) è positiva.

La varianza condizionata può cambiare con X: questo fenomeno è l’eteroschedasticità. Per una variabile binaria, Var(Y|X) = p(X)[1 − p(X)], perciò una probabilità che varia fra le unità genera naturalmente una varianza condizionata non costante. Non è un’anomalia dei dati: è una conseguenza della distribuzione Bernoulli. La stima della media e la stima della sua incertezza richiedono quindi ipotesi distinte. Una specificazione corretta per E(Y|X) non garantisce che la formula omoschedastica degli errori standard sia appropriata.

La migliore previsione quadratica

Fra tutte le funzioni g(X) con momenti appropriati, m(X) = E(Y|X) minimizza E[(Y − g(X))²]. La dimostrazione usa la decomposizione Y − g(X) = [Y − m(X)] + [m(X) − g(X)]. Prendendo il quadrato e l’aspettativa, il termine incrociato è zero e rimane E[(Y − g(X))²] = E[(Y − m(X))²] + E[(m(X) − g(X))²]. Il secondo addendo è non negativo e si annulla quando g coincide con m quasi certamente. La media condizionata è dunque la previsione ottimale sotto perdita quadratica.

Con una perdita assoluta, invece, una mediana condizionata minimizza l’errore atteso. Con perdite asimmetriche diventano pertinenti i quantili. Non esiste una previsione «migliore» indipendentemente dal criterio con cui si penalizzano gli errori. Sottostimare la domanda può avere costi diversi da sovrastimarla; in tal caso il criterio economico può non coincidere con l’errore quadratico medio. L’econometria collega la distribuzione predittiva alla decisione, ma la funzione di perdita deve essere specificata e non è determinata automaticamente dal modello.

Proiezione lineare e media condizionata

La migliore proiezione lineare cerca il vettore β che minimizza E[(Y − X′β)²], limitando la previsione alle funzioni lineari dei regressori inclusi. Le condizioni del primo ordine sono E[X(Y − X′β)] = 0 e, se E(XX′) è invertibile, β = [E(XX′)]^-1E(XY). Questa quantità esiste anche quando la vera media condizionata è non lineare. In quel caso descrive la migliore approssimazione lineare secondo il criterio quadratico e la distribuzione osservata di X, non necessariamente un parametro strutturale costante.

La distinzione è importante per interpretare OLS in presenza di specificazione imperfetta. Un coefficiente può essere stimato coerentemente come parametro della proiezione lineare anche se E(u|X) non è zero per l’errore della forma lineare. Basta la condizione di ortogonalità E(Xu) = 0 definita dalla proiezione, insieme alle regolarità necessarie. Tuttavia, cambiando la distribuzione dei regressori può cambiare la migliore approssimazione lineare. Trasportare il coefficiente a una popolazione diversa richiede quindi attenzione, soprattutto quando si desidera attribuirgli un significato causale invariabile.

Esercizio svolto: informazione e previsione

In due gruppi di uguale numerosità, Y ha medie rispettivamente 10 e 20 e varianze interne entrambe pari a 4. La media totale è 15. La varianza fra le medie è 0,5(10 − 15)² + 0,5(20 − 15)² = 25. La varianza totale è quindi 4 + 25 = 29. Senza conoscere il gruppo, la migliore previsione quadratica è 15 e il suo errore quadratico medio è 29. Conoscendo il gruppo, si prevede 10 oppure 20 e l’errore quadratico medio scende a 4. La variabile di gruppo elimina la componente fra gruppi, ma non la variabilità interna. Non ne segue che modificare l’appartenenza al gruppo provochi un cambiamento di dieci unità: la dimostrazione riguarda informazione e previsione.

La distribuzione campionaria

Uno stimatore è una funzione del campione e, prima dell’osservazione, è una variabile casuale. La sua distribuzione campionaria descrive i valori che assumerebbe ripetendo il procedimento di campionamento nelle medesime condizioni. Per esempio, la media di cento redditi cambia da un campione all’altro anche se la popolazione rimane invariata. L’inferenza usa la distribuzione di questa variazione per valutare la precisione. Non bisogna confondere la distribuzione delle cento osservazioni all’interno di un campione con la distribuzione delle medie fra molti campioni.

L’ipotesi i.i.d. significa osservazioni indipendenti e identicamente distribuite. L’indipendenza esclude dipendenze fra unità; l’identica distribuzione richiede che ogni unità sia generata dalla stessa legge probabilistica. È un’idealizzazione utile per sviluppare la teoria di base, non una proprietà automatica di qualunque archivio. Nei panel, nelle serie storiche e nei dati raggruppati la dipendenza è spesso parte della struttura. Esistono leggi dei grandi numeri e teoremi del limite centrale anche per sequenze dipendenti, ma richiedono condizioni differenti e possono implicare varianze asintotiche diverse.

Media e varianza della media

Se X₁, …, X_n sono i.i.d. con E(X_i) = μ e Var(X_i) = σ² finita, la media X̄ ha E(X̄) = μ e Var(X̄) = σ²/n. La prima proprietà deriva dalla linearità dell’aspettativa. Per la seconda si sommano le varianze delle osservazioni indipendenti e si divide per n². La deviazione standard di X̄ è quindi σ/√n. Per dimezzare l’errore standard occorre quadruplicare n, non raddoppiarlo. Questa relazione chiarisce perché aumentare un campione già grande produce miglioramenti marginali decrescenti nella precisione.

Con dipendenza, invece, Var(X̄) = n^-2[∑_iVar(X_i) + 2∑_i<_jCov(X_i,X_j)]. Se le covarianze sono positive, ignorarle sottostima la varianza della media. In un esempio con n osservazioni aventi varianza σ² e correlazione comune ρ, la varianza della media è σ²[1 + (n − 1)ρ]/n. Con ρ > 0 costante, la precisione non migliora indefinitamente come nel caso indipendente. Una grande quantità di osservazioni quasi replicate può aggiungere poca informazione rispetto a un numero minore di unità realmente indipendenti.

Convergenza in probabilità

Una successione Z_n converge in probabilità a z se, per ogni ε > 0, P(|Z_n − z| > ε) tende a zero quando n cresce. Si scrive Z_n →p z oppure plim Z_n = z. Non si afferma che ogni campione più grande produca una stima più vicina al parametro del precedente: si afferma che la probabilità di uno scostamento superiore a una soglia fissata diventa piccola. Una successione può oscillare e avere realizzazioni sfavorevoli pur essendo consistente nel senso probabilistico.

La legge dei grandi numeri stabilisce, sotto condizioni adeguate, che una media campionaria converge alla corrispondente aspettativa. Nel caso i.i.d. con valore assoluto integrabile, X̄ →p μ. Un modo elementare per comprenderne il risultato, assumendo anche varianza finita, usa la disuguaglianza di Chebyshev: P(|X̄ − μ| ≥ ε) ≤ σ²/(nε²), che tende a zero. La prova mostra il ruolo della riduzione della varianza. Versioni più generali non richiedono necessariamente un secondo momento finito, ma rimane indispensabile controllare l’esistenza della quantità verso cui si vuole convergere.

Cosa non dice la legge dei grandi numeri

La legge non corregge un campione sistematicamente selezionato. Se tutte le osservazioni provengono da una sottopopolazione con media μS diversa dalla media obiettivo μ, la media campionaria può convergere molto precisamente a μS. La consistenza è sempre riferita a un estimando e a un meccanismo di generazione. Analogamente, se uno stimatore converge a β + b anziché a β, aumentare n riduce la dispersione intorno al limite sbagliato senza eliminare la distorsione asintotica. È il caso tipico di OLS con endogeneità persistente.

Non tutte le distribuzioni hanno una media finita. La distribuzione di Cauchy, per esempio, non soddisfa le usuali condizioni sull’esistenza del primo momento; la media di osservazioni Cauchy indipendenti standard conserva la distribuzione Cauchy standard. Non si concentra intorno a un valore atteso che non esiste. Questo esempio impedisce di trasformare l’idea «molti dati stabilizzano la media» in una regola universale priva di ipotesi. In applicazioni con code molto pesanti, valori estremi e momenti instabili, la teoria standard può richiedere verifiche e metodi alternativi.

Il teorema del limite centrale

Per osservazioni i.i.d. con media μ e varianza 0 < σ² < ∞, il teorema del limite centrale afferma:

La notazione →d indica convergenza in distribuzione. Il teorema riguarda la forma della distribuzione degli scarti standardizzati della media, non la normalità dei dati originali. Una variabile Bernoulli rimane binaria per qualunque n, ma la sua media può avere una distribuzione approssimativamente normale quando il campione è sufficientemente informativo. L’approssimazione tende a essere meno accurata con probabilità molto vicine a zero o uno e con pochi successi o insuccessi osservati.

Il fattore √n è essenziale: X̄ converge a μ, mentre √n(X̄ − μ) conserva una variabilità non degenere nel limite. La legge dei grandi numeri descrive la concentrazione; il limite centrale descrive la velocità e la forma delle fluttuazioni attorno al limite. La formula X̄ ≈ N(μ,σ²/n) è una traduzione pratica dell’approssimazione per grandi campioni. Non esiste un numero magico universale, come trenta osservazioni, che renda l’approssimazione buona indipendentemente da asimmetria, code, dipendenza e parametro studiato.

Convergenza in distribuzione e continuità

La convergenza in distribuzione significa che le funzioni di ripartizione convergono nei punti di continuità della distribuzione limite. È più debole della convergenza in probabilità verso una variabile casuale generale, ma quando il limite è una costante la convergenza in distribuzione implica quella in probabilità. Il teorema della funzione continua permette di trasformare limiti: se Z_n →p z e g è continua in z, allora g(Z_n) →p g(z). Questa regola giustifica il passaggio da momenti campionari a rapporti, prodotti e matrici inverse, purché i denominatori o le matrici limite non siano degeneri.

Per esempio, Sxy/n può convergere a Cov(X,Y) e Sxx/n a Var(X). Se Var(X) > 0, il loro rapporto converge a Cov(X,Y)/Var(X). Se invece il denominatore limite è zero, il teorema non permette di concludere e la stima della pendenza non dispone della variazione necessaria. La continuità dell’inversione matriciale richiede analogamente che la matrice limite sia non singolare. Le condizioni di rango non sono quindi soltanto un requisito del calcolo finito: sono anche una parte dell’identificazione asintotica.

Teorema di slutsky e standardizzazione stimata

Il teorema di Slutsky consente di combinare una quantità che converge in distribuzione con una quantità che converge in probabilità a una costante. Se √n(X̄ − μ)/σ →d N(0,1) e s →p σ, allora √n(X̄ − μ)/s →d N(0,1). La sostituzione della deviazione standard ignota con una stima consistente non altera la distribuzione limite. Questa proprietà è alla base degli intervalli e dei test asintotici in cui la varianza viene stimata dai dati.

La distribuzione t esatta della media standardizzata richiede invece condizioni più forti, tipicamente osservazioni normali indipendenti e la consueta varianza campionaria. Con dati non normali, la statistica può essere asintoticamente normale senza essere esattamente t in campioni finiti. Usare quantili t come approssimazione può essere una convenzione ragionevole in alcuni contesti, ma non trasforma il risultato in un teorema esatto. La distinzione fra esattezza finita e validità asintotica deve accompagnare ogni formula inferenziale.

Versione multivariata e varianza di lungo periodo

Per un vettore di variabili W_i con media μ e matrice di covarianza Σ, una versione multivariata del limite centrale dà √n(W̄ − μ) →d N(0,Σ) sotto appropriate condizioni. La matrice limite conserva le covarianze fra le componenti. Per una funzione differenziabile g, il metodo delta produce una varianza limite ∇g(μ)′Σ∇g(μ). Questo passaggio consente di trattare elasticità, rapporti, effetti marginali e altre funzioni dei coefficienti senza costruire da zero una teoria separata per ogni trasformazione.

Per una serie stazionaria debolmente dipendente, la varianza limite della media può essere Ω = γ₀ + 2∑ₕ₌₁∞γₕ, dove γₕ è l’autocovarianza al ritardo h e la somma deve essere ben definita. Ω è la varianza di lungo periodo, distinta dalla sola varianza contemporanea γ₀. Autocorrelazione positiva persistente aumenta spesso l’incertezza della media. Gli stimatori HAC cercano di stimare questa somma senza imporre indipendenza temporale. Non si applica però automaticamente un limite centrale standard a processi con radice unitaria o dipendenza troppo forte.

Esempio svolto: precisione e ampiezza campionaria

Una variabile ha deviazione standard pari a 20. Con n = 100 osservazioni indipendenti, l’errore standard della media è 20/10 = 2. Con n = 400 scende a 1. Un intervallo normale approssimato al 95% ha semilarghezza 1,96 × 2 = 3,92 nel primo caso e 1,96 nel secondo. Per ottenere una semilarghezza non superiore a 1,5, mantenendo la stessa deviazione standard e l’approssimazione normale, occorre n ≥ (1,96 × 20/1,5)² ≈ 682,95, quindi almeno 683 osservazioni indipendenti.

Questo calcolo è prospettico e dipende dalla deviazione standard assunta. Se esiste campionamento a grappoli, bisogna considerare l’effetto del disegno; se è prevista mancata risposta, bisogna distinguere persone contattate e osservazioni utilizzabili. Inoltre, la precisione della media non coincide con quella di una differenza causale o di un coefficiente in presenza di regressori molto correlati. Il calcolo della numerosità deve essere costruito sull’oggetto effettivamente studiato, non su una formula generica scelta soltanto perché familiare.

Stimatore, stima e distribuzione

Uno stimatore θ̂ è una regola che associa un numero o un vettore a ogni possibile campione. La stima è il risultato della regola nel campione effettivamente osservato. Per confrontare stimatori occorre specificare il parametro θ, il modello probabilistico e il criterio di valutazione. Due procedure possono essere adatte a obiettivi differenti: una può stimare senza distorsione una media, un’altra prevedere meglio una nuova osservazione grazie a una moderata regolarizzazione. Non esiste una graduatoria universale indipendente da ipotesi e funzione di perdita.

La distribuzione campionaria di θ̂ ne determina media, varianza e probabilità di errori grandi. Quando questa distribuzione è nota esattamente si può costruire inferenza esatta, entro il modello assunto. Più spesso si utilizzano approssimazioni asintotiche o procedure di ricampionamento. La validità inferenziale riguarda l’intero procedimento, inclusi scelta delle variabili, trattamento dei dati mancanti e selezione del modello. Un errore standard calcolato come se il modello fosse stato fissato in anticipo può non riflettere l’incertezza prodotta da una ricerca estesa della specificazione sui medesimi dati.

Correttezza e distorsione

Uno stimatore è corretto, o non distorto, se E(θ̂) = θ. La distorsione è Bias(θ̂) = E(θ̂) − θ. La correttezza non significa che ogni stima coincida con il parametro: significa che gli errori si compensano in media attraverso campioni ripetuti. Uno stimatore può essere corretto ma molto variabile, producendo frequentemente valori lontani dall’obiettivo. Un altro può avere una piccola distorsione e una varianza molto inferiore, risultando preferibile sotto perdita quadratica. La sola correttezza non esaurisce la qualità di una procedura.

La media campionaria è corretta per la media della distribuzione da cui provengono osservazioni identicamente distribuite con aspettativa finita; l’indipendenza non è necessaria per questa proprietà, pur essendo rilevante per la varianza. Per la varianza, invece, la formula n^-1∑_i(X_i − X̄)² ha aspettativa [(n − 1)/n]σ² nel caso i.i.d. La correzione s² = (n − 1)^-1∑_i(X_i − X̄)² elimina tale distorsione. Prendere la radice quadrata di s² non produce però, in generale, uno stimatore esattamente corretto di σ, perché l’aspettativa non attraversa una trasformazione non lineare.

Consistenza e distorsione asintotica

Uno stimatore è consistente per θ se θ̂ →p θ. Correttezza e consistenza sono proprietà diverse. Considerare soltanto la prima osservazione X₁ come stimatore della media produce una regola corretta, ma la sua varianza non diminuisce quando si aggiungono osservazioni che la regola ignora. Non è quindi consistente, salvo casi degeneri. Al contrario, la varianza campionaria con divisore n è distorta in campioni finiti ma consistente sotto le consuete condizioni, perché il fattore (n − 1)/n tende a uno.

Quando θ̂ converge a θ* diverso da θ, la differenza θ* − θ è una distorsione asintotica rispetto al parametro desiderato. Può derivare da endogeneità, selezione, misurazione errata o specificazione non adeguata. La distribuzione di θ̂ può diventare molto concentrata intorno a θ*, rendendo gli intervalli stretti ma sistematicamente lontani da θ. Per questo «molto preciso» non è sinonimo di «accurato rispetto all’obiettivo». La precisione riguarda dispersione; l’accuratezza deve considerare anche l’allineamento con l’estimando.

Errore quadratico medio e compromesso distorsione-varianza

L’errore quadratico medio è MSE(θ̂) = E[(θ̂ − θ)²]. Aggiungendo e sottraendo E(θ̂), si ottiene:

La decomposizione mostra che uno stimatore leggermente distorto può avere MSE inferiore a uno corretto se riduce abbastanza la varianza. Supponiamo che A sia corretto con varianza 9 e che B abbia distorsione 1 e varianza 4. Allora MSE(A) = 9 e MSE(B) = 4 + 1 = 5. B è preferibile secondo questo criterio, pur non essendo corretto. La scelta cambierebbe con una funzione di perdita diversa o se la distorsione di B fosse maggiore in regioni del parametro economicamente rilevanti.

Una forma semplice di shrinkage è θ̃ = aθ̂ + (1 − a)c, con 0 ≤ a ≤ 1 e c un riferimento. Se θ̂ è corretto, la distorsione di θ̃ è (1 − a)(c − θ) e la varianza è a²Var(θ̂). Avvicinarsi a c riduce la variabilità ma introduce distorsione quando c differisce da θ. La regolarizzazione sfrutta questo compromesso in problemi con molti parametri. Non bisogna però trasferire automaticamente un miglioramento predittivo a un’affermazione di inferenza causale: obiettivi e requisiti rimangono distinti.

Efficienza e limiti informativi

Fra stimatori corretti dello stesso parametro, uno è più efficiente di un altro se ha varianza minore, secondo il confronto pertinente. L’efficienza relativa è sempre riferita a una classe di procedure e a un insieme di ipotesi. OLS è BLUE nel modello di Gauss–Markov: il migliore, in varianza, fra gli stimatori lineari e corretti. La parola «migliore» non significa migliore fra tutti gli stimatori concepibili, per ogni distribuzione e per ogni criterio. Il contenuto del teorema dipende esattamente dai vincoli della classe confrontata.

In modelli parametrici regolari, il limite di Cramér–Rao collega la varianza di uno stimatore corretto all’informazione di Fisher. Una maggiore informazione permette, in linea di principio, una minore varianza. Le condizioni di regolarità non sono decorative: parametri sulla frontiera, supporto dipendente dal parametro e identificazione debole possono rendere inapplicabili le formule usuali. Anche l’efficienza asintotica della massima verosimiglianza richiede corretta specificazione e regolarità. Non basta chiamare una procedura «MLE» per attribuirle tutte le proprietà del caso regolare.

Intervalli di confidenza

Un intervallo di confidenza è una procedura che produce estremi casuali L(X) e U(X) tali che la probabilità di contenere il parametro sia pari, o almeno prossima, al livello dichiarato sotto le ipotesi del modello. Un intervallo al 95% soddisfa Pθ[L(X) ≤ θ ≤ U(X)] ≈ 0,95. Nel linguaggio frequentista il parametro è fisso e l’intervallo varia fra campioni. Dopo aver osservato gli estremi, non si assegna automaticamente una probabilità del 95% al parametro come variabile casuale: quella sarebbe una diversa interpretazione, propria di un modello bayesiano esplicitato.

Quando θ̂ è approssimativamente normale e SE(θ̂) stima coerentemente la sua deviazione standard, un intervallo bilaterale approssimato è θ̂ ± z_1-α/₂SE(θ̂). Per il 95%, z₀,₉₇₅ ≈ 1,96. Un livello di confidenza maggiore produce un intervallo più ampio, a parità di dati e procedura. Un campione più informativo tende a restringerlo. La larghezza dipende però anche da variabilità, dipendenza e disegno: aumentare righe duplicate o poco informative non equivale ad aumentare osservazioni indipendenti.

Intervallo per la media e per una proporzione

Con osservazioni normali indipendenti e varianza ignota, l’intervallo esatto per μ è X̄ ± t_n-1,_1-α/₂s/√n. Se n = 25, X̄ = 100 e s = 10, l’errore standard è 2. Usando il quantile t con 24 gradi di libertà, circa 2,064, l’intervallo al 95% è 100 ± 4,128, cioè [95,872; 104,128]. Il quantile è maggiore di 1,96 perché la scala è stimata e il campione è finito. Senza normalità esatta, l’interpretazione diventa approssimata e richiede di valutare la qualità dell’approssimazione.

Per una proporzione p, la stima campionaria p̂ ha errore standard approssimato √[p̂(1 − p̂)/n] nel caso indipendente. Il consueto intervallo di Wald può funzionare male vicino a zero e uno e può perfino uscire da [0,1]. L’intervallo di Wilson migliora il comportamento in molti casi: il centro è [p̂ + z²/(2n)]/[1 + z²/n] e la semilarghezza è z√[p̂(1 − p̂)/n + z²/(4n²)]/[1 + z²/n]. Non si tratta di aggiustare esteticamente gli estremi, ma di invertire una diversa statistica di test. Campionamento complesso e dipendenza richiedono ulteriori adattamenti.

Parametri trasformati e intervalli asimmetrici

Se un parametro positivo è rappresentato come ψ = exp(θ), un intervallo [L,U] per θ può essere trasformato in [exp(L),exp(U)]. La monotonicità dell’esponenziale conserva l’evento di copertura. L’intervallo risultante è generalmente asimmetrico intorno a exp(θ̂), riflettendo la geometria della trasformazione. Un intervallo simmetrico costruito direttamente sul livello può includere valori impossibili, come varianze negative. La parametrizzazione può quindi influire sulla qualità dell’approssimazione in campioni finiti, pur non cambiando l’oggetto sostanziale.

Per un effetto percentuale derivato da un coefficiente logaritmico b, la trasformazione esatta è 100[exp(b) − 1] nel confronto discreto appropriato. Anche gli estremi possono essere trasformati nello stesso modo. Non è corretto trasformare soltanto il coefficiente e lasciare invariato il suo errore standard come se le unità di misura non fossero cambiate. Il metodo delta fornisce un’approssimazione locale; la trasformazione monotona dell’intervallo offre un’altra via quando si parte da un intervallo valido per b.

Confidenza, previsione e copertura simultanea

Un intervallo per la media condizionata quantifica l’incertezza sulla relazione media; un intervallo di previsione per una nuova osservazione deve aggiungere la variabilità individuale attorno alla media. Perciò, a parità di livello e modello, il secondo è più ampio. Un campione molto grande può rendere quasi certa la media prevista senza rendere quasi certo il risultato di una singola persona o impresa. Questo punto è particolarmente importante quando si usano modelli per decisioni individuali.

Una collezione di intervalli ciascuno al 95% non costituisce automaticamente una banda simultanea al 95%. Se si esaminano molti coefficienti o molte date, aumenta la probabilità che almeno uno degli intervalli non copra il proprio parametro. La copertura puntuale riguarda un singolo oggetto fissato; quella simultanea riguarda l’intera famiglia. Le bande per un event study, una curva di regressione o molte previsioni devono chiarire quale delle due proprietà intendono offrire. La distinzione evita di attribuire una garanzia globale a una serie di garanzie locali.

Esercizio svolto: precisione e rilevanza

Una stima di incremento medio del fatturato è 2.000 euro con errore standard 1.500. L’intervallo normale approssimato al 95% è 2.000 ± 2.940, cioè [−940; 4.940]. I dati sono compatibili, entro il modello e il livello scelto, sia con un piccolo calo sia con un aumento consistente. Non è corretto concludere che l’effetto sia certamente nullo perché l’intervallo contiene zero. Se il programma costa 5.000 euro per unità, l’intervallo suggerisce inoltre che la rilevanza economica va discussa separatamente dalla sola significatività rispetto a zero. La decisione richiede costi, benefici, incertezza e validità dell’identificazione.

Ipotesi nulla e alternativa

Un test statistico confronta i dati con un’ipotesi nulla H₀ e una o più alternative H₁. Nel caso di un coefficiente, H₀: β = 0 è una scelta frequente, ma non obbligatoria. Si possono verificare valori diversi da zero, uguaglianze fra coefficienti o restrizioni congiunte. La formulazione deve corrispondere alla domanda economica: per stabilire se un’elasticità è unitaria, il riferimento è β = 1; per verificare rendimenti di scala costanti in una funzione Cobb–Douglas, il riferimento riguarda la somma dei coefficienti degli input.

Un’alternativa bilaterale considera deviazioni in entrambe le direzioni, H₁: β ≠ β₀. Un’alternativa unilaterale considera una sola direzione, come H₁: β > β₀. La scelta dovrebbe precedere l’osservazione del segno della stima. Decidere dopo aver visto i dati di usare la coda favorevole altera la probabilità di errore del procedimento. Inoltre, un test unilaterale non autorizza a ignorare effetti nella direzione opposta quando sarebbero economicamente importanti: la direzione deve essere giustificata dalla domanda, non dalla convenienza del risultato.

Statistica di test e regione di rifiuto

Una statistica di test riassume la distanza fra dati e ipotesi nulla in unità confrontabili. Per un parametro scalarmente identificato, una forma comune è t = (β̂ − β₀)/SE(β̂). La regione di rifiuto contiene i valori della statistica considerati sufficientemente incompatibili con H₀ secondo una distribuzione di riferimento. Nel modello lineare normale omoschedastico, una statistica t può seguire esattamente una distribuzione Student; con errori standard robusti, la giustificazione è spesso asintotica e il riferimento esatto richiede più cautela.

Per un test bilaterale normale al livello α = 0,05 si rifiuta quando |t| > 1,96. La soglia deriva dall’allocazione del 2,5% della probabilità in ciascuna coda sotto H₀. Non significa che uno scostamento di 1,95 sia sostanzialmente diverso da uno di 1,97. La soglia è una regola decisionale convenzionale, mentre l’evidenza varia in modo continuo. Riportare stima, errore standard e intervallo evita di ridurre l’analisi a un’etichetta binaria priva di informazione sulla grandezza dell’effetto.

Errori di primo e secondo tipo

L’errore di primo tipo consiste nel rifiutare H₀ quando è vera. Il livello α controlla la probabilità di questo errore, nel modello e secondo la definizione del test. L’errore di secondo tipo consiste nel non rifiutare H₀ quando una specifica alternativa è vera. La potenza è uno meno la probabilità di errore di secondo tipo e dipende dalla distanza dell’alternativa, dalla precisione dello stimatore e dalla regola di rifiuto. Non esiste quindi una sola potenza del test indipendente dall’effetto che si vuole rilevare.

Ridurre α, a parità di campione e alternativa, rende più difficile rifiutare e tende a ridurre la potenza. Aumentare l’informazione disponibile può migliorare la capacità di distinguere alternative vicine senza aumentare il livello nominale. Un test che non rifiuta può essere poco informativo se la potenza è bassa. Per esempio, un campione minuscolo può non rilevare nemmeno un effetto economicamente grande. Non rifiutare non equivale a dimostrare assenza: occorre guardare quali valori dell’effetto rimangono compatibili con l’intervallo.

Il significato del p-value

Il p-value è la probabilità, calcolata sotto l’ipotesi nulla e il modello di riferimento, di ottenere una statistica almeno altrettanto estrema di quella osservata secondo il criterio del test. In un test bilaterale normale, p = 2[1 − Φ(|t|)]. Non è la probabilità che H₀ sia vera, né la probabilità che il risultato sia dovuto «al caso» in un senso generale. Non misura la grandezza dell’effetto e non certifica la validità causale della specificazione. Un modello distorto può produrre un p-value molto piccolo.

Se β̂ = 0,12 e SE = 0,04, la statistica per H₀: β = 0 è t = 3 e il p-value normale bilaterale è circa 0,0027. Se invece H₀: β = 0,10, la statistica è (0,12 − 0,10)/0,04 = 0,5 e il p-value è circa 0,617. Gli stessi dati forniscono quindi evidenza contro zero ma non contro 0,10. Il significato di «significativo» dipende dal valore nullo e dall’alternativa, non è una proprietà assoluta del coefficiente. Il confronto corretto deve sempre riportare l’ipotesi testata.

Dualità fra test e intervalli

Per procedure coerenti fra loro, un test bilaterale al livello α rifiuta H₀: θ = θ₀ esattamente quando θ₀ si trova fuori dall’intervallo di confidenza di livello 1 − α ottenuto invertendo quel test. L’intervallo può dunque essere visto come l’insieme dei valori non rifiutati. Questa interpretazione non li rende tutti ugualmente plausibili, ma chiarisce quali ipotesi puntuali sono compatibili con la regola inferenziale. Usare un intervallo robusto e confrontarlo con un p-value non robusto rompe questa corrispondenza perché mescola due procedure diverse.

Nell’esempio β̂ = 0,12 e SE = 0,04, l’intervallo normale al 95% è [0,0416; 0,1984]. Esclude zero e contiene 0,10, in accordo con i due test precedenti. Un intervallo al 99% è più ampio, circa 0,12 ± 2,576 × 0,04, cioè [0,01696; 0,22304], e continua a escludere zero. Il livello scelto modifica la garanzia di copertura e la regione di rifiuto, ma non cambia la stima centrale. La presentazione dovrebbe evitare di scegliere il livello dopo aver osservato quale produce la conclusione desiderata.

Significatività statistica ed economica

Con campioni molto grandi, differenze minuscole possono essere statisticamente distinguibili da zero. Un aumento di 0,01 euro può avere un p-value molto piccolo senza avere alcun interesse economico nel contesto considerato. Con campioni piccoli, invece, una stima grande può non essere significativa per mancanza di precisione. La rilevanza economica richiede unità di misura, valori iniziali, costi, soglie decisionali e confronto con alternative. La significatività statistica risponde a una domanda sulla compatibilità con un’ipotesi, non a una domanda automatica sull’utilità dell’intervento.

Anche il confronto fra due risultati richiede un test diretto. Un coefficiente significativo in un gruppo e non significativo in un altro non dimostra che i coefficienti dei due gruppi siano diversi. Potrebbero avere stime quasi identiche e precisioni differenti. Occorre testare βA − βB = 0 usando la varianza della differenza, che include la covarianza quando le stime non sono indipendenti. Nei modelli con interazioni questo confronto può essere formulato direttamente come restrizione su un coefficiente di interazione.

Restrizioni multiple e test congiunti

Un’ipotesi può imporre q restrizioni Rβ = r, dove R è una matrice q × k. La statistica di Wald è W = (Rβ̂ − r)′[RV̂R′]^-1(Rβ̂ − r), quando la matrice centrale è invertibile e le regolarità sono soddisfatte. Asintoticamente W segue una chi-quadrato con q gradi di libertà sotto H₀. Nel modello classico esistono corrispondenti statistiche F esatte. Verificare ogni restrizione separatamente al 5% non equivale a un test congiunto al 5%, perché cambia la probabilità complessiva di rifiuto.

Il test congiunto può rifiutare anche quando nessun test individuale rifiuta, per effetto delle covarianze e della geometria della regione di confidenza. Può anche essere necessario per valutare un intero gruppo di variabili qualitative o un polinomio. Se una classificazione con quattro categorie entra mediante tre indicatori, la sua rilevanza complessiva richiede un test dei tre coefficienti insieme. Guardare soltanto il p-value di uno di essi confonde la scelta della categoria di riferimento con il contributo complessivo della variabile.

Potenza, effetto minimo rilevabile e numerosità

In una semplificazione normale con errore standard noto, la potenza di un test unilaterale cresce con il rapporto fra l’effetto vero e l’errore standard. Un’approssimazione dell’effetto minimo rilevabile è MDE ≈ (z_1-α/₂ + z_1-β)SE per un test bilaterale, dove 1 − β è la potenza desiderata. Con α = 0,05 e potenza 0,80, la somma dei quantili è circa 1,96 + 0,84 = 2,80. Se SE = 2, l’effetto minimo rilevabile approssimato è 5,6. La formula richiede di valutare l’errore standard sotto un disegno prospettico coerente.

Per due gruppi indipendenti di uguale numerosità m e varianza comune σ², SE della differenza è σ√(2/m). Per rilevare una differenza δ con le precedenti approssimazioni, m ≈ 2σ²(z_1-α/₂ + z_1-β)²/δ² per gruppo. Con σ = 10 e δ = 4, m ≈ 2 × 100 × 2,8²/16 = 98. Sono quindi necessarie circa 98 osservazioni per gruppo nel modello semplificato, prima di considerare mancata risposta, clustering, covariate e altre caratteristiche del disegno. La potenza va pianificata rispetto a un effetto economicamente interessante, non ricostruita meccanicamente dalla significatività già osservata.

Equivalenza e non inferiorità

Dimostrare che un effetto è piccolo entro una tolleranza non equivale a non rifiutare l’ipotesi di effetto zero. Un test di equivalenza specifica un margine Δ > 0 e cerca evidenza che −Δ < θ < Δ. La procedura TOST usa due test unilaterali contro le ipotesi θ ≤ −Δ e θ ≥ Δ. Al livello α, l’equivalenza è stabilita quando entrambi rifiutano; nella formulazione usuale ciò corrisponde a un intervallo bilaterale di livello 1 − 2α interamente contenuto nei margini. Il margine deve essere giustificato prima di guardare il risultato.

Un test di non inferiorità considera invece una sola soglia di peggioramento tollerabile. Queste procedure sono utili quando la domanda è se una soluzione meno costosa mantenga risultati sufficientemente simili, ma richiedono una definizione economica della tolleranza. Un intervallo ampio che comprende zero e grandi effetti positivi e negativi non dimostra equivalenza. Dimostra semplicemente scarsa precisione. La distinzione obbliga a formulare la domanda sostanziale anziché usare «non significativo» come sinonimo di «uguale».

Esercizio svolto: confronto fra due stime

Due stime indipendenti sono bA = 0,30 con SEA = 0,10 e bB = 0,10 con SEB = 0,09. La prima è significativa rispetto a zero con t = 3; la seconda non lo è con t ≈ 1,11. La differenza è 0,20 e il suo errore standard è √(0,10² + 0,09²) = √0,0181 ≈ 0,1345. Il test diretto dà t ≈ 1,487, non sufficiente per rifiutare al 5% con riferimento normale bilaterale. La conclusione corretta è che la differenza stimata è positiva ma imprecisa; la diversa significatività individuale non basta a dimostrare eterogeneità degli effetti.

Modello di popolazione e retta stimata

Il modello lineare semplice è Y_i = β₀ + β₁X_i + u_i. L’intercetta β₀ descrive il valore della componente sistematica quando X è zero; la pendenza β₁ descrive la variazione associata a una unità aggiuntiva di X. Se E(u|X) = 0, la componente sistematica coincide con E(Y|X). Senza questa condizione, il modello può ancora rappresentare una proiezione lineare, ma l’interpretazione come vera media condizionata richiede attenzione. L’esistenza di una retta stimata non dimostra che il processo economico sia esattamente lineare.

La retta campionaria è ŷ_i = β̂₀ + β̂₁x_i e il residuo è û_i = y_i − ŷ_i. Il residuo è osservabile dopo la stima, mentre l’errore u_i dipende dai parametri di popolazione e non è direttamente osservato. Le proprietà algebriche dei residui derivano dalla procedura di minimizzazione; le proprietà probabilistiche degli errori sono ipotesi o conseguenze del modello di popolazione. Sostituire l’una nozione con l’altra è un errore concettuale che può far apparire verificata un’ipotesi di esogeneità che in realtà non è stata dimostrata.

Il criterio dei minimi quadrati

OLS, ordinary least squares, sceglie b₀ e b₁ per minimizzare Q(b₀,b₁) = ∑_i(y_i − b₀ − b₁x_i)². Si penalizzano gli scarti verticali di Y dalla retta, non le distanze geometriche ortogonali nel piano cartesiano. Il regressore viene trattato come la variabile sulla quale condizionare, mentre gli errori sono nella direzione dell’esito. Invertire il ruolo di X e Y produce in generale una retta diversa, non l’inversa algebrica della precedente. La regressione di Y su X e quella di X su Y rispondono a domande previsive differenti.

Il quadrato rende non negative le penalità ed evita che residui positivi e negativi si cancellino. Inoltre attribuisce un peso crescente agli scarti grandi, il che rende OLS sensibile a osservazioni influenti. Non è l’unico criterio possibile: minimizzare i valori assoluti conduce alla regressione mediana in appropriate formulazioni. La scelta di OLS è motivata dalla sua connessione con la media condizionata, dalla trattabilità matematica e dalle proprietà sotto ipotesi specifiche, non dall’idea che il quadrato sia universalmente l’unica perdita economicamente sensata.

Derivazione delle formule

Derivando Q rispetto a b₀ e b₁ e ponendo a zero le derivate si ottiene ∑_i(y_i − b₀ − b₁x_i) = 0 e ∑_ix_i(y_i − b₀ − b₁x_i) = 0. Dalla prima equazione segue b₀ = ȳ − b₁x̄. Sostituendo nella seconda e utilizzando la somma nulla degli scarti dalla media, si ricava:

La pendenza è il rapporto fra covariazione e variabilità del regressore. Non è definita quando Sxx = 0, perché non esistono confronti fra valori diversi di X. L’intercetta viene poi scelta affinché la retta passi per il punto delle medie (x̄,ȳ). Una maggiore covariazione positiva produce una pendenza più elevata, ma la scala di X conta: moltiplicare X per cento divide per cento la pendenza, lasciando invariate le previsioni quando i coefficienti sono trasformati coerentemente. Il valore numerico del coefficiente non può essere interpretato senza le unità di misura.

Una lettura in termini di confronti

La formula della pendenza può essere riscritta attraverso differenze fra coppie di osservazioni. In particolare, ∑_i<_j(x_i − x_j)(y_i − y_j) = nSxy e ∑_i<_j(x_i − x_j)² = nSxx. OLS aggrega quindi informazione sui confronti fra unità che differiscono in X, attribuendo maggiore peso alla distanza dei valori del regressore. Questo aiuta a comprendere perché punti estremi possano incidere molto sulla pendenza. Se però le differenze in X sono associate anche a differenze non osservate che influenzano Y, il confronto rimane associativo e non diventa causale grazie alla formula.

Nel caso in cui X sia un indicatore binario, la regressione semplice con intercetta restituisce β̂₀ = ȳ₀ e β̂₁ = ȳ₁ − ȳ₀. La pendenza coincide con la differenza fra le medie dei due gruppi. L’identità è algebrica e non richiede randomizzazione. L’interpretazione causale della differenza richiede invece un disegno o ipotesi che rendano i gruppi confrontabili. Questo caso particolare collega regressione e confronto di medie e mostra che un comando di regressione non aggiunge automaticamente identificazione rispetto al confronto grezzo.

Proprietà dei residui

Con intercetta, ∑_iû_i = 0 e ∑_ix_iû_i = 0. Inoltre ∑_iŷ_iû_i = 0, perché ŷ è una combinazione lineare della costante e di x. La media dei valori stimati coincide con quella osservata: ȳ̂ = ȳ. Queste uguaglianze valgono nel campione, salvo errori numerici di arrotondamento. Non richiedono normalità, omoschedasticità o causalità. È importante sapere quali proprietà derivano dal criterio di stima e quali dipendono da ipotesi probabilistiche aggiuntive.

La somma nulla dei residui non significa che la previsione sia priva di errore per ogni gruppo. I residui possono essere sistematicamente positivi per bassi e alti valori di X e negativi al centro, segnalando una relazione curva. Possono anche avere dispersione crescente al crescere di X. Il grafico dei residui serve a esplorare tali strutture, non a dimostrare con certezza la correttezza del modello. Un’assenza apparente di pattern in un piccolo campione può essere semplicemente poco informativa.

Variabilità totale, spiegata e residua

Definiamo TSS = ∑_i(y_i − ȳ)², RSS = ∑_iû_i² ed ESS = ∑_i(ŷ_i − ȳ)². Qui RSS indica sempre la somma dei quadrati residui, poiché le sigle possono essere usate diversamente in testi e software. Con intercetta, y_i − ȳ = (ŷ_i − ȳ) + û_i e il termine incrociato sommato è zero. Ne segue TSS = ESS + RSS. La decomposizione distingue variazione rappresentata dalle previsioni e variazione rimasta nei residui, nel senso geometrico dei minimi quadrati.

Il coefficiente di determinazione è R² = ESS/TSS = 1 − RSS/TSS, quando TSS > 0 e valgono le condizioni della decomposizione centrata. Nella regressione semplice con intercetta, R² coincide con il quadrato della correlazione campionaria fra X e Y. Un R² elevato descrive buon adattamento nel campione, non prova causalità né garantisce buone previsioni fuori campione. Un R² basso non rende automaticamente inutile una stima causale: esiti individuali molto variabili possono lasciare gran parte della dispersione non spiegata anche in un disegno credibile.

Stima della varianza dell’errore

Nel modello omoschedastico classico, una stima corretta della varianza dell’errore è s² = RSS/(n − 2), perché sono stati stimati intercetta e pendenza. La radice s è l’errore standard della regressione, espresso nell’unità di Y. Non è l’errore standard della pendenza. Il primo riassume la dispersione residua degli esiti; il secondo dipende anche dalla variabilità di X e dalla numerosità. Due campioni con lo stesso s possono stimare la pendenza con precisioni molto diverse se uno presenta un intervallo di X molto più ristretto.

Sotto omoschedasticità e le condizioni appropriate, Var(β̂₁|X) = σ²/Sxx. La varianza dell’intercetta è σ²[1/n + x̄²/Sxx], mentre Cov(β̂₀,β̂₁|X) = −σ²x̄/Sxx. Per stimarle si sostituisce σ² con s². Centrare X sottraendo la sua media modifica l’intercetta, che diventa la previsione al valore medio del regressore, e può rendere più semplice l’interpretazione. Non modifica la pendenza né i valori stimati quando la trasformazione è effettuata coerentemente.

Esempio numerico: dai dati alla retta

Si osservano cinque coppie: (1,2), (2,4), (3,5), (4,4), (5,5). Le medie sono x̄ = 3 e ȳ = 4. Gli scarti di X sono −2, −1, 0, 1, 2; quelli di Y sono −2, 0, 1, 0, 1. Si ottiene Sxx = 4 + 1 + 0 + 1 + 4 = 10 e Sxy = 4 + 0 + 0 + 0 + 2 = 6. La pendenza è β̂₁ = 0,6 e l’intercetta è β̂₀ = 4 − 0,6 × 3 = 2,2. La retta stimata è ŷ = 2,2 + 0,6x.

I valori stimati sono 2,8; 3,4; 4,0; 4,6; 5,2. I residui sono −0,8; 0,6; 1,0; −0,6; −0,2 e sommano a zero. RSS = 0,64 + 0,36 + 1 + 0,36 + 0,04 = 2,4. TSS = 4 + 0 + 1 + 0 + 1 = 6, per cui ESS = 3,6 e R² = 1 − 2,4/6 = 0,6. Il 60% della variabilità centrata di Y è rappresentato dalla retta nel campione. Non significa che X causi il 60% dell’esito, né che il 60% delle singole previsioni sia corretto.

Con n = 5, s² = 2,4/3 = 0,8 e s ≈ 0,8944. L’errore standard omoschedastico della pendenza è √(0,8/10) ≈ 0,2828. Sotto il modello normale classico, il test di pendenza nulla ha t = 0,6/0,2828 ≈ 2,121 con tre gradi di libertà. Il valore non supera il quantile bilaterale al 5%, circa 3,182. L’intervallo al 95% è approssimativamente 0,6 ± 0,900, cioè [−0,300; 1,500]. Il campione suggerisce una relazione positiva, ma è troppo piccolo per stimarla precisamente sotto queste ipotesi.

Previsione e intercetta

Per x₀ = 6, la previsione puntuale è 2,2 + 0,6 × 6 = 5,8. Si tratta però di un valore esterno all’intervallo osservato [1,5], dunque di un’extrapolazione. L’errore standard della media prevista, nel modello classico, è s√[1/n + (x₀ − x̄)²/Sxx]. L’errore standard per una nuova osservazione aggiunge uno all’interno della radice: s√[1 + 1/n + (x₀ − x̄)²/Sxx]. Il termine aggiuntivo rappresenta l’errore individuale futuro, che non scompare nemmeno conoscendo bene la retta.

L’intercetta 2,2 è la previsione in x = 0, anch’esso esterno al campione. Può essere necessaria per adattare correttamente la retta senza avere un’interpretazione economica autonoma credibile. Forzare la regressione a passare per l’origine soltanto perché l’intercetta non è significativa è generalmente una decisione non giustificata: impone una restrizione che modifica anche la pendenza. L’assenza della costante dovrebbe derivare da una motivazione teorica o dal disegno, non dal desiderio di semplificare l’equazione dopo aver visto i risultati.

Separare le ipotesi dalle conclusioni

Le proprietà di OLS dipendono da insiemi diversi di ipotesi. Per la soluzione algebrica unica bastano il criterio quadratico e il rango pieno di X. Per la correttezza condizionata occorre una media condizionata dell’errore nulla. Per la formula semplice della varianza e il risultato di Gauss–Markov servono omoschedasticità e assenza della dipendenza non rappresentata nella matrice di covarianza classica. Per distribuzioni t e F esatte in campioni finiti si aggiunge tipicamente la normalità condizionata. Riunire tutto sotto l’etichetta «ipotesi OLS» senza distinguerne il ruolo rende difficile capire quali conclusioni sopravvivono a una violazione.

Nel modello y = Xβ + u, con X di rango k, la formula fondamentale è:

Tutte le principali proprietà derivano da questa identità. Essa mostra che l’errore di stima è una trasformazione lineare degli errori del modello, condizionatamente a X. I regressori determinano quali direzioni dell’errore incidono sui coefficienti e con quale intensità. Se X′X è vicino alla singolarità, alcune componenti possono essere amplificate. Se X e u sono sistematicamente associati, il valore atteso della trasformazione non è nullo.

Correttezza condizionata

Assumendo E(u|X) = 0, si prende l’aspettativa condizionata dell’identità fondamentale e si ottiene E(β̂|X) = β + (X′X)^-1X′E(u|X) = β. La legge delle aspettative iterate dà quindi E(β̂) = β quando le aspettative esistono. La dimostrazione non usa omoschedasticità né normalità. Perciò l’eteroschedasticità, da sola, non rende OLS distorto se la condizione sulla media rimane valida. Può rendere errate le formule classiche degli errori standard e compromettere l’efficienza, ma non va confusa con l’endogeneità.

La condizione E(u|X) = 0 riferita all’intera matrice campionaria è più forte di alcune condizioni di ortogonalità sufficienti per la consistenza. In un campione i.i.d., una media condizionata nulla per ogni osservazione e l’indipendenza fra unità forniscono una via naturale alla correttezza condizionata. Nelle serie storiche, invece, un regressore può essere incorrelato con l’errore contemporaneo ma dipendere da errori passati; la correttezza finita e la consistenza possono allora richiedere ragionamenti diversi. I termini «esogeno» e «predeterminato» devono essere collegati a condizioni temporali precise.

Varianza generale e caso classico

Condizionatamente a X, indicando con Ω = Var(u|X) la matrice di covarianza degli errori, si ha:

Se Ω = σ²I, la formula si semplifica in σ²(X′X)^-1. L’ipotesi Ω = σ²I combina varianza uguale per tutte le osservazioni e covarianze nulle fra errori diversi, condizionatamente a X. Se gli errori sono eteroschedastici, Ω può essere diagonale ma non proporzionale all’identità. Se esiste dipendenza temporale o all’interno di gruppi, può avere elementi fuori diagonale non nulli. La forma generale mostra dove entrano queste differenze.

La stima s² = û′û/(n − k) è corretta per σ² nel modello con E(u|X) = 0 e Ω = σ²I. Infatti û = M_xu e E(û′û|X) = E(u′M_xu|X) = tr[M_xE(uu′|X)] = σ²tr(M_x) = σ²(n − k). In presenza di eteroschedasticità, lo stesso rapporto continua a essere calcolabile, ma non rappresenta una varianza comune che il modello non possiede. Inserirlo nella formula classica della covarianza può allora produrre inferenza non valida.

Teorema di gauss–markov

Sotto il modello lineare, rango pieno, E(u|X) = 0 e Var(u|X) = σ²I, OLS ha la minima matrice di varianza fra gli stimatori lineari in y e corretti condizionatamente a X. La sigla BLUE significa best linear unbiased estimator. Il confronto fra matrici è nel senso che la differenza fra la covarianza di un altro stimatore ammissibile e quella di OLS è positiva semidefinita. Nessuna combinazione lineare dei coefficienti può essere stimata con varianza minore da un altro stimatore della stessa classe senza violare almeno una condizione del confronto.

Per dimostrarlo, si consideri un altro stimatore Ay, con AX = I per garantirne la correttezza. Scriviamo A = (X′X)^-1X′ + C. La condizione AX = I implica CX = 0. La varianza di Ay è σ²AA′. Sviluppando il prodotto, i termini incrociati si annullano perché X′C′ = (CX)′ = 0. Rimane Var(Ay|X) = σ²(X′X)^-1 + σ²CC′. La seconda matrice è positiva semidefinita, poiché per ogni vettore a si ha a′CC′a = ‖C′a‖² ≥ 0. Questa è la sostanza del risultato, senza ricorrere alla normalità.

Cosa cambia con l’eteroschedasticità

Quando Ω non è proporzionale all’identità, il precedente confronto di efficienza non vale nella stessa forma. Se Ω fosse nota e positiva definita, i minimi quadrati generalizzati utilizzerebbero β̂GLS = (X′Ω^-1X)^-1X′Ω^-1y. OLS può rimanere corretto ma non essere il più efficiente. Gli errori standard robusti correggono la stima della covarianza di OLS sotto condizioni appropriate; non modificano automaticamente i coefficienti e non trasformano OLS in GLS. Efficienza del coefficiente e validità dell’inferenza sono due questioni collegate ma diverse.

Non è necessario verificare preliminarmente l’omoschedasticità per decidere se consentire una covarianza robusta in un’analisi in cui l’eteroschedasticità è plausibile. Una strategia basata su un test preliminare può introdurre ulteriori problemi di selezione della procedura. D’altra parte, «robusto» non significa valido contro qualsiasi violazione: una covarianza robusta all’eteroschedasticità non corregge endogeneità, dipendenza seriale non considerata, pochi cluster o una forma funzionale che non corrisponde all’estimando desiderato.

Consistenza di OLS

Dividendo numeratore e denominatore per n nell’identità fondamentale si ottiene β̂ − β = [(X′X)/n]^-1[(X′u)/n]. Se (X′X)/n →p Q con Q non singolare e (X′u)/n →p 0, allora β̂ →p β. In un contesto i.i.d., condizioni sufficienti comprendono momenti appropriati, E(x_iu_i) = 0 e Q = E(x_ix_i′) positiva definita. Questa dimostrazione richiede ortogonalità, non necessariamente la più forte media condizionata nulla, quando β è definito coerentemente come parametro della proiezione.

Se invece E(x_iu_i) = c ≠ 0 e valgono le regolarità per la convergenza dei momenti, il limite è β + Q^-1c. L’endogeneità produce quindi una componente che non scompare con n. Nel caso semplice con intercetta, il limite della pendenza è β₁ + Cov(X,u)/Var(X). La formula rende trasparente la direzione della distorsione: dipende dal segno della covarianza fra regressore ed errore e dalla variabilità di X. La grandezza del campione non compare come fattore capace di annullarla.

Normalità asintotica e matrice sandwich

Sotto condizioni che consentono un limite centrale per n^-1/²∑_ix_iu_i, si ha √n(β̂ − β) →d N(0,Q^-1SQ^-1), dove, nel caso indipendente, S = E(x_ix_i′u_i²). La matrice presenta una struttura detta sandwich: Q^-1 ai due lati e S al centro. Nel caso omoschedastico S = σ²Q e il risultato si riduce a σ²Q^-1. Con dipendenza, S deve includere anche covarianze fra contributi di osservazioni diverse, secondo il disegno.

La normalità asintotica non richiede errori individuali normali, ma richiede condizioni su momenti, dipendenza, identificazione e comportamento delle osservazioni. Un singolo punto che domina sempre più il campione, code troppo pesanti o strumenti deboli in altri stimatori possono rendere inadeguata l’approssimazione convenzionale. La parola «asintotico» non va tradotta semplicemente con «vero se n è grande»: occorre che la successione di problemi soddisfi le condizioni del risultato. Anche un archivio numeroso può avere poche unità indipendenti o poca variazione identificante.

NORMALITÀ ESATTA E DISTRIBUZIONI t E F

Se u|X ∼ N(0,σ²I), allora β̂|X è esattamente normale con media β e varianza σ²(X′X)^-1. Inoltre RSS/σ² segue una chi-quadrato con n − k gradi di libertà ed è indipendente da β̂. Da queste proprietà derivano statistiche t e F esatte. La normalità riguarda gli errori condizionati ai regressori, non la necessità che tutti i regressori siano normali. X può contenere indicatori, variabili asimmetriche e trasformazioni, purché le altre condizioni del modello siano soddisfatte.

In applicazioni reali, tali ipotesi possono essere solo approssimative. Una tabella software che mostra una distribuzione t non prova che la distribuzione finita sia esatta. L’analista deve sapere se sta usando un teorema finito, un’approssimazione di grandi campioni o una correzione convenzionale dei gradi di libertà. Specificare il tipo di errore standard e l’unità di clustering è parte integrante del risultato, non un dettaglio secondario da omettere sotto la tabella.

Esercizio svolto: quale proprietà sopravvive?

Si consideri y_i = 1 + 2x_i + u_i, con osservazioni indipendenti, E(u_i|x_i) = 0 e Var(u_i|x_i) = 1 + x_i². La media condizionata è correttamente lineare, quindi OLS è corretto sotto le condizioni finite pertinenti e consistente sotto le regolarità usuali. L’omoschedasticità è falsa: la formula σ²(X′X)^-1 non rappresenta la vera covarianza e il risultato BLUE classico non si applica. Una covarianza robusta può rendere valida l’inferenza asintotica senza cambiare i coefficienti. Se invece E(u_i|x_i) = 0,5x_i, la media effettiva contiene una pendenza aggiuntiva di 0,5: OLS tende a 2,5 rispetto alla parametrizzazione strutturale proposta, e gli errori standard robusti non recuperano il coefficiente 2.

Perché introdurre più regressori

La regressione multipla descrive un esito attraverso più variabili: y_i = β₀ + β₁x_1i + … + β_k-1x_k-1,_i + u_i. In questo manuale k indica il numero complessivo di coefficienti, intercetta inclusa quando presente. L’obiettivo può essere migliorare una previsione, rappresentare una media condizionata o isolare un confronto causale sotto ipotesi adeguate. Il ruolo di una covariata dipende dall’obiettivo. Una variabile molto utile per prevedere può essere inappropriata come controllo causale se è una conseguenza del trattamento o apre un percorso di selezione.

Il coefficiente β_j descrive la variazione della componente lineare associata a x_j mantenendo fissi gli altri regressori. Questo confronto è definito dalla specificazione: se sono presenti trasformazioni e interazioni, la variazione totale rispetto alla variabile originaria deve tener conto anche di esse. Nel modello che contiene esperienza ed esperienza al quadrato, il coefficiente dell’esperienza non è da solo l’effetto marginale. Inoltre, mantenere fisse variabili fortemente collegate può richiedere confronti poco rappresentati nel campione, con conseguente imprecisione o extrapolazione.

Coefficiente semplice e coefficiente parziale

Una regressione semplice attribuisce a X tutta la covariazione lineare con Y. Una regressione multipla distingue la parte di variazione di X che non è spiegata linearmente dagli altri regressori. Perciò un coefficiente può ridursi, aumentare o cambiare segno quando si aggiungono controlli. Il cambiamento non prova da solo quale modello sia corretto. Può riflettere la rimozione di un confondimento, ma anche un controllo improprio, una diversa popolazione dovuta a dati mancanti o una forma funzionale diversa. Il confronto fra specificazioni deve separare questi meccanismi.

Consideriamo due regressori centrati con S₁₁ = 100, S₂₂ = 100 e S₁₂ = 80. Le covariazioni con l’esito siano S₁y = 100 e S₂y = 80. Le equazioni normali per le pendenze sono 100b₁ + 80b₂ = 100 e 80b₁ + 100b₂ = 80. La soluzione è b₁ = 1 e b₂ = 0. Eppure la regressione semplice di Y su X₂ avrebbe pendenza 80/100 = 0,8. X₂ appare associata a Y perché è associata a X₁; una volta considerata la variazione aggiuntiva rispetto a X₁, in questo esempio il suo coefficiente è nullo.

La regressione parziale

Il teorema di Frisch–Waugh–Lovell, o FWL, rende esplicito il significato di «tenere conto degli altri regressori». Scriviamo y = Wγ + xβ + u, dove W contiene i controlli e l’eventuale intercetta, mentre x è il regressore di interesse. Si regredisce x su W e si conservano i residui x̃ = M𝑊x. Si regredisce anche y su W e si conservano i residui ỹ = M𝑊y. La regressione di ỹ su x̃, senza aggiungere una nuova intercetta quando questa è già stata eliminata tramite W, restituisce lo stesso coefficiente β̂ della regressione completa.

La formula mostra che il coefficiente usa la covariazione fra le parti di x e y non spiegate linearmente dai controlli. Non significa che i controlli siano stati resi casuali o che ogni confondente sia stato eliminato: viene rimossa soltanto la proiezione lineare sulle colonne di W. Se la relazione necessaria richiede forme non lineari non incluse, il residuo può conservare struttura rilevante. Il teorema è un’identità algebrica; l’interpretazione causale richiede condizioni ulteriori sul processo generatore.

Dimostrazione del teorema FWL

Le equazioni normali della regressione completa sono W′(y − Wγ̂ − xβ̂) = 0 e x′(y − Wγ̂ − xβ̂) = 0. Dalla prima si ricava γ̂ = (W′W)^-1W′(y − xβ̂). Sostituendo nella seconda compare la matrice M𝑊 = I − W(W′W)^-1W′ e si ottiene x′M𝑊(y − xβ̂) = 0. Risolvendo per β̂ si ottiene la formula precedente. L’invertibilità di x′M𝑊x richiede che x contenga variazione non già spiegata perfettamente da W.

Poiché M𝑊 è simmetrica e idempotente, x̃′ỹ = x′M𝑊y e x̃′x̃ = x′M𝑊x. Si può anche regredire y non residualizzata su x̃ per ottenere lo stesso coefficiente, perché x̃ è ortogonale a W; tuttavia la regressione con entrambi i residui rende più trasparente la decomposizione dell’esito. Gli errori standard non devono essere presi ingenuamente da una regressione ausiliaria che usa gradi di libertà sbagliati. La varianza residua deve riflettere il numero di parametri della regressione completa, e le correzioni robuste devono essere implementate in modo coerente.

Variazione residua e precisione

Nel modello omoschedastico, la varianza del coefficiente di x è σ²/(x′M𝑊x). Se x viene quasi perfettamente spiegata dai controlli, il denominatore è piccolo e la stima è imprecisa. Con intercetta, si può scrivere x′M𝑊x = Sxx(1 − R_j²), dove R_j² proviene dalla regressione di x sugli altri regressori. Ne segue Var(β̂_j|X) = σ²/[Sxx(1 − R_j²)]. La precisione dipende quindi da rumore residuo, variabilità di x e grado di sovrapposizione con gli altri regressori.

Aggiungere un controllo può ridurre σ² rappresentando meglio Y, ma può anche ridurre la variazione residua di x. L’effetto netto sull’errore standard non è predeterminato. Un controllo fortemente predittivo dell’esito e poco correlato con il trattamento può migliorare molto la precisione; un controllo quasi identico al trattamento può renderne difficile la separazione. Il ragionamento statistico va poi affiancato a quello causale: un controllo necessario per eliminare confondimento non dovrebbe essere escluso soltanto perché aumenta l’errore standard.

R², r² corretto e adattamento

Con intercetta, R² = 1 − RSS/TSS non diminuisce quando si aggiungono regressori, perché il modello più ampio può sempre riprodurre il precedente ponendo a zero i nuovi coefficienti. Questa proprietà rende R² inadatto come unico criterio di selezione della complessità. Il coefficiente corretto è R̄² = 1 − [RSS/(n − k)]/[TSS/(n − 1)]. Penalizza l’uso di gradi di libertà e può diminuire quando si aggiungono variabili poco informative. Può anche essere negativo, quando la riduzione dei residui non compensa la penalizzazione rispetto alla sola intercetta.

Per un singolo regressore aggiunto in un confronto annidato classico sullo stesso campione, R̄² aumenta quando il quadrato della statistica t del nuovo coefficiente supera uno. Questa soglia non coincide con il consueto livello del 5%. R² corretto non è quindi un test di significatività né una garanzia di buona previsione. Inoltre, confrontare R² di modelli con esiti trasformati diversamente, per esempio Y e ln(Y), può essere fuorviante perché cambia la variabilità totale rispetto alla quale il rapporto è calcolato.

Correlazione parziale e r² parziale

La correlazione parziale fra y e x dati W è la correlazione fra ỹ e x̃. Misura l’associazione lineare residua dopo la proiezione sui controlli. Il suo quadrato coincide con il contributo proporzionale di x alla riduzione della somma dei quadrati residui del modello che contiene solo W: R²parziale = (RSSW − RSScompleto)/RSSW. Non è uguale, in generale, all’incremento assoluto del R² complessivo, poiché il denominatore è diverso. Il primo confronta la variabilità rimasta dopo i controlli; il secondo usa la variabilità totale originaria.

Nel caso di un solo regressore aggiunto e con la statistica t classica corrispondente, R²parziale = t²/(t² + n − k). Questa relazione collega significatività, dimensione dell’associazione residua e numerosità. Un valore t elevato può derivare da un’associazione parziale modesta ma stimata con moltissime osservazioni. Ancora una volta, precisione e grandezza sono dimensioni diverse. La relazione non va applicata senza adattamenti a statistiche robuste o a modelli non lineari che non condividono la stessa decomposizione dei quadrati.

Esempio economico: salari e capitale umano

Si consideri ln(salario_i) = β₀ + β₁istruzione_i + β₂esperienza_i + β₃esperienza_i² + u_i. Una stima β̂₁ = 0,08 descrive una differenza approssimata dell’8% associata a un anno aggiuntivo di istruzione, mantenendo fissi esperienza ed esperienza al quadrato. Il confronto discreto esatto della componente esponenziale è 100[exp(0,08) − 1] ≈ 8,33%. Tuttavia, per interpretarlo come effetto sulla media del salario in livelli occorre considerare anche la ritrasformazione e la distribuzione dell’errore; la regressione ha come esito il logaritmo.

Se β̂₂ = 0,03 e β̂₃ = −0,0005, la derivata della media prevista del logaritmo rispetto all’esperienza è 0,03 − 0,001esperienza. A dieci anni vale 0,02; a venti vale 0,01. L’esperienza aggiuntiva è associata a incrementi percentuali locali decrescenti nella componente logaritmica. Il coefficiente dell’istruzione non è però automaticamente un rendimento causale: abilità, selezione del percorso formativo e caratteristiche familiari possono rimanere nel termine di errore ed essere correlate con gli anni di studio.

Supporto comune e interpretazione dei controlli

La regressione può calcolare un coefficiente anche quando certi confronti ceteris paribus sono scarsamente osservati. Se tutti i lavoratori con alta istruzione appartengono a un settore e tutti quelli con bassa istruzione a un altro, separare istruzione e settore può dipendere da pochissime osservazioni o da ipotesi funzionali molto forti. Il rango pieno è una condizione minima, non una garanzia di supporto empirico ricco. Esaminare la distribuzione congiunta dei regressori aiuta a capire dove il modello interpola e dove extrapola.

La standardizzazione dei regressori, sottraendo la media e dividendo per la deviazione standard, può facilitare confronti di scala e ottimizzazione. Un coefficiente standardizzato rappresenta la variazione associata a una deviazione standard del regressore, secondo la parametrizzazione adottata. Non rende confrontabili causalmente variabili con misurazioni, variabilità o ruoli diversi. La graduatoria dei coefficienti standardizzati non è una graduatoria automatica dell’importanza economica: dipende dalla popolazione, dalla dispersione dei regressori e dalla specificazione.

Esercizio svolto: informazione aggiuntiva

Una regressione di x sui controlli produce R_j² = 0,75 e Sxx = 200. La variazione residua è 200 × 0,25 = 50. Se σ² = 4, la varianza omoschedastica del coefficiente di x è 4/50 = 0,08 e il suo errore standard è circa 0,2828. Senza sovrapposizione lineare con i controlli, a parità di σ² e Sxx, la varianza sarebbe 4/200 = 0,02 e l’errore standard circa 0,1414. La correlazione con i controlli raddoppia qui l’errore standard. Questo non dimostra che i controlli vadano eliminati: mostra il costo informativo della separazione dei loro effetti.

Dalla stima alla matrice di covarianza

Una regressione multipla produce un vettore di coefficienti e una matrice di covarianza stimata V̂. Gli elementi diagonali sono le varianze stimate dei coefficienti; le radici quadrate sono gli errori standard. Gli elementi fuori diagonale descrivono come gli errori di stima dei diversi coefficienti tendono a muoversi insieme. La matrice completa è necessaria per confronti, somme, differenze ed effetti marginali. Una tabella che riporta soltanto gli errori standard individuali non contiene tutta l’informazione inferenziale richiesta per ogni possibile domanda.

Nel modello classico V̂ = s²(X′X)^-1, con s² = RSS/(n − k). In presenza di eteroschedasticità o dipendenza si usa una covarianza coerente con tali caratteristiche. La scelta non cambia soltanto una nota metodologica: può modificare intervalli, p-value e conclusioni. I coefficienti possono rimanere identici mentre la precisione cambia. Per questo il tipo di covarianza deve essere specificato accanto ai risultati, soprattutto quando si confrontano analisi che usano diversi livelli di clustering.

Test di un singolo coefficiente

Per H₀: β_j = b₀, la statistica è t = (β̂_j − b₀)/√V̂_jj. Nel modello normale omoschedastico condizionato a X segue una t con n − k gradi di libertà. Il numero dei gradi di libertà tiene conto di tutti i coefficienti stimati, non soltanto di quello sottoposto a test. Un intervallo classico è β̂_j ± t_n-k,_1-α/₂√V̂_jj. Con inferenza robusta, l’uso di una t finita può essere un’approssimazione o una correzione specifica, non un risultato esatto automatico.

Il test risponde a una domanda condizionata alla specificazione. Se si omette un’interazione necessaria, il coefficiente testato potrebbe non rappresentare l’effetto desiderato. Se si include una categoria di riferimento differente, cambiano alcuni test individuali ma non la capacità complessiva del modello di rappresentare le stesse previsioni. Interpretare un p-value richiede quindi conoscere come le variabili sono codificate e quale confronto è incorporato nel parametro. L’output non può essere letto separatamente dall’equazione stimata.

Combinazioni lineari

Per una combinazione θ = a′β, la stima è θ̂ = a′β̂ e la varianza stimata è a′V̂a. Se θ = β₁ − β₂, allora Var(θ̂) = Var(β̂₁) + Var(β̂₂) − 2Cov(β̂₁,β̂₂). Per una somma il termine di covarianza entra con segno positivo. La formula deriva dalla varianza di una combinazione lineare e non richiede di stimare una nuova regressione quando la matrice di covarianza è disponibile. Il test è costruito confrontando θ̂ con il valore nullo desiderato e usando il suo errore standard, non gli errori standard dei singoli coefficienti separatamente.

Supponiamo b₁ = 0,40, b₂ = 0,25, Var(b₁) = 0,01, Var(b₂) = 0,0064 e Cov(b₁,b₂) = 0,004. La differenza è 0,15 e la sua varianza è 0,01 + 0,0064 − 0,008 = 0,0084. L’errore standard è circa 0,09165 e il test contro zero dà t ≈ 1,637. Ignorando la covarianza si otterrebbe √0,0164 ≈ 0,1281, un errore standard diverso. In altri esempi il segno della covarianza può invertire la direzione dell’errore commesso ignorandola.

Restrizioni lineari congiunte

Una famiglia di q restrizioni si rappresenta come Rβ = r. La matrice R seleziona o combina i coefficienti e deve avere rango q per rappresentare restrizioni indipendenti. Per esempio, verificare che due coefficienti siano nulli richiede due righe; verificare che la loro somma sia uno richiede una sola riga. La statistica di Wald W = (Rβ̂ − r)′[RV̂R′]^-1(Rβ̂ − r) confronta la distanza dal vincolo con l’incertezza nelle direzioni rilevanti. La covarianza fra restrizioni è incorporata nell’inversa della matrice centrale.

Sotto le condizioni asintotiche appropriate, W converge a una chi-quadrato con q gradi di libertà. Nel modello classico, usando V̂ = s²(X′X)^-1, W/q segue esattamente una F con q e n − k gradi di libertà. Il risultato permette di valutare gruppi di regressori, uguaglianze fra parametri e vincoli teorici. Se la covarianza è cluster-robust con pochi gruppi, la semplice approssimazione chi-quadrato può essere inaffidabile e occorrono procedure adeguate al disegno e al numero di cluster.

Test f basato sui modelli ristretto e non ristretto

Per modelli lineari annidati stimati sullo stesso campione, il test classico può essere scritto:

RSSR è la somma dei quadrati residui del modello ristretto, RSSU quella del modello non ristretto e kU il numero dei suoi coefficienti. Il numeratore misura la perdita media di adattamento per restrizione; il denominatore stima la varianza dell’errore nel modello più ampio. La formula richiede omoschedasticità per la consueta inferenza classica. Con eteroschedasticità, un test Wald robusto delle stesse restrizioni è generalmente più appropriato della sostituzione meccanica di residui nella formula F.

Se n = 100, kU = 5, q = 2, RSSR = 160 e RSSU = 120, il numeratore è 40/2 = 20 e il denominatore è 120/95 ≈ 1,2632. La statistica F è circa 15,833 con 2 e 95 gradi di libertà. La differenza dei residui deve essere non negativa perché il modello non ristretto contiene quello ristretto. Se il calcolo produce il contrario, occorre controllare campione, trasformazione dell’esito, convergenza e reale annidamento dei modelli. Non è corretto confrontare RSS di regressioni effettuate su insiemi di osservazioni differenti come se fossero annidate.

Significatività globale della regressione

Il test globale classico verifica che tutte le pendenze siano nulle, mantenendo l’intercetta. Con k coefficienti complessivi, q = k − 1 e F = [R²/(k − 1)]/[(1 − R²)/(n − k)], nelle condizioni appropriate. Rifiutare indica che almeno una combinazione delle pendenze è informativa rispetto al modello con sola costante. Non significa che ogni regressore sia significativo, che il modello sia correttamente specificato o che i coefficienti abbiano interpretazione causale. È un confronto limitato fra due spazi di previsioni.

Un test globale significativo può coesistere con test individuali poco precisi quando i regressori sono fortemente correlati. I dati possono mostrare che il gruppo di variabili è utile senza distinguere bene il contributo separato di ciascuna. In tal caso eliminare variabili sulla base di singoli p-value può essere instabile. Occorre valutare il ruolo teorico delle variabili e il confronto congiunto, evitando di trattare la selezione automatica come una dimostrazione di causalità o di correttezza della specificazione.

Vincoli economici: rendimenti di scala

Una funzione Cobb–Douglas logaritmica può essere scritta ln(Q) = β₀ + βLln(L) + βKln(K) + u. L’ipotesi di rendimenti di scala costanti è βL + βK = 1. Se le stime sono 0,65 e 0,25, la somma è 0,90, ma la distanza di 0,10 da uno va confrontata con l’errore standard della somma. Quest’ultimo richiede Var(β̂L) + Var(β̂K) + 2Cov(β̂L,β̂K). Non è sufficiente osservare che entrambi i coefficienti sono individualmente significativi rispetto a zero.

Il vincolo può essere incorporato anche nella stima ristretta. Sostituendo βK = 1 − βL si ottiene ln(Q) − ln(K) = β₀ + βL[ln(L) − ln(K)] + u. La regressione di ln(Q/K) su ln(L/K) e costante impone i rendimenti costanti. Confrontare il modello ristretto e quello non ristretto permette di verificare quanto i dati siano compatibili con il vincolo. L’interpretazione strutturale richiede comunque di affrontare la possibile endogeneità degli input, scelti dalle imprese in risposta a produttività non osservata.

Stabilità dei coefficienti e test di chow

Per confrontare due gruppi si può stimare un modello con indicatori e interazioni che consenta intercette e pendenze diverse. Il test di uguaglianza dei coefficienti è un test congiunto delle interazioni e dell’eventuale differenza di intercetta. Il test di Chow classico confronta il modello comune con due regressioni separate, assumendo varianza dell’errore uguale fra gruppi e le altre condizioni pertinenti. Quando le varianze differiscono, una formulazione tramite interazioni con covarianza robusta evita di imporre l’omoschedasticità comune.

Con due gruppi da 60 osservazioni, tre coefficienti per gruppo, RSS comune pari a 200 e RSS separate pari a 70 e 90, la statistica classica è [(200 − 160)/3]/[160/(120 − 6)] = 9,5. Le restrizioni sono tre: uguaglianza dell’intercetta e delle due pendenze. Se la data di rottura viene scelta dopo aver cercato il massimo scostamento fra molte date, la distribuzione di riferimento del test a data fissata non è più direttamente appropriata. La selezione della soglia o della data fa parte del procedimento inferenziale.

Effetti non lineari e metodo delta

Molte quantità economiche sono funzioni non lineari dei coefficienti, come un punto di massimo −β₁/(2β₂), un’elasticità valutata a certe covariate o una probabilità prevista. Se g è differenziabile e i parametri sono regolarmente identificati, la varianza approssimata è ∇g(β̂)′V̂∇g(β̂). Il gradiente deve includere tutte le componenti dalle quali g dipende. Calcolare l’incertezza di un effetto marginale usando soltanto l’errore standard di uno dei coefficienti coinvolti omette parte della variabilità e le covarianze.

Per g(β) = β₁ + 2x₀β₂, l’effetto marginale di un modello quadratico, la funzione è in realtà lineare nei coefficienti a x₀ fissato. La varianza è V̂₁₁ + 4x₀²V̂₂₂ + 4x₀V̂₁₂. Per il punto di massimo, invece, il rapporto può diventare instabile quando β₂ è vicino a zero. Un intervallo ottenuto meccanicamente dal metodo delta può allora essere poco affidabile. La presenza di un massimo stimato non implica che il suo valore sia precisamente localizzato o che rientri nel supporto dei dati.

Esercizio svolto: qual è l’ipotesi corretta?

Un modello delle vendite contiene prezzo, pubblicità e un’interazione prezzo × pubblicità. Si vuole verificare se la sensibilità al prezzo dipende dalla pubblicità. L’ipotesi pertinente è che il coefficiente dell’interazione sia zero, non che il coefficiente del prezzo sia zero. Per verificare invece che il prezzo non abbia alcun effetto nella funzione specificata a tutti i livelli di pubblicità, occorre imporre congiuntamente coefficiente del prezzo e coefficiente dell’interazione uguali a zero. La formulazione del test deriva dall’espressione dell’effetto marginale, βprezzo + βinterazione × pubblicità, e non dalla sola posizione dei p-value nella tabella.

La forma funzionale è parte del modello

La scelta fra livelli, logaritmi, polinomi e altre trasformazioni determina quali relazioni il modello può rappresentare e quale significato assumono i coefficienti. Non è una decisione puramente grafica. Un modello lineare in livelli impone un effetto marginale costante nella componente sistematica; un modello log-log impone un’elasticità costante; un quadratico consente una pendenza che cambia linearmente con il regressore. La teoria economica, il supporto dei dati e lo scopo dell’analisi devono guidare la scelta. Un buon adattamento nel campione non basta a giustificare una forma funzionale per extrapolazioni o interventi.

La linearità nei parametri consente di utilizzare OLS anche con regressori trasformati. Se y = β₀ + β₁ln(x) + β₂x² + u, il modello è lineare in β, pur essendo non lineare in x. Il software tratta ln(x) e x² come colonne della matrice X. L’interpretazione deve però tornare alla variabile economica originaria: una variazione di x modifica contemporaneamente tutte le trasformazioni che la contengono. Leggere separatamente i coefficienti delle colonne senza applicare la derivata o il confronto discreto può produrre conclusioni incoerenti.

Modello livello-livello

Nel modello E(Y|X) = β₀ + β₁X, la derivata è β₁. Un aumento di una unità di X è associato a β₁ unità di Y nella media condizionata, quando questa è correttamente specificata. Se Y è la spesa in euro e X è il reddito in migliaia di euro, β₁ misura euro di spesa per mille euro di reddito. L’elasticità locale è β₁X/E(Y|X), purché il denominatore sia diverso da zero e l’interpretazione percentuale sia sensata. Non è costante salvo casi particolari.

Con una variazione finita ΔX, la variazione prevista è esattamente β₁ΔX nella componente lineare. La semplicità può essere utile su un intervallo ristretto, ma può produrre valori impossibili se l’esito ha supporto limitato. Una previsione negativa per una quantità necessariamente non negativa segnala un limite della specificazione nel punto considerato. Non implica che la regressione sia sempre inutilizzabile, ma richiede di distinguere approssimazione locale e modello globale della distribuzione.

Modello log-livello

Nel modello E[ln(Y)|X] = β₀ + β₁X, con Y > 0, β₁ è una semielasticità della componente logaritmica. Per un piccolo incremento ΔX, la variazione percentuale approssimata nella componente esponenziale è 100β₁ΔX. Per un confronto finito, la variazione esatta è 100[exp(β₁ΔX) − 1]. Con β₁ = 0,10 e ΔX = 1, l’approssimazione è 10%, mentre il valore esatto è circa 10,517%. La differenza cresce con la grandezza del coefficiente o dell’incremento.

La regressione riguarda il logaritmo, non direttamente la media di Y. Se ln(Y) = X′β + u, allora E(Y|X) = exp(X′β)E[exp(u)|X]. Per interpretare exp(β₁ΔX) come rapporto delle medie in livelli, occorre che il fattore E[exp(u)|X] resti invariato nel confronto oppure sia modellato esplicitamente. Senza questa condizione, il coefficiente descrive una relazione nel logaritmo o nella componente geometrica, ma non automaticamente una percentuale della media aritmetica dell’esito.

Modello livello-log

Nel modello E(Y|X) = β₀ + β₁ln(X), con X > 0, la derivata è β₁/X. Un aumento dell’1% di X è associato approssimativamente a β₁/100 unità di Y. L’esito non è in logaritmi, quindi non si tratta di una variazione percentuale di Y. Se β₁ = 50 e Y è una spesa in euro, un aumento dell’1% di X corrisponde approssimativamente a 0,50 euro di Y. Confondere questa interpretazione con «50%» è un errore di scala e di forma funzionale.

Per una variazione finita da X₀ a X₁, la differenza prevista è β₁ln(X₁/X₀). Se X aumenta del 10%, il rapporto è 1,10 e la differenza è β₁ln(1,10), non esattamente 0,10β₁. L’effetto marginale in livelli diminuisce all’aumentare di X quando β₁ è positivo. Questa forma può rappresentare rendimenti marginali decrescenti senza imporre un massimo interno, ma richiede valori positivi e una giustificazione del comportamento agli estremi.

Modello log-log

Nel modello E[ln(Y)|X] = β₀ + β₁ln(X), il coefficiente β₁ è l’elasticità della componente esponenziale rispetto a X. Una variazione percentuale piccola di X produce una variazione percentuale approssimata di β₁ volte quella variazione. Per un incremento finito proporzionale g, il rapporto della componente prevista è (1 + g)^β1 e la variazione percentuale esatta è 100[(1 + g)^β1 − 1]. Con elasticità −1,5 e aumento del prezzo del 10%, la variazione della componente di domanda è 100[1,1^-1·⁵ − 1], circa −13,32%, non esattamente −15%.

Anche qui l’interpretazione sulla media in livelli richiede attenzione alla ritrasformazione. Inoltre, un’elasticità stimata da una regressione della quantità sul prezzo può essere distorta dalla simultaneità di domanda e offerta. La forma log-log rende chiara l’unità del coefficiente, ma non risolve l’identificazione. La scelta funzionale e la strategia causale affrontano problemi distinti: la prima specifica come varia la relazione, la seconda stabilisce quale variazione dei dati permetta di attribuirle un significato causale.

Ritrasformazione e fattore di smearing

Esponenziare una previsione del logaritmo produce exp(X′β̂), ma questa non è in generale una previsione della media aritmetica di Y. Se u|X è normale con varianza costante σ² e media zero, E[exp(u)|X] = exp(σ²/2), per cui la media è exp(X′β + σ²/2). Il termine aggiuntivo deriva dalla convessità dell’esponenziale. Con eteroschedasticità normale, il fattore diventa exp[σ²(X)/2] e cambia con le covariate. Ignorarlo può alterare sia il livello previsto sia alcuni confronti fra gruppi.

Un approccio di smearing stima un fattore di ritrasformazione tramite la media degli exp(û_i), quando le condizioni rendono appropriato un fattore comune. Non richiede necessariamente normalità, ma la sua validità dipende dalla distribuzione condizionata dell’errore e dal modo in cui si applica il fattore a nuove osservazioni. Se la distribuzione residua cambia con X, può servire una correzione condizionata o un modello diretto della media in livelli. Il problema non si risolve semplicemente aggiungendo un numero fisso senza verificare cosa rappresenti.

Zeri, valori negativi e trasformazioni alternative

Il logaritmo non è definito per zero o valori negativi. Eliminare tali osservazioni cambia la popolazione analizzata e può introdurre selezione. La trasformazione ln(1 + Y) è definita per Y > −1, ma il suo coefficiente non conserva automaticamente l’interpretazione di un modello logaritmico ordinario: la derivata rispetto a Y è 1/(1 + Y). Inoltre, il valore numerico della costante uno dipende dall’unità di misura. Un euro e un migliaio di euro non producono la stessa trasformazione economica dopo aver aggiunto uno.

La trasformazione seno iperbolico inverso, asinh(Y) = ln[Y + √(Y² + 1)], ammette anche zeri e valori negativi e si comporta approssimativamente come un logaritmo per valori positivi grandi. Tuttavia, anch’essa è sensibile alla scala e non rende il coefficiente un’elasticità universale. In presenza di molti zeri può essere preferibile distinguere la decisione di avere un esito positivo dalla sua intensità, oppure modellare direttamente una media non negativa con un collegamento esponenziale. La scelta deve seguire il processo economico e l’estimando, non soltanto il desiderio di applicare un logaritmo.

Polinomi e punti di svolta

Nel modello y = β₀ + β₁x + β₂x² + u, l’effetto marginale è β₁ + 2β₂x. Se β₂ < 0, la componente quadratica è concava e il punto stazionario è x* = −β₁/(2β₂); se β₂ > 0 è convessa. Il punto ha interesse empirico soltanto se rientra in un dominio economicamente plausibile e sufficientemente coperto dai dati. Una stima di x* molto lontana dal campione non dimostra l’esistenza osservata di un massimo o minimo. L’incertezza del rapporto può essere grande quando β₂ è poco distinto da zero.

Polinomi di grado elevato possono adattarsi bene nel campione ma oscillare molto ai bordi e fuori dal supporto. Centrare x prima di costruire le potenze può migliorare il condizionamento numerico e rendere alcuni coefficienti più interpretabili, senza modificare lo spazio delle previsioni di un polinomio completo dello stesso grado. Omettere termini di ordine inferiore mantenendo quelli superiori impone invece restrizioni specifiche. Il principio gerarchico suggerisce di mantenere i termini principali quando si includono potenze o interazioni, salvo motivazioni esplicite.

Funzioni lineari a tratti e spline

Una funzione lineare a tratti con nodo c può essere rappresentata come y = β₀ + β₁x + β₂(x − c)₊ + u, dove (x − c)₊ = max(0,x − c). La pendenza è β₁ sotto il nodo e β₁ + β₂ sopra; la funzione è continua in c. Questa forma consente un cambiamento di pendenza senza imporre una curva quadratica globale. Se si aggiunge anche un indicatore 1(x ≥ c), si permette un salto di livello, che è una restrizione economica diversa dal solo cambiamento di pendenza.

Le spline combinano segmenti polinomiali con vincoli di continuità e, in alcune versioni, di regolarità delle derivate. Possono rappresentare relazioni flessibili senza le oscillazioni dei polinomi globali di grado elevato. Numero e posizione dei nodi influenzano il compromesso fra flessibilità e variabilità. Per fini predittivi si possono scegliere tramite validazione; per inferenza causale bisogna considerare anche come questa scelta entra nell’incertezza e nel disegno. Una curva flessibile non elimina la necessità di supporto comune e assenza di confondimento.

Esercizio svolto: quattro interpretazioni

Un coefficiente pari a 0,5 assume significati diversi. In Y su X, una unità di X è associata a 0,5 unità di Y. In ln(Y) su X, una unità di X modifica la componente esponenziale di circa il 50%, con variazione discreta esatta exp(0,5) − 1 ≈ 64,87%. In Y su ln(X), un aumento dell’1% di X modifica Y di circa 0,005 unità. In ln(Y) su ln(X), un aumento dell’1% di X modifica la componente prevista di Y di circa lo 0,5%. La stessa cifra non può essere interpretata prima di conoscere trasformazioni, unità e oggetto condizionato.

Indicatori e categorie di riferimento

Una variabile indicatrice, o dummy, assume uno quando una condizione è soddisfatta e zero altrimenti. Permette di includere categorie in un modello lineare senza attribuire loro distanze numeriche arbitrarie. Per una classificazione con G categorie mutuamente esclusive ed esaustive, un modello con intercetta utilizza normalmente G − 1 indicatori. La categoria esclusa è il riferimento. I coefficienti degli indicatori misurano differenze rispetto a essa, condizionatamente agli altri regressori. Cambiare riferimento modifica la parametrizzazione, non i valori stimati del medesimo modello.

Assegnare i numeri 1, 2 e 3 a tre settori e inserirli come regressore continuo impone che il passaggio dal primo al secondo abbia lo stesso effetto del passaggio dal secondo al terzo. Tale restrizione non è giustificata dalla codifica. Gli indicatori lasciano invece libere le differenze fra categorie. Per variabili ordinali può essere ragionevole studiare una tendenza ordinata, ma l’uguaglianza delle distanze resta un’ipotesi. La scelta fra punteggio numerico e indicatori deve essere motivata dal significato della scala.

Una dummy nel modello lineare

Nel modello y = β₀ + δD + u, la previsione per D = 0 è β₀ e quella per D = 1 è β₀ + δ. OLS con intercetta restituisce le due medie campionarie e la loro differenza. Aggiungendo covariate x, y = β₀ + δD + x′γ + u, δ rappresenta una differenza condizionata nella componente lineare. Il modello impone che tale differenza sia costante rispetto a x, salvo l’inclusione di interazioni. Non è una proprietà che i dati garantiscono automaticamente: è una restrizione della specificazione additiva.

Se D rappresenta la partecipazione a un trattamento, δ non è automaticamente un effetto causale. La regressione controlla soltanto le covariate incluse e nella forma scelta. Se D rappresenta una caratteristica di gruppo, il coefficiente descrive un confronto condizionato e non una valutazione delle persone appartenenti ai gruppi. Variabili antecedenti, conseguenze del trattamento e criteri di selezione hanno ruoli diversi. La codifica binaria semplifica la rappresentazione matematica, ma non risolve le questioni di identificazione.

Più categorie e test congiunti

Con quattro categorie e la prima come riferimento, il modello contiene D₂, D₃ e D₄. β₀ è il livello della categoria di riferimento quando gli altri regressori valgono zero; δ₂, δ₃ e δ₄ sono differenze rispetto a essa. La differenza fra la terza e la seconda categoria è δ₃ − δ₂ e richiede un test della combinazione lineare. Il fatto che δ₃ sia significativo e δ₂ no non dimostra che le due categorie differiscano. Occorre usare la covarianza dei coefficienti nel confronto diretto.

La rilevanza complessiva della classificazione è verificata tramite H₀: δ₂ = δ₃ = δ₄ = 0. Il risultato del test congiunto non dipende dalla categoria di riferimento quando si confrontano gli stessi spazi di modelli con una procedura coerente. Questo è un vantaggio rispetto alla lettura isolata dei singoli p-value. La categoria di riferimento dovrebbe essere scelta per rendere interpretabili i confronti, non per ottenere una tabella con più coefficienti significativi.

Interazione fra dummy e variabile continua

Il modello y = β₀ + β₁x + δD + γ(Dx) + u consente intercette e pendenze diverse fra due gruppi. Per D = 0, la componente prevista è β₀ + β₁x; per D = 1 è (β₀ + δ) + (β₁ + γ)x. Il coefficiente δ è la differenza fra gruppi in x = 0, mentre γ è la differenza fra le pendenze. L’effetto discreto di D a un dato x è δ + γx. Non esiste quindi un’unica differenza costante fra gruppi, a meno che γ sia zero.

Se x = 0 non è un valore interessante, si può usare xc = x − c. Il nuovo coefficiente della dummy rappresenta la differenza fra gruppi in x = c, mentre la differenza di pendenza rimane γ. La centratura non modifica le previsioni se tutti i termini necessari sono mantenuti. Può rendere più leggibile la tabella, per esempio riferendo la differenza di salario a dieci anni di esperienza anziché a esperienza zero. Gli errori standard dei nuovi coefficienti devono seguire la trasformazione e includere le covarianze.

Esempio di pendenze diverse

Supponiamo ŷ = 100 + 5x + 20D − 2Dx. Nel gruppo D = 0 la pendenza è 5; nel gruppo D = 1 è 3. La differenza fra gruppi è 20 − 2x: vale 20 in x = 0, 10 in x = 5 e zero in x = 10. Dire che il gruppo D = 1 ha sempre un esito maggiore di 20 sarebbe sbagliato, perché ignorerebbe l’interazione. Il punto di incrocio a x = 10 ha significato empirico soltanto se quel valore è plausibile e rappresentato per entrambi i gruppi.

Per testare l’uguaglianza delle pendenze si verifica γ = 0. Per testare l’uguaglianza completa delle due rette si verificano congiuntamente δ = 0 e γ = 0. Per testare l’uguaglianza dei gruppi a x = 5 si verifica δ + 5γ = 0. Sono tre domande diverse e possono produrre risposte diverse sullo stesso campione. La formulazione del test deve derivare dall’equazione delle previsioni, non da una lettura automatica dei coefficienti principali.

Interazione fra due dummy

Nel modello y = β₀ + δD + λS + τDS + u, le quattro medie previste sono β₀ per (D,S) = (0,0), β₀ + δ per (1,0), β₀ + λ per (0,1) e β₀ + δ + λ + τ per (1,1). Il coefficiente τ è una differenza di differenze: [m₁₁ − m₀₁] − [m₁₀ − m₀₀]. Misura quanto la differenza associata a D cambia quando S passa da zero a uno. Questa identità è la base algebrica del disegno differenze nelle differenze, ma da sola non ne garantisce l’interpretazione causale.

Se le quattro medie sono 100, 120, 110 e 125 rispettivamente per (0,0), (1,0), (0,1) e (1,1), allora β₀ = 100, δ = 20, λ = 10 e τ = 125 − 110 − 120 + 100 = −5. Il gruppo con entrambe le caratteristiche ha una media di 125, non di 130: l’interazione riduce di cinque unità la somma dei due incrementi principali. Un’interazione negativa non significa che tutte le differenze siano negative; significa che l’associazione combinata è inferiore a quella prevista dall’additività semplice.

Interazioni fra variabili continue

Nel modello y = β₀ + β₁x + β₂z + β₃xz + u, l’effetto marginale di x è β₁ + β₃z e quello di z è β₂ + β₃x. La derivata incrociata è β₃ nella componente lineare. L’interpretazione dei coefficienti principali è condizionata al valore zero dell’altra variabile. Centrare x e z può rendere tali coefficienti riferiti a livelli medi o economicamente significativi, ma non cambia la presenza dell’interazione. È buona pratica riportare effetti marginali a valori pertinenti e relativi intervalli, anziché limitarsi al segno di β₃.

L’incertezza dell’effetto di x in z₀ è Var(β̂₁) + z₀²Var(β̂₃) + 2z₀Cov(β̂₁,β̂₃). Valutare l’effetto in molti valori di z produce una curva di effetti marginali. Gli intervalli puntuali lungo la curva non costituiscono automaticamente una banda simultanea. Inoltre, effetti stimati ai bordi del supporto possono essere imprecisi anche se l’interazione è globalmente significativa. Il grafico dovrebbe mostrare dove si trovano effettivamente le osservazioni, per distinguere confronti supportati ed extrapolazioni.

Dummy in modelli logaritmici

Nel modello ln(Y) = β₀ + δD + x′γ + u, il passaggio da D = 0 a D = 1 modifica la componente esponenziale di un fattore exp(δ). La differenza percentuale esatta della componente è 100[exp(δ) − 1], non 100δ salvo approssimazione per coefficienti piccoli. Con δ = −0,20, la variazione è circa −18,13%, non −20%. Invertire il confronto produce exp(0,20) − 1 ≈ 22,14%: una riduzione percentuale e il suo recupero non sono simmetrici perché cambia la base del rapporto.

Per interpretare il rapporto come differenza fra medie in livelli servono condizioni sulla ritrasformazione dell’errore. Se la varianza o la distribuzione residua differisce fra gruppi, i fattori E[exp(u)|D,x] possono differire e il semplice exp(δ) non basta. L’intervallo di δ può essere trasformato monotonicamente per ottenere un intervallo della componente percentuale. Non bisogna invece presentare il coefficiente trasformato insieme a un errore standard non trasformato senza chiarire la differenza di scala.

Stagionalità, effetti temporali e classificazioni

Indicatori mensili o trimestrali possono rappresentare differenze stagionali ricorrenti. Con intercetta si omette un periodo di riferimento. Indicatori per ogni anno possono assorbire shock comuni a tutte le unità di un panel in quel periodo. Le due scelte hanno significati diversi: la stagionalità ripete lo stesso schema ogni anno, mentre effetti annuali liberi consentono livelli diversi in ciascun anno. Inserire entrambe può essere appropriato in alcuni dati, purché esista variazione sufficiente e la specificazione sia coerente.

Una classificazione molto dettagliata può introdurre numerosi parametri e consumare gradi di libertà. In modelli lineari gli effetti fissi possono essere assorbiti tramite trasformazioni equivalenti, ma resta il requisito di variazione identificante. Se una caratteristica è costante all’interno di ogni gruppo assorbito, il suo coefficiente non può essere separato dagli effetti di gruppo. Non è un limite accidentale del software: il modello ha eliminato proprio la variazione tra gruppi sulla quale si basava quel confronto.

Esercizio svolto: centrare un’interazione

Partendo da ŷ = 100 + 5x + 20D − 2Dx, definiamo xc = x − 5, quindi x = xc + 5. Sostituendo si ottiene ŷ = 125 + 5xc + 10D − 2Dxc. La nuova intercetta è il livello del gruppo di riferimento in x = 5; il nuovo coefficiente di D è la differenza fra gruppi nello stesso punto, pari a 10. Le pendenze restano 5 e 3. Le previsioni non cambiano: è cambiato soltanto il riferimento interpretativo. Questa trasformazione mostra perché il significato di un coefficiente principale non può essere separato dalla codifica degli altri termini.

Il modello stimato e il processo generatore

Specificare un modello significa scegliere esito, regressori, trasformazioni, interazioni, campione e struttura dell’errore. Una specificazione può essere adeguata a descrivere una proiezione lineare e inadeguata a identificare un effetto causale. Può prevedere bene nel contesto osservato e male dopo un cambiamento del comportamento economico. Prima di discutere test diagnostici occorre quindi precisare quale proprietà si vuole ottenere. La «correttezza del modello» non è un’etichetta unica che un comando possa certificare per ogni finalità.

Una variabile omessa è problematica per il coefficiente di interesse quando la sua esclusione induce una relazione fra il regressore e l’errore del modello stimato. Non basta che la variabile influenzi l’esito: deve anche essere associata alla variazione del regressore utilizzata per stimarne il coefficiente. Una caratteristica che influenza Y ma è indipendente da X può aumentare il rumore senza distorcere la pendenza semplice, sotto le condizioni appropriate. Viceversa, una variabile molto correlata con X ma priva di effetto aggiuntivo su Y non genera la classica distorsione da omissione attraverso quel canale.

Derivazione della distorsione nel caso semplice

Supponiamo che il modello pertinente sia Y = β₀ + β₁X + γZ + ε, con errore ortogonale ai regressori secondo le condizioni del problema. Si stima invece una regressione di Y soltanto su X e costante. La pendenza di popolazione della regressione corta è Cov(X,Y)/Var(X). Sostituendo il modello completo e usando Cov(X,ε) = 0, si ottiene:

La distorsione rispetto a β₁ è il prodotto di due elementi: l’effetto di Z su Y, γ, e l’associazione lineare di Z con X. Quest’ultima è la pendenza δ₁ della regressione di Z su X e costante. La formula può quindi essere scritta βcorta − β₁ = γδ₁. Se entrambi i fattori sono positivi, la distorsione è positiva; se hanno segno opposto, è negativa. La direzione può essere ragionata prima del calcolo, ma la sua grandezza richiede informazioni quantitative che non vanno inventate.

Esempio: istruzione e abilità

In un modello del logaritmo del salario, l’istruzione può essere associata ad abilità non osservata, che a sua volta influenza il salario. Se abilità e istruzione sono positivamente associate e l’abilità aumenta il salario, ometterla genera una distorsione positiva rispetto al coefficiente strutturale dell’istruzione, nel semplice schema considerato. Questa è una deduzione condizionata alle ipotesi sui segni e sulla specificazione, non una prova empirica che ogni stima dei rendimenti dell’istruzione sia sovrastimata. Altri meccanismi, come errori di misura, possono operare nella direzione opposta.

Supponiamo β₁ = 0,06, γ = 0,20 e δ₁ = 0,10. La pendenza della regressione corta è 0,06 + 0,20 × 0,10 = 0,08. Due punti percentuali nella componente logaritmica sono qui attribuiti alla relazione con la variabile omessa. Aumentare il campione non elimina il termine 0,02. Un errore standard molto piccolo intorno a 0,08 descriverebbe una stima precisa del coefficiente della regressione corta, ma non del parametro strutturale 0,06. La differenza fra i due oggetti è il problema di identificazione.

Omissione in una regressione multipla

Quando sono già presenti controlli W, il ragionamento deve essere applicato alla variazione residua dopo averli considerati. Tramite FWL si residualizzano X e Z rispetto a W e si studia la covarianza fra X̃ e Z̃. La distorsione del coefficiente di X è γCov(X̃,Z̃)/Var(X̃) nel caso di un solo regressore omesso e della corrispondente proiezione. Non basta guardare la correlazione grezza fra X e Z: i controlli possono modificarne segno e intensità. Il confronto pertinente è condizionato allo spazio già incluso.

Con più variabili omesse, la formula diventa vettoriale e le componenti possono compensarsi o rafforzarsi. L’aggiunta di un controllo può quindi aumentare la grandezza assoluta del coefficiente anche quando rimuove una distorsione. Non esiste una regola secondo cui «più controlli devono ridurre l’effetto». La stabilità dei coefficienti fra modelli è un’informazione utile, ma non dimostra che non esistano confondenti non osservati. Anche stime molto stabili possono condividere la stessa omissione fondamentale.

Variabili irrilevanti e costo della complessità

Aggiungere una variabile con coefficiente di popolazione nullo non introduce automaticamente distorsione sotto le condizioni del modello completo, ma può ridurre la precisione consumando informazione e aumentando la collinearità. In campioni finiti, la selezione fra molte variabili può inoltre creare instabilità. Il costo non è soltanto il numero di coefficienti: conta quanto le nuove colonne sono correlate con il regressore di interesse e quanto riducono il rumore residuo. L’utilità di una covariata va valutata rispetto all’obiettivo, non con una regola universale «includere tutto» o «includere solo ciò che è significativo».

Per inferenza causale, una variabile antecedente necessaria a rendere plausibile l’esogeneità può dover rimanere nel modello anche se il suo coefficiente individuale non è significativo. Escluderla sulla base del p-value può riaprire un confondimento. Per previsione, invece, una procedura di regolarizzazione può scegliere un compromesso diverso e omettere variabili poco utili fuori campione. La specificazione causale e la selezione predittiva non sono intercambiabili, pur potendo utilizzare strumenti statistici simili.

Mediatori e controlli successivi al trattamento

Un mediatore è una variabile attraverso cui il trattamento può influenzare l’esito. Se un corso aumenta l’occupazione e l’occupazione aumenta il reddito, controllare per occupazione successiva al corso può eliminare parte dell’effetto totale che si desidera misurare. Il coefficiente del trattamento nel modello controllato non coincide allora con l’effetto totale. Interpretarlo come effetto diretto richiede ulteriori ipotesi sui confondenti del mediatore e dell’esito, sulla sequenza temporale e sulla forma del modello. La semplice aggiunta del mediatore non identifica automaticamente un effetto diretto causale.

Le variabili misurate dopo il trattamento possono anche essere influenzate da fattori non osservati che incidono sull’esito, creando selezione. Un criterio pratico è ricostruire il momento in cui ciascuna covariata viene determinata e chiedersi se potrebbe cambiare a causa dell’intervento. L’ordine temporale non risolve da solo ogni problema, ma impedisce di trattare indiscriminatamente conseguenze e cause come controlli equivalenti. La domanda causale deve essere fissata prima di scegliere quali percorsi del meccanismo economico mantenere o bloccare.

Collider e distorsione da condizionamento

Un collider è una variabile influenzata da due cause che altrimenti potrebbero essere indipendenti. Condizionare su di esso può creare un’associazione artificiale fra tali cause. Un esempio algebrico rende il meccanismo trasparente: siano X e U indipendenti, Y = U e C = X + U. Senza controllare C, X non è associata a Y. Ma dato C, si ha Y = C − X: una regressione che include C attribuisce a X un coefficiente −1, pur non esistendo alcun effetto causale di X su Y nel processo descritto.

L’esempio mostra perché «controllare per più informazioni» non sia sempre innocuo. Se si selezionano soltanto persone ammesse a un programma sulla base di una combinazione di competenze e altre caratteristiche, il criterio di ammissione può creare associazioni fra i fattori di selezione. Il problema riguarda il campionamento e il condizionamento, non un difetto di OLS. Una strategia credibile deve giustificare l’insieme di controlli attraverso il meccanismo economico, eventualmente con un diagramma causale, e non soltanto attraverso correlazioni osservate.

Forma funzionale omessa

Anche l’omissione di una trasformazione può rendere sbagliata la media condizionata. Se E(Y|X) = β₀ + β₁X + β₂X² e si stima soltanto una retta, il residuo della specificazione lineare contiene una componente sistematica legata a X². Il coefficiente lineare può comunque stimare una proiezione, ma non rappresenta un effetto marginale costante della vera funzione. Grafici, termini polinomiali motivati e specificazioni flessibili aiutano a esplorare questa possibilità. La scelta non dovrebbe dipendere esclusivamente da quale curva produce il p-value più piccolo.

Il test RESET aggiunge potenze dei valori stimati, o trasformazioni analoghe, e verifica congiuntamente se apportano informazione aggiuntiva. Un rifiuto può segnalare una forma funzionale inadeguata o altre misspecificazioni; non identifica da solo quale variabile sia stata omessa. Un non rifiuto non dimostra che il modello sia corretto, soprattutto con poca potenza. Se è plausibile eteroschedasticità, la versione inferenziale deve utilizzare una covarianza appropriata. Il test è uno strumento diagnostico, non una procedura che sceglie automaticamente il modello economicamente vero.

Confronti fra modelli e campione comune

Quando si aggiunge una variabile con dati mancanti, il campione utilizzato può cambiare. Una variazione del coefficiente può allora derivare sia dal nuovo controllo sia dalla diversa composizione delle osservazioni. Per separare i due meccanismi, si può stimare il modello iniziale anche sul campione ristretto utilizzato dal modello più ampio. Il confronto fra vecchio e nuovo campione misura il cambiamento di composizione; il confronto sullo stesso campione isola il cambiamento di specificazione, nei limiti dell’analisi. Senza questo passaggio, attribuire tutto al controllo aggiunto è prematuro.

La sensibilità dovrebbe considerare scelte plausibili, non una ricerca arbitraria di risultati favorevoli. Si possono confrontare forme funzionali, definizioni dell’esito, finestre temporali, gruppi di controllo e trattamenti dei valori estremi, spiegando perché ciascuna alternativa sia pertinente. Riportare soltanto la specificazione che conferma l’ipotesi desiderata distorce l’evidenza. La robustezza non consiste nel trovare molte regressioni simili, ma nel verificare se le conclusioni resistono alle principali minacce sostanziali identificate nel disegno.

Esercizio svolto: segno della distorsione

Il vero modello è Y = 10 − 2P + 3Q + ε, dove P è il prezzo e Q la qualità. Si omette Q e si sa che la pendenza della regressione di qualità sul prezzo è 0,8. La pendenza corta sul prezzo è −2 + 3 × 0,8 = 0,4. L’associazione osservata può quindi risultare positiva anche se l’effetto strutturale del prezzo, a qualità fissa, è negativo. Il segno positivo non confuta automaticamente una domanda decrescente: può riflettere che prodotti di maggiore qualità hanno prezzi più alti e vendite maggiori. Per recuperare il confronto causale servono misurazione della qualità o un’altra strategia di identificazione credibile.

Multicollinearità perfetta e imperfetta

La multicollinearità perfetta si verifica quando una colonna della matrice dei regressori è una combinazione lineare esatta delle altre. In questo caso il rango è insufficiente e alcuni coefficienti non sono separatamente identificati. La multicollinearità imperfetta indica invece relazioni molto forti ma non esatte fra regressori. OLS può ancora essere calcolato in modo unico, ma alcune combinazioni di coefficienti risultano poco precise. La distinzione è fondamentale: nel primo caso manca identificazione algebrica; nel secondo l’informazione è debole in determinate direzioni.

Un’elevata correlazione fra due regressori non è l’unica forma possibile di collinearità. Una variabile può essere quasi combinazione di molte altre anche se nessuna correlazione a coppie è estrema. La matrice di correlazione è quindi utile ma non sufficiente. Inoltre, coefficienti individuali instabili possono coesistere con previsioni relativamente stabili all’interno del supporto osservato, perché i dati informano bene alcune combinazioni complessive e male la separazione dei contributi. La gravità del problema dipende dall’obiettivo: previsione e interpretazione separata dei parametri possono essere colpite in modo diverso.

Il fattore di inflazione della varianza

Per il regressore x_j, si stima una regressione sugli altri regressori e si calcola R_j². Il variance inflation factor è VIF_j = 1/(1 − R_j²). Nella formula omoschedastica Var(β̂_j|X) = σ²/[S_jj(1 − R_j²)], il VIF misura il fattore associato alla riduzione di variazione indipendente del regressore, a parità degli altri elementi. Se R_j² = 0,90, VIF = 10; se R_j² = 0,99, VIF = 100. La precisione può deteriorarsi rapidamente quando il regressore è quasi perfettamente rappresentato dagli altri.

Soglie come 5 o 10 sono convenzioni diagnostiche, non leggi che determinano automaticamente quali variabili eliminare. Un VIF elevato può essere naturale in modelli con polinomi o interazioni e non rendere inutili i confronti economicamente pertinenti. Centrare le variabili può ridurre alcune correlazioni non essenziali fra termini senza modificare lo spazio del modello. Eliminare un controllo necessario per l’identificazione, invece, può ridurre il VIF ma introdurre distorsione. Migliorare una diagnostica numerica non equivale sempre a migliorare l’analisi econometrica.

Condizionamento e stabilità numerica

Gli autovalori e il numero di condizionamento della matrice dei regressori aiutano a individuare direzioni quasi ridondanti. Scale molto diverse possono peggiorare il condizionamento numerico: una variabile in euro e una in milioni di euro possono richiedere una standardizzazione per rendere il calcolo più stabile. La riscalatura non modifica l’informazione sostanziale, purché si trasformino coerentemente coefficienti e interpretazioni. La collinearità dovuta a una relazione economica quasi deterministica, invece, non scompare cambiando unità.

Possibili risposte includono raccogliere dati con maggiore variazione indipendente, ridefinire l’estimando come combinazione di coefficienti, usare restrizioni teoriche giustificate o adottare regolarizzazione per fini predittivi. La regressione sulle componenti principali sostituisce i regressori con combinazioni ortogonali, ma cambia il modo in cui i parametri sono interpretati. Ridge riduce la variabilità introducendo distorsione. Questi strumenti non devono essere presentati come correzioni automatiche che conservano tutte le proprietà inferenziali e causali del modello originario.

Osservazioni anomale: tre concetti diversi

Un’osservazione può essere anomala nell’esito, avere leverage elevato nei regressori oppure essere influente sulla stima. Un residuo grande segnala disaccordo con la previsione; un leverage grande segnala una posizione insolita nello spazio di X; l’influenza misura quanto cambiano i risultati eliminando o modificando il punto. Un’osservazione con leverage elevato può avere residuo piccolo perché ha contribuito a orientare la retta verso di sé. Guardare soltanto i residui può quindi non individuare tutti i punti capaci di dominare la stima.

Un valore estremo può essere un errore di registrazione, un’unità rara ma autentica oppure il segnale che il modello non rappresenta bene una parte della popolazione. Le risposte appropriate sono diverse. Correggere un errore documentato migliora i dati; eliminare un’unità autentica cambia la popolazione analizzata; modificare il modello può essere necessario quando l’eterogeneità è sostanziale. La decisione non dovrebbe dipendere dal fatto che il punto rende un coefficiente meno significativo o contraddice l’aspettativa dell’analista.

Leverage e residui standardizzati

La diagonale h_ii della matrice P_x misura il leverage. La media è k/n e la somma è k. Valori molto superiori alla media meritano attenzione, ma non costituiscono da soli un motivo di esclusione. Nel modello omoschedastico, Var(û_i|X) = σ²(1 − h_ii), perciò i residui dei punti ad alto leverage hanno varianza inferiore. Il residuo internamente studentizzato è r_i = û_i/[s√(1 − h_ii)]. La standardizzazione tiene conto della diversa variabilità dei residui indotta dalla geometria della regressione.

Il residuo esternamente studentizzato usa una stima della scala ottenuta escludendo l’osservazione stessa. Può essere più sensibile a punti che influenzano anche s. Tuttavia, esaminare molti residui e confrontarli tutti con una soglia individuale richiede attenzione ai confronti multipli. Inoltre, con eteroschedasticità la formula classica della varianza residua non descrive tutta la struttura. Le diagnostiche sono indicatori da interpretare nel contesto, non test universali di autenticità dei dati.

Distanza di cook e modifica dei coefficienti

La distanza di Cook riassume quanto cambiano complessivamente i valori stimati quando si elimina una osservazione, con una standardizzazione basata sul modello. Una formula classica è D_i = [û_i²/(ks²)] × [h_ii/(1 − h_ii)²]. Il valore aumenta quando residuo e leverage si combinano. Un punto con residuo moderato ma leverage vicino a uno può essere molto influente. Non esiste una soglia universale che trasformi automaticamente D_i in una decisione di cancellazione: occorre esaminare il punto e il suo ruolo economico.

La variazione dei coefficienti eliminando l’osservazione può essere scritta β̂ − β̂_(-i) = (X′X)^-1x_iû_i/(1 − h_ii), con x_i vettore colonna dei regressori dell’unità. La formula rende esplicita la combinazione fra posizione, residuo e fragilità della stima. DFBETAS standardizza il cambiamento di un singolo coefficiente; DFFITS considera il cambiamento della previsione dell’osservazione. Queste misure rispondono a domande diverse e possono evidenziare influenze concentrate su parametri specifici anziché sull’intero modello.

Esempio numerico di influenza

Supponiamo k = 3, s = 2, residuo û_i = 4 e leverage h_ii = 0,5. La distanza di Cook è [16/(3 × 4)] × [0,5/0,25] = (4/3) × 2 = 8/3, circa 2,667. Con lo stesso residuo ma leverage 0,05, il secondo fattore diventa 0,05/0,9025 ≈ 0,0554 e D_i ≈ 0,0739. La grandezza del residuo da sola non descrive l’influenza. Il primo punto si trova in una posizione molto più capace di modificare la superficie stimata.

La valutazione successiva dovrebbe verificare la registrazione, confrontare il punto con unità economicamente simili e stimare una sensibilità con e senza di esso. Se le conclusioni dipendono drasticamente da una singola osservazione autentica, è importante comunicarlo. Nascondere il punto perché scomodo produce una rappresentazione selettiva; ignorarne il ruolo produce una falsa impressione di stabilità. Una relazione economica osservata soltanto grazie a pochi casi estremi richiede una qualificazione diversa da una relazione sostenuta da variazione diffusa.

Trimming, winsorizzazione e trasformazioni

Il trimming elimina osservazioni oltre certe soglie; la winsorizzazione sostituisce i valori estremi con valori di soglia. Entrambe modificano la distribuzione e possono cambiare l’estimando. Una media dopo trimming non è la media della popolazione originale; una regressione su valori winsorizzati riguarda variabili trasformate. Le soglie dovrebbero essere motivate e dichiarate, preferibilmente definite prima di vedere l’effetto sui risultati. Non è corretto presentare tali operazioni come semplice «pulizia» quando alterano dati autentici.

Trasformazioni come il logaritmo possono ridurre la dominanza di valori grandi, ma cambiano la funzione di perdita e l’interpretazione. La regressione mediana o altre procedure robuste possono offrire confronti utili quando l’obiettivo è una caratteristica centrale meno sensibile alle code. Non risolvono però automaticamente errori di misura, selezione o endogeneità. La robustezza rispetto a valori estremi è una proprietà specifica, distinta dalla robustezza degli errori standard e dalla credibilità causale.

Diagnostica congiunta e comunicazione

Una diagnosi utile combina distribuzioni delle variabili, residui rispetto ai valori stimati, leverage, osservazioni influenti e sensibilità delle quantità di interesse. Non basta produrre molte statistiche senza una domanda. Se l’obiettivo è prevedere imprese ordinarie, un punto estremo fuori dalla popolazione di utilizzo può avere un ruolo diverso rispetto a un’analisi che mira proprio a grandi imprese. La popolazione obiettivo deve guidare il trattamento dei casi, non essere ridefinita implicitamente dopo la stima.

La relazione finale dovrebbe distinguere risultati dell’intero campione, correzioni di errori documentati e analisi di sensibilità su campioni o trasformazioni alternativi. Riportare che una stima cambia da 0,8 a 0,2 escludendo due osservazioni informa sulla fragilità; non determina da solo quale numero sia vero. L’analista deve spiegare che cosa rappresentano quelle unità e perché la loro inclusione o esclusione sia pertinente. La diagnostica serve a rendere trasparente il rapporto fra dati e conclusioni, non a selezionare automaticamente il risultato desiderato.

Esercizio svolto: collinearità o distorsione?

Un ricercatore elimina un controllo perché il suo VIF è 12 e osserva che l’errore standard del trattamento si dimezza. Il miglioramento della precisione non dimostra che il modello sia migliore. Se il controllo è un confondente antecedente necessario, la nuova stima può essere più precisa ma distorta. Se invece il controllo è una trasformazione ridondante non necessaria all’obiettivo, una parametrizzazione più semplice può essere ragionevole. La decisione richiede di identificare il ruolo della variabile e il confronto desiderato; il VIF misura un problema di informazione lineare, non la validità causale del controllo.

Varianza condizionata non costante

L’eteroschedasticità si verifica quando Var(u_i|X) cambia fra osservazioni. In dati sulle famiglie, la dispersione della spesa può aumentare con il reddito; in dati d’impresa, grandi imprese possono presentare variazioni assolute dei ricavi più ampie delle piccole. La proprietà riguarda la varianza dell’errore condizionata ai regressori, non semplicemente la dispersione grezza dell’esito. Un esito più variabile in un gruppo può dipendere anche da differenze nella media o nella composizione delle covariate. La diagnosi deve riferirsi alla specificazione effettivamente stimata.

Se E(u|X) = 0 rimane valida, OLS può essere corretto e consistente anche con eteroschedasticità. Ciò che viene meno è la formula di covarianza basata su una sola σ² e, in generale, l’efficienza classica. Gli errori standard convenzionali possono essere troppo piccoli oppure troppo grandi: non esiste una direzione universale dell’errore. La relazione fra varianza degli errori e posizione dei regressori determina come l’eteroschedasticità si trasmette all’incertezza dei coefficienti.

La formula generale nel caso indipendente

Con errori incorrelati ma varianze σ_i² differenti, Ω è diagonale e la covarianza OLS è (X′X)^-1[∑_iσ_i²x_ix_i′](X′X)^-1. Nel caso semplice con intercetta, Var(β̂₁|X) = ∑_i(x_i − x̄)²σ_i²/Sxx². Le osservazioni lontane dalla media del regressore ricevono un peso importante nella varianza della pendenza. Se proprio queste osservazioni sono molto rumorose, la precisione può essere peggiore di quella suggerita da una varianza residua media.

La formula mostra perché stimare una sola σ² non è sufficiente. Occorre rappresentare come la variabilità degli errori si distribuisce lungo le direzioni di X. La struttura sandwich conserva l’informazione sulla geometria dei regressori ai lati e inserisce al centro una stima della variabilità dei contributi x_iu_i. Questa logica si estende successivamente a clustering e dipendenza temporale, dove il centro della matrice deve includere anche covarianze fra osservazioni diverse.

Covarianza robusta HC0

Lo stimatore HC0 sostituisce le varianze individuali con i residui al quadrato:

La singola quantità û_i² non è necessariamente una stima consistente della singola σ_i² quando si dispone di una sola osservazione per unità. La consistenza della matrice deriva invece dal comportamento aggregato della somma sotto appropriate condizioni. Questo è un punto importante: non si pretende di conoscere perfettamente ogni varianza individuale, ma di stimare correttamente il momento complessivo che determina la distribuzione asintotica dei coefficienti. Servono esogeneità pertinente, momenti, indipendenza o la struttura prevista e assenza di osservazioni dominanti.

L’uso di HC0 non cambia β̂. Cambiano V̂, errori standard, intervalli e test. Non si deve dire che la regressione è stata «corretta dall’eteroschedasticità» in un senso onnicomprensivo: è stata modificata la stima della covarianza per consentire varianze non costanti. Se il modello della media è sbagliato rispetto all’oggetto desiderato o se X è endogena, il coefficiente può rimanere distorto. Se esiste dipendenza fra unità, HC0 può continuare a ignorare covarianze rilevanti.

Correzioni HC1, HC2 e HC3

HC1 moltiplica HC0 per n/(n − k), una correzione globale dei gradi di libertà. HC2 sostituisce û_i² con û_i²/(1 − h_ii); HC3 utilizza û_i²/(1 − h_ii)². Le correzioni basate sul leverage cercano di compensare il fatto che i residui dei punti influenti possono essere artificialmente piccoli a causa dell’adattamento della retta. In campioni limitati o con leverage elevato, la scelta della variante può incidere sensibilmente sull’inferenza. Non esiste però una variante che garantisca risultati esatti in ogni campione e sotto ogni distribuzione.

Quando h_ii è vicino a uno, le correzioni possono diventare molto grandi, segnalando fragilità dell’informazione. Non è necessariamente un malfunzionamento da nascondere: il coefficiente può dipendere da pochissime osservazioni. Con molti regressori rispetto a n, le approssimazioni usuali richiedono ulteriore attenzione. Riportare la variante utilizzata, per esempio HC3, rende il risultato replicabile. La parola generica «robust» può corrispondere a convenzioni diverse nei software e non dovrebbe sostituire una descrizione precisa.

Diagnostica grafica e test

Un grafico dei residui rispetto ai valori stimati o a regressori rilevanti può mostrare una dispersione a ventaglio. È utile anche osservare residui al quadrato o assoluti, distinguendo la variabilità da eventuali pattern della media. Un andamento sistematico dei residui medi può segnalare una forma funzionale errata, non soltanto eteroschedasticità. Poiché i residui sono stimati e dipendono dal leverage, la lettura deve essere accompagnata da conoscenza del campione e del modello.

I test di Breusch–Pagan e relative versioni studentizzate utilizzano una regressione ausiliaria dei residui al quadrato su variabili che potrebbero spiegare la varianza. Una statistica del tipo nR² può avere distribuzione asintotica chi-quadrato con gradi di libertà pari al numero delle restrizioni pertinenti, sotto le condizioni della versione adottata. Il test originale e le versioni robuste alla non normalità non richiedono esattamente le stesse ipotesi. È quindi necessario sapere quale implementazione viene usata, evitando di chiamare tutte le varianti semplicemente lo stesso test senza qualificazioni.

Il test di White utilizza una specificazione ausiliaria più flessibile, spesso con regressori, quadrati e interazioni, rimuovendo eventuali colonne ridondanti. Può rilevare forme più generali di varianza non costante, ma consuma molti gradi di libertà quando i regressori sono numerosi. Un rifiuto può anche essere sensibile a misspecificazione della media. Un non rifiuto non dimostra omoschedasticità: il test può avere poca potenza. La decisione di consentire eteroschedasticità nell’inferenza può essere motivata dal disegno senza dipendere da un test preliminare.

Minimi quadrati ponderati

Se Var(u_i|X) = σ²h_i con h_i > 0 noto, si divide ogni equazione per √h_i. L’errore trasformato ha varianza σ². OLS sui dati trasformati equivale a minimizzare ∑_iw_i(y_i − x_i′β)² con w_i = 1/h_i. Lo stimatore è β̂WLS = (X′WX)^-1X′Wy, dove W è diagonale con elementi w_i. Le osservazioni con maggiore varianza ricevono meno peso perché contengono meno informazione sulla media, secondo il modello di varianza assunto.

Occorre distinguere il peso nel criterio dalla trasformazione dei dati: si moltiplicano y e ogni colonna di X per √w_i, non per w_i. Anche l’intercetta viene trasformata e diventa una colonna √w_i, non una nuova costante identica per tutte le righe. Dimenticare di trasformare la costante produce un modello diverso. Nei software i tipi di peso possono avere significati differenti; pesi di precisione, frequenza e campionamento non sono intercambiabili soltanto perché entrano come numeri positivi in un comando.

Esempio di ponderazione

Due misure indipendenti dello stesso parametro hanno varianze 1 e 4. La media semplice attribuisce peso 1/2 a ciascuna e ha varianza (1 + 4)/4 = 1,25. La media ponderata per l’inverso della varianza utilizza pesi proporzionali a 1 e 1/4, quindi pesi normalizzati 0,8 e 0,2. La sua varianza è 0,8² × 1 + 0,2² × 4 = 0,64 + 0,16 = 0,8. La ponderazione migliora la precisione perché sfrutta informazione corretta sulle varianze.

Se le varianze assunte sono sbagliate, la ponderazione può non essere efficiente. Con media condizionata corretta e pesi positivi che dipendono appropriatamente dai regressori, il coefficiente può rimanere consistente, ma la covarianza deve essere stimata in modo robusto alla misspecificazione dei pesi. Se la media lineare è soltanto un’approssimazione, cambiare pesi può cambiare anche il parametro di proiezione: si attribuisce maggiore importanza a parti diverse della distribuzione. La scelta dei pesi può quindi modificare l’estimando, non soltanto la precisione.

GLS fattibile e modello della varianza

Quando h_i è ignoto, si può stimare un modello della varianza e usare pesi stimati, ottenendo GLS fattibile o FGLS. Una procedura illustrativa stima inizialmente OLS, modella i residui al quadrato o il loro logaritmo attraverso covariate e ricava varianze previste positive. I dettagli contano: logaritmi di residui nulli, bias della trasformazione, forma del modello e dipendenza possono richiedere accorgimenti. La consistenza e l’efficienza di FGLS dipendono dalla qualità del modello della varianza e dalle condizioni del procedimento.

Una specificazione molto errata della varianza può produrre pesi estremi e rendere l’analisi fragile. È utile confrontare OLS con covarianza robusta e WLS/FGLS, motivando eventuali differenze. Non si dovrebbe scegliere il metodo soltanto perché produce errori standard più piccoli. Una maggiore precisione dichiarata è credibile solo se le ipotesi aggiuntive sono sostenibili. In molte analisi l’obiettivo primario è un’inferenza valida con una specificazione prudente della covarianza, non l’efficienza massima sotto un modello di varianza difficile da giustificare.

Eteroschedasticità e previsione

Per una nuova osservazione, l’intervallo di previsione dipende dalla varianza condizionata dell’errore nel punto x₀. Una covarianza robusta dei coefficienti quantifica l’incertezza sulla media stimata, ma non fornisce da sola un modello della dispersione individuale futura. Aggiungere una varianza residua comune può essere inappropriato se il rumore cambia molto con x₀. Occorre distinguere l’inferenza sui coefficienti dalla costruzione di una distribuzione predittiva completa e, quando necessario, modellare la varianza o usare procedure predittive adatte all’eterogeneità.

Questa distinzione emerge in un modello delle spese familiari: la media prevista può essere precisa sia per famiglie a basso reddito sia per quelle ad alto reddito, ma la dispersione individuale può essere molto maggiore nel secondo gruppo. Un unico intervallo di uguale ampiezza non riflette tale differenza. Il problema non è risolto scrivendo «errori robusti» sotto la tabella della regressione. La procedura deve essere costruita per l’oggetto specifico: coefficiente, media condizionata oppure esito individuale.

Esercizio svolto: trasformare il modello

Si assume y_i = β₀ + β₁x_i + u_i, con x_i > 0 e Var(u_i|x_i) = σ²x_i². Dividendo per x_i si ottiene y_i/x_i = β₀(1/x_i) + β₁ + u_i/x_i. L’errore trasformato ha varianza σ². La nuova regressione contiene una costante che rappresenta β₁ e il regressore 1/x_i il cui coefficiente è β₀. Non è la regressione di y_i/x_i su x_i con una costante aggiunta arbitrariamente. Il criterio equivalente nei dati originali usa pesi 1/x_i², confermando la distinzione fra peso e radice del peso.

Quando le osservazioni non sono indipendenti

Le osservazioni possono condividere shock temporali, ambiente, gestione, insegnanti, mercato locale o regole di assegnazione. In un panel, le misure della stessa impresa possono essere correlate nel tempo; in un esperimento scolastico, gli studenti della stessa classe possono condividere componenti dell’esito. Ignorare questa dipendenza può far apparire il campione più informativo di quanto sia. Il numero di righe non è sempre il numero di unità indipendenti che sostengono l’inferenza. La matrice di covarianza deve riflettere il disegno e la fonte della variazione identificante.

La dipendenza degli errori non implica automaticamente distorsione dei coefficienti OLS se le condizioni sulla media e sull’esogeneità restano appropriate. Può però invalidare gli errori standard calcolati assumendo indipendenza e compromettere l’efficienza. Nelle regressioni dinamiche, dipendenza e regressori ritardati possono interagire con l’endogeneità, per cui non basta separare meccanicamente i problemi. Occorre stabilire se la struttura temporale viola soltanto la formula della covarianza o anche le condizioni che identificano il coefficiente.

Autocorrelazione seriale

Un errore segue un processo AR(1) illustrativo se u_t = ρu_t-1 + ε_t, con innovazioni adeguatamente non correlate con il passato e |ρ| < 1 per la soluzione stazionaria usuale. Errori positivi tendono a essere seguiti da errori positivi quando ρ > 0. In tal caso le osservazioni ravvicinate contengono informazione parzialmente ripetuta. La varianza di lungo periodo della media differisce dalla varianza contemporanea. Per un processo AR(1) stazionario, il rapporto fra varianza di lungo periodo e varianza contemporanea è (1 + ρ)/(1 − ρ).

Con ρ = 0,5, il rapporto è 3: un calcolo che usa soltanto la varianza contemporanea può sottostimare sensibilmente l’incertezza della media. Il risultato è illustrativo e non va trasferito automaticamente a ogni coefficiente di regressione, poiché la covarianza dei regressori e degli errori determina la varianza specifica. Una correlazione seriale negativa può invece ridurre alcune varianze aggregate. La direzione dell’errore dipende dalla struttura, non dalla sola presenza della parola «autocorrelazione».

Diagnostica della dipendenza temporale

L’autocorrelazione dei residui può essere esplorata con grafici nel tempo e funzioni di autocorrelazione. Il test di Durbin–Watson è collegato soprattutto a un’alternativa di autocorrelazione di primo ordine in specificazioni particolari e non è universalmente appropriato, per esempio quando è presente l’esito ritardato. Il test di Breusch–Godfrey utilizza una regressione ausiliaria dei residui sui regressori originali e su residui ritardati, consentendo di verificare più ritardi sotto le condizioni pertinenti. La scelta del numero di ritardi deve essere motivata dalla frequenza e dalla dinamica economica.

Un rifiuto di assenza di autocorrelazione può indicare una struttura di errori dipendenti, ma anche dinamica della media omessa, stagionalità non rappresentata o cambiamenti di regime. Inserire ritardi dell’esito o delle covariate modifica il modello della media e il significato dei coefficienti; usare una covarianza HAC modifica invece l’inferenza sul modello già scelto. Le due risposte non sono equivalenti. La specificazione dinamica dovrebbe rispondere alla domanda economica, mentre la covarianza dovrebbe rappresentare la dipendenza residua compatibile con quel modello.

Covarianza HAC e newey–west

HAC significa heteroskedasticity and autocorrelation consistent. La covarianza consente sia eteroschedasticità sia autocorrelazione sotto condizioni di dipendenza sufficientemente debole. Definendo z_t = x_tû_t, una stima del centro della matrice sandwich può essere costruita sommando i prodotti contemporanei z_tz_t′ e prodotti ritardati z_tz_t-l′ insieme alle trasposte. I ritardi vengono ponderati e troncati a una banda L. Con pesi Bartlett, w_l = 1 − l/(L + 1). La matrice finale è ottenuta premoltiplicando e postmoltiplicando per (X′X)^-1, con normalizzazioni coerenti.

La scelta di L bilancia due esigenze: includere dipendenza rilevante e non introdurre troppo rumore stimando molte autocovarianze. Una banda troppo piccola trascura correlazioni; una troppo grande può peggiorare l’approssimazione finita. La frequenza dei dati e l’orizzonte della variabile, per esempio rendimenti sovrapposti, aiutano a motivare la scelta. HAC non risolve radici unitarie, regressioni spurie, endogeneità o rotture strutturali non gestite. La consistenza richiede condizioni sulla serie e sulla crescita della banda, non soltanto un comando etichettato Newey–West.

Clustering: dipendenza libera all’interno dei gruppi

Con G gruppi indipendenti fra loro e possibile dipendenza arbitraria all’interno di ciascun gruppo, la covarianza cluster-robust di base è:

Il vettore Xg′ûg aggrega i contributi delle osservazioni del gruppo. I prodotti incrociati all’interno del gruppo sono mantenuti, invece di essere trattati come nulli. L’approssimazione usuale si fonda su un numero sufficientemente grande di cluster indipendenti e su condizioni che impediscano a pochi gruppi di dominare l’informazione. Non basta avere molte osservazioni dentro pochi cluster. Cameron e Miller discutono questi principi e i problemi di inferenza con pochi gruppi nel riferimento R4.

Correzioni finite possono moltiplicare la matrice per fattori come G/(G − 1) e (n − 1)/(n − k), secondo la convenzione adottata. Esistono correzioni più articolate, come CR2, e approssimazioni dei gradi di libertà che tengono conto del disegno. Tali scelte non sono universalmente identiche fra software. La tabella dovrebbe indicare livello di clustering e numero dei gruppi, oltre al numero delle osservazioni. L’omissione di G può nascondere una fragilità importante dell’inferenza.

Come scegliere il livello di clustering

Il livello deve essere collegato alla dipendenza plausibile e al meccanismo di assegnazione o campionamento. Se un trattamento è assegnato a intere scuole, gli studenti non forniscono assegnazioni indipendenti del trattamento. Se un’impresa viene osservata ripetutamente, può essere ragionevole consentire correlazione entro impresa. Se shock regionali accomunano imprese diverse, il solo clustering per impresa può non essere sufficiente. La scelta non deve essere effettuata cercando il livello che produce il p-value più favorevole.

Cluster più ampi non sono automaticamente più «conservativi» in ogni campione o per ogni coefficiente. Possono ridurre il numero di gruppi indipendenti e modificare la qualità dell’approssimazione; le covarianze stimate possono avere segni diversi. La strategia dovrebbe essere motivata prima di esaminare i risultati e accompagnata da sensibilità dove esistono alternative plausibili. Effetti fissi di gruppo o di tempo non eliminano necessariamente tutta la dipendenza residua: assorbire medie comuni e consentire covarianza degli errori sono operazioni differenti.

Effetto del disegno e numerosità effettiva

In un esempio semplificato con gruppi di uguale dimensione m e correlazione intraclasse ρ, l’effetto del disegno per una media è DEFF = 1 + (m − 1)ρ. Se m = 20 e ρ = 0,10, DEFF = 2,9. Mille osservazioni raggruppate hanno, per quella media e sotto tali ipotesi, una numerosità effettiva approssimata di 1000/2,9 ≈ 345 osservazioni indipendenti. L’errore standard è circa √2,9 ≈ 1,70 volte quello calcolato ignorando il raggruppamento.

La formula non sostituisce una vera covarianza cluster-robust in una regressione complessa. L’effetto del disegno può dipendere dal regressore e dalla distribuzione delle dimensioni dei gruppi. È però utile per capire perché aggiungere molte persone alla stessa classe può essere meno informativo che aggiungere nuove classi. Nella pianificazione di un esperimento a cluster, il numero di gruppi è spesso una componente decisiva della potenza. La struttura del disegno deve essere considerata prima della raccolta, non soltanto corretta dopo nella tabella finale.

Pochi cluster e wild cluster bootstrap

Con pochi cluster, le approssimazioni normali o t convenzionali possono sovrarifiutare. La difficoltà aumenta quando i gruppi hanno dimensioni molto diverse, il trattamento varia in pochi di essi o alcuni cluster hanno leverage elevato. Procedure come wild cluster bootstrap e correzioni della covarianza con gradi di libertà adeguati possono migliorare l’inferenza in condizioni specifiche. Non esiste però una soglia unica che renda sicuro ogni problema né una procedura che crei informazione quando il trattamento è sostenuto da pochissimi gruppi.

Nel wild cluster bootstrap si applicano perturbazioni comuni a tutti i residui di un cluster, preservando la struttura interna, con varianti che impongono l’ipotesi nulla e utilizzano distribuzioni di pesi adatte. Il ricampionamento deve rispettare l’unità indipendente. Ricampionare singoli studenti all’interno di scuole trattate come indipendenti non riproduce l’incertezza dell’assegnazione per scuola. Le condizioni del disegno e l’implementazione della statistica rimangono essenziali anche quando il metodo contiene la parola bootstrap.

Clustering a due vie

Quando esistono due dimensioni non annidate di dipendenza, per esempio impresa e anno, una covarianza a due vie combina le componenti per ciascuna dimensione sottraendo quella dell’intersezione, per evitare il doppio conteggio. La logica è V̂A,B = V̂A + V̂B − V̂A∩B, con correzioni e condizioni appropriate. Consente dipendenza entro impresa attraverso il tempo e fra imprese nello stesso anno. Il riferimento R5 presenta il principio del clustering multidimensionale.

La disponibilità di molte imprese non elimina il problema di avere pochi anni nella dimensione temporale. Anche il clustering a due vie richiede attenzione al numero di gruppi lungo entrambe le dimensioni e alle strutture dominanti. Se la dipendenza è spaziale continua anziché raggruppata in blocchi, possono essere necessari stimatori spaziali della covarianza basati su distanza e decadimento. La scelta dovrebbe riflettere il meccanismo economico e non soltanto la forma amministrativa degli identificativi disponibili.

Esercizio svolto: errore standard e unità di assegnazione

Un programma viene assegnato casualmente a dieci scuole trattate e dieci scuole di controllo, con cinquanta studenti per scuola. Il campione contiene mille studenti, ma venti assegnazioni indipendenti a livello scolastico. Una regressione con errori standard indipendenti per studente può sottovalutare l’incertezza se gli esiti condividono shock scolastici. Il clustering per scuola rispetta la struttura, ma venti gruppi richiedono cautela e possibili correzioni per pochi cluster. Aggiungere altri cinquanta studenti alle stesse scuole non equivale ad aggiungere venti nuove scuole: cambia soprattutto la precisione delle medie interne, non il numero di assegnazioni indipendenti.

L’idea del ricampionamento

Il bootstrap approssima la variabilità di uno stimatore riproducendo un procedimento di campionamento a partire dalle informazioni disponibili. Nel bootstrap non parametrico i.i.d., la distribuzione empirica del campione sostituisce la distribuzione ignota della popolazione. Si estraggono con reinserimento n osservazioni, si ricalcola lo stimatore e si ripete il procedimento B volte. Le repliche θ̂*₁, …, θ̂*B approssimano una distribuzione campionaria, condizionatamente ai dati osservati e sotto le condizioni che rendono valido il metodo. Il principio originario è associato al lavoro di Efron riportato nel riferimento R10.

Il ricampionamento con reinserimento permette che alcune osservazioni compaiano più volte e altre non compaiano in una replica. Non produce nuovi dati indipendenti dalla popolazione: utilizza la distribuzione empirica per approssimare l’incertezza del campionamento. Aumentare B riduce l’errore numerico della simulazione, ma non aumenta la numerosità informativa del campione originale. Un campione distorto o privo di supporto non diventa rappresentativo perché viene ricampionato molte volte. Il bootstrap non risolve identificazione, selezione o errori sistematici di misurazione.

Errore standard e distorsione bootstrap

La media delle repliche è θ̄* = B^-1∑bθ̂*b. L’errore standard bootstrap è la deviazione standard delle repliche, √[(B − 1)^-1∑b(θ̂*b − θ̄*)²]. Una stima della distorsione è θ̄* − θ̂, ma la correzione della distorsione non migliora necessariamente l’errore quadratico medio, perché può aumentare la varianza. La qualità dipende dal comportamento dello stimatore e dall’accuratezza con cui la distribuzione empirica rappresenta gli aspetti rilevanti della popolazione.

Il numero B deve essere sufficiente per stabilizzare la quantità di interesse. Stimare una deviazione standard può richiedere meno repliche che stimare con precisione un quantile estremo o un p-value molto piccolo. È utile fissare un seme per la riproducibilità e verificare che risultati importanti non cambino materialmente aumentando B. Il seme non rende corretta una procedura sbagliata: rende replicabile la medesima sequenza pseudo-casuale. La scelta dell’unità di ricampionamento resta più importante del numero di repliche.

Intervalli percentile, basic e studentizzati

L’intervallo percentile usa direttamente i quantili α/2 e 1 − α/2 delle repliche θ̂*. È intuitivo e rispetta trasformazioni monotone, ma può avere copertura scadente in presenza di distorsione o asimmetria non ben rappresentata. L’intervallo basic usa [2θ̂ − q*_1-α/₂, 2θ̂ − q*α/₂], riflettendo la distribuzione degli scarti bootstrap rispetto alla stima. Le due procedure non sono equivalenti e possono produrre intervalli diversi anche con le stesse repliche.

L’intervallo bootstrap-t ricampiona una statistica studentizzata, per esempio T* = (θ̂* − θ̂)/SE*(θ̂*), e usa i suoi quantili per costruire gli estremi attorno alla stima originale. Richiede una stima della scala in ogni replica, che può essere onerosa. Metodi come BCa correggono distorsione mediana e variazioni della scala tramite parametri aggiuntivi. Nessuna etichetta garantisce copertura esatta in ogni problema: parametri sulla frontiera, selezione non regolare e distribuzioni con code problematiche possono richiedere procedure specifiche o subsampling.

Bootstrap delle coppie e dei residui

Nella regressione con osservazioni i.i.d. e regressori casuali, il bootstrap delle coppie ricampiona intere righe (y_i,x_i). Mantiene l’associazione osservata fra regressori ed esito e può consentire eteroschedasticità sotto le condizioni appropriate. Ricampionare separatamente y e ciascuna colonna di X distruggerebbe la distribuzione congiunta e non rappresenterebbe lo stesso problema. Alcune repliche possono avere problemi di rango quando il campione è piccolo o contiene categorie rare; tali problemi vanno gestiti e documentati, non ignorati silenziosamente.

Il bootstrap dei residui mantiene X fisso, ricampiona residui opportunamente centrati e genera y_i* = x_i′β̂ + u_i*. La versione elementare presume errori con distribuzione comune e può non essere appropriata con eteroschedasticità. Il wild bootstrap moltiplica i residui per perturbazioni casuali con media zero e varianza uno, mantenendo la relazione fra scala residua e covariate. Per testare un’ipotesi è spesso importante generare le repliche sotto la restrizione nulla e usare una statistica studentizzata coerente con il problema.

Ricampionamento con dipendenza

Con dati raggruppati, si ricampionano cluster interi oppure si utilizzano perturbazioni comuni a tutte le osservazioni del gruppo. Con serie storiche, il bootstrap i.i.d. delle singole date distrugge l’autocorrelazione. Metodi a blocchi ricampionano segmenti consecutivi, con varianti mobili, circolari o di lunghezza casuale. La lunghezza dei blocchi deve bilanciare conservazione della dipendenza e numero di blocchi effettivamente disponibili. Una procedura appropriata per dati indipendenti non diventa valida per serie dipendenti soltanto aumentando B.

Il lavoro di Cameron, Gelbach e Miller sul bootstrap con errori raggruppati, indicato nel riferimento R11, studia miglioramenti inferenziali rispetto ad approssimazioni convenzionali in specifici contesti. I risultati non autorizzano a considerare qualsiasi bootstrap una soluzione universale ai pochi cluster. Dimensioni sbilanciate, trattamento concentrato in pochi gruppi e leverage elevato possono restare problematici. Il disegno deve guidare sia la generazione delle repliche sia la statistica confrontata con la distribuzione bootstrap.

Jackknife e subsampling

Il jackknife elimina una osservazione, o un gruppo, alla volta e ricalcola lo stimatore. Se θ̂_(-i) sono le stime leave-one-out e θ̄_(-) la loro media, una varianza jackknife classica è [(n − 1)/n]∑_i(θ̂_(-i) − θ̄_(-))². Il metodo può essere utile per stimatori regolari e per analizzare influenza, ma non è universalmente valido per statistiche non lisce. Eliminare una persona anziché un cluster, quando l’unità indipendente è il gruppo, replica la stessa incoerenza del bootstrap individuale in dati raggruppati.

Il subsampling utilizza sottocampioni più piccoli senza reinserimento e una riscalatura adeguata. Può essere utile in problemi in cui il bootstrap standard fallisce, ma richiede di conoscere o stimare il tasso di convergenza e scegliere la dimensione del sottocampione. Non è un sostituto privo di ipotesi. Il principio comune a tutte queste procedure è riprodurre la fonte pertinente di variabilità con un meccanismo che abbia una giustificazione teorica per lo stimatore e il disegno in esame.

Test di randomizzazione

In un esperimento, l’assegnazione del trattamento è una fonte di casualità nota dal disegno. Un test di randomizzazione confronta la statistica osservata con quelle ottenute riassegnando il trattamento secondo le assegnazioni ammesse. Sotto un’ipotesi nulla forte, o sharp null, che specifichi l’assenza di effetto per ogni unità, gli esiti potenziali mancanti sono ricostruibili perché coincidono con quelli osservati. Il test può allora essere esatto rispetto al meccanismo di assegnazione, senza richiedere una distribuzione normale degli esiti.

La nulla forte di effetto individuale nullo è diversa dalla sola nulla di effetto medio nullo. Effetti positivi e negativi possono compensarsi nella media pur violando la nulla forte. Test di permutazione per ipotesi deboli richiedono ulteriori condizioni o studentizzazioni per la validità pertinente. Anche la riassegnazione deve rispettare il disegno: randomizzazione stratificata, a coppie o per cluster non consente permutazioni arbitrarie fra tutte le persone. La procedura esatta è esatta per il meccanismo realmente specificato, non per un meccanismo più comodo inventato dopo.

Esempio di randomizzazione

Quattro unità ricevono esiti osservati 1, 2, 5 e 6; esattamente due sono assegnate al trattamento. Esistono C(4,2) = 6 assegnazioni equiprobabili. Se sono trattate le unità con esiti 5 e 6, la differenza fra medie è 5,5 − 1,5 = 4. Sotto la nulla forte, le sei differenze possibili sono −4, −1, 0, 0, 1 e 4. Il p-value bilaterale basato sul valore assoluto è 2/6 = 1/3. La differenza osservata è grande, ma il disegno con pochissime assegnazioni possibili limita la risoluzione inferenziale.

Quando si approssima la distribuzione attraverso B riassegnazioni casuali, una convenzione che include l’assegnazione osservata usa p̂ = (1 + numero di statistiche simulate almeno altrettanto estreme)/(B + 1). Evita di dichiarare p = 0 soltanto perché nessuna replica supera la statistica osservata. La risoluzione minima dipende da B e dal disegno. La simulazione aggiunge incertezza numerica che va distinta dall’incertezza statistica del campione o dell’assegnazione.

Confronti multipli

Se si effettuano m test indipendenti, ciascuno al livello α, quando tutte le nulle sono vere la probabilità di almeno un falso rifiuto è 1 − (1 − α)ᵐ. Con venti test al 5%, questa probabilità è circa 64,15%. La dipendenza fra test modifica il calcolo esatto, ma non elimina in generale il problema della molteplicità. Cercare fra molti esiti, sottogruppi e specificazioni e riportare soltanto il risultato significativo altera il significato del livello nominale. La famiglia di confronti deve essere definita in relazione alla domanda di ricerca.

Bonferroni controlla il family-wise error rate usando una soglia α/m per ciascun test, senza richiedere indipendenza. Holm ordina i p-value e applica soglie sequenziali α/(m − j + 1), interrompendo i rifiuti quando la condizione non è soddisfatta. La procedura di Benjamini–Hochberg controlla invece il false discovery rate sotto appropriate condizioni di dipendenza, confrontando p-value ordinati con jq/m. FWER e FDR rispondono a criteri diversi: il primo riguarda almeno un falso rifiuto, il secondo la quota attesa di falsi rifiuti fra le scoperte, con la convenzione pertinente quando non vi sono rifiuti.

Esercizio svolto: bonferroni e holm

Quattro p-value sono 0,004; 0,020; 0,030; 0,200. Con Bonferroni al 5%, la soglia è 0,0125 e si rifiuta soltanto la prima ipotesi. Con Holm, il primo p-value supera il confronto favorevolmente perché 0,004 ≤ 0,0125; il secondo viene confrontato con 0,05/3 ≈ 0,0167 e non soddisfa la soglia. La procedura si arresta e anche in questo esempio rifiuta soltanto la prima. L’obiettivo non è rendere i risultati meno interessanti, ma mantenere coerente la probabilità di errore con il numero di occasioni offerte ai dati per produrre una scoperta apparente.

Prevedere un esito non osservato

La previsione mira a produrre una stima utile di un esito nuovo, utilizzando informazioni disponibili al momento della decisione. Il criterio di successo è la qualità fuori campione, non l’adattamento ai dati già usati per stimare. Una variabile può essere fortemente associata all’esito ma non disponibile in tempo utile; includerla produrrebbe una previsione irrealizzabile. Per esempio, usare il saldo finale di un contratto per prevederne l’insolvenza al momento della stipula introduce informazione futura. La definizione dell’insieme informativo è parte del problema econometrico.

La previsione non richiede sempre identificazione causale, ma richiede stabilità sufficiente del rapporto fra dati di stima e contesto di utilizzo. Un modello può sfruttare correlazioni senza interpretarle come effetti di interventi. Se però la decisione modifica il processo che genera i dati, una relazione puramente predittiva può non essere trasportabile. Prevedere vendite al prezzo osservato e valutare cosa accadrebbe fissando un prezzo diverso sono domande differenti. La seconda richiede anche un ragionamento sul comportamento economico e sull’endogeneità del prezzo.

Funzione di perdita e previsione ottimale

Sotto perdita quadratica, la previsione ottimale è la media condizionata; sotto perdita assoluta è una mediana condizionata. Perdite asimmetriche conducono a quantili diversi dalla mediana. Se esaurire le scorte costa molto più che mantenerne alcune in eccesso, un quantile alto della domanda può essere più pertinente della media. La funzione di perdita dovrebbe riflettere il costo economico degli errori. Scegliere automaticamente RMSE perché è disponibile nel software può ottimizzare una metrica diversa da quella che conta nella decisione.

Il rischio predittivo è E[L(Ynuovo, f̂(Xnuovo))], dove l’aspettativa considera nuovi dati e, quando pertinente, la variabilità della stima. L’errore di addestramento valuta invece gli stessi dati usati per costruire f̂ e tende a essere ottimistico, soprattutto con modelli flessibili. Aggiungere regressori riduce o mantiene RSS nel campione, ma può aumentare l’errore futuro adattandosi al rumore. Questo è il fenomeno di overfitting. La complessità va valutata attraverso un procedimento che simuli il più possibile l’utilizzo reale.

Training, validation e test

Il training set serve a stimare i parametri. Il validation set serve a scegliere complessità, iperparametri o specificazioni. Il test set viene riservato alla valutazione finale di una procedura già scelta. Se il test set viene consultato ripetutamente per modificare il modello, smette di essere un controllo indipendente e diventa parte della selezione. Il confine fra i tre ruoli deve essere mantenuto lungo l’intera analisi, non soltanto dichiarato in un paragrafo metodologico.

Tutte le trasformazioni apprese dai dati devono rispettare la separazione. Medie e deviazioni standard usate per standardizzare, imputazioni, selezione delle variabili, riduzione dimensionale e scelta dei nodi devono essere stimati nel training e applicati agli altri insiemi. Calcolarli sull’intero campione prima della divisione può introdurre data leakage, cioè trasferimento di informazione dal campione di valutazione alla procedura di stima. Il problema può essere sottile anche quando non si usa direttamente l’esito futuro.

Validazione incrociata

Nella K-fold cross-validation, il campione viene diviso in K parti; a turno una parte è usata per validare e le altre per stimare. Si aggregano le perdite fuori campione ottenute nei K turni. La procedura permette di usare efficacemente dati limitati, ma la divisione deve rispettare dipendenza e obiettivo. Per valutare previsioni su nuove imprese, le osservazioni della stessa impresa dovrebbero rimanere nello stesso gruppo di divisione. Distribuire anni della medesima impresa fra training e test può misurare un problema diverso, relativo a unità già conosciute.

La validazione annidata separa la scelta degli iperparametri dalla valutazione esterna: un ciclo interno sceglie il modello e un ciclo esterno ne valuta la prestazione. È utile quando molte alternative vengono confrontate. Le medesime trasformazioni devono essere ripetute all’interno di ciascun training fold, non apprese una volta sull’intero dataset. Il costo computazionale aumenta, ma si evita di presentare come prestazione finale la migliore fra molte valutazioni già utilizzate per scegliere. La selezione è parte dell’algoritmo che deve essere validato.

Dati temporali e origine mobile

Nelle serie storiche, una divisione casuale può consentire al modello di usare il futuro per prevedere il passato. La valutazione dovrebbe rispettare l’ordine temporale, con finestre di addestramento che terminano prima delle osservazioni previste. Nell’origine mobile si stima usando le informazioni disponibili fino a una data, si prevede uno o più passi avanti e si sposta l’origine. Finestre espandenti utilizzano tutta la storia disponibile; finestre mobili mantengono una lunghezza fissa e possono adattarsi meglio a cambiamenti strutturali, al costo di meno informazione.

Se l’esito usa intervalli sovrapposti, come un rendimento a dodici mesi calcolato ogni mese, può essere necessario separare training e test con un intervallo adeguato per evitare sovrapposizioni informative. Anche le revisioni dei dati macroeconomici contano: una valutazione realistica dovrebbe usare, quando possibile, le informazioni effettivamente disponibili alla data della previsione. Usare dati rivisti successivamente può sovrastimare la prestazione operativa. Il riferimento R3 approfondisce la logica della valutazione temporale e dei benchmark previsivi.

Metriche di errore

L’errore quadratico medio è MSE = ntest^-1∑e_i² e RMSE è la sua radice. RMSE è espresso nell’unità dell’esito e penalizza molto gli errori grandi. MAE = ntest^-1∑|e_i| è meno sensibile agli estremi e corrisponde a una perdita assoluta. La scelta dipende dal costo degli errori e dalla distribuzione. Un modello può avere MAE inferiore e RMSE superiore a un altro se produce raramente errori molto grandi. Non esiste contraddizione: le metriche attribuiscono pesi diversi alle code.

MAPE usa errori percentuali assoluti e può essere indefinito o instabile quando gli esiti sono zero o vicini a zero. Inoltre penalizza in modo asimmetrico certi confronti di scala. Metriche scalate rispetto a un benchmark, come MASE nelle serie storiche, permettono confronti più interpretabili in alcuni contesti. Qualunque metrica deve specificare denominatore, campione e trattamento dei valori problematici. Un R² fuori campione può essere negativo quando il modello prevede peggio del benchmark usato nel denominatore: non è limitato fra zero e uno come il consueto R² di addestramento con intercetta.

AIC, BIC e modelli confrontabili

AIC = −2ℓ̂ + 2p e BIC = −2ℓ̂ + p ln(n), dove ℓ̂ è la log-verosimiglianza massimizzata e p il numero dei parametri stimati pertinenti, compresi eventuali parametri di scala. Valori inferiori indicano il modello preferito secondo il criterio, fra quelli confrontati. AIC e BIC hanno motivazioni teoriche diverse e possono scegliere complessità differenti. Il confronto richiede che le verosimiglianze si riferiscano allo stesso esito, alle stesse osservazioni e a densità definite in modo coerente.

Con errori normali e varianza stimata, AIC può essere espresso, a meno di costanti comuni, tramite nln(RSS/n) più una penalità per il numero di parametri. Confrontare una regressione di Y con una di ln(Y) attraverso log-verosimiglianze non corrette per il cambiamento di variabile è scorretto: la densità deve essere riferita alla stessa scala e includere il Jacobiano pertinente. Confrontare modelli su campioni diversi può premiare semplicemente un insieme di osservazioni più facile. I criteri non sostituiscono né validazione fuori campione né identificazione causale.

Intervalli per media e nuova osservazione

Nel modello lineare classico, la previsione della media in x₀ è ŷ₀ = x₀′β̂ e la sua varianza stimata è s²x₀′(X′X)^-1x₀. Per una nuova osservazione indipendente con la stessa varianza dell’errore, la varianza dell’errore di previsione è s²[1 + x₀′(X′X)^-1x₀]. Il termine uno rappresenta il rumore individuale futuro. La distanza di x₀ dal supporto osservato può aumentare l’incertezza parametrica, ma la formula non rappresenta necessariamente tutta l’incertezza da extrapolazione o da misspecificazione della forma funzionale.

Con eteroschedasticità, l’incertezza della media può usare x₀′V̂robustx₀, ma per l’osservazione futura occorre anche una stima di Var(u₀|x₀). Una covarianza robusta dei coefficienti non basta a costruire automaticamente un intervallo predittivo valido. Analogamente, nei modelli logaritmici occorre gestire ritrasformazione e asimmetria. La copertura va valutata empiricamente su dati non usati per calibrare l’intervallo, distinguendo ampiezza, frequenza di copertura e differenze fra sottogruppi.

Introduzione alla previsione conformale

La previsione conformale costruisce insiemi predittivi usando una misura di errore su dati di calibrazione. Nella versione split conformal per regressione, si stima f̂ su un training separato e si calcolano residui assoluti su m osservazioni di calibrazione. Un quantile opportunamente corretto di tali residui determina un intervallo f̂(x) ± q. Sotto scambiabilità delle osservazioni e con la separazione prevista, si ottiene una garanzia di copertura marginale in campioni finiti senza imporre una forma parametrica della distribuzione dell’esito. Il riferimento R12 illustra il metodo e le sue condizioni.

La garanzia marginale non significa copertura esatta per ogni valore di x o per ogni sottogruppo. Inoltre, la scambiabilità può fallire in serie storiche, dati dipendenti o cambiamenti di distribuzione; servono estensioni e ipotesi specifiche. Usare il campione di calibrazione per scegliere ripetutamente il modello può compromettere la garanzia della procedura semplice. La previsione conformale quantifica incertezza predittiva, non identifica effetti causali. Il suo interesse sta nel collegare un algoritmo di previsione a una regola esplicita di copertura, mantenendone visibili i limiti.

Esercizio svolto: due modelli, due criteri

Su quattro osservazioni di test, il modello A ha errori 1, −1, 1, −1; il modello B ha errori 0, 0, 0, 3. Per A, MAE = 1 e RMSE = 1. Per B, MAE = 0,75 e RMSE = √(9/4) = 1,5. B è preferibile sotto perdita assoluta media, A sotto perdita quadratica. Se l’errore di tre unità comporta un costo molto elevato, RMSE può rappresentare meglio la decisione; se contano costi lineari e simmetrici, MAE può essere più pertinente. La scelta non può essere risolta dichiarando una metrica universalmente superiore senza specificare l’obiettivo economico.

Che cosa rende endogeno un regressore

Nel modello strutturale y = Xβ + u, un regressore è endogeno rispetto alle condizioni di momento richieste quando è correlato con l’errore in modo che E(x_iu_i) non sia nullo. La nozione è relativa al modello e all’estimando: una variabile non possiede un’etichetta immutabile di esogeneità indipendente dalla domanda. Un prezzo può essere endogeno in un’equazione di domanda e comparire legittimamente in una previsione descrittiva che non pretende di identificare una curva strutturale. Occorre distinguere il parametro della proiezione osservata da quello che descrive un intervento o un meccanismo economico.

Le principali fonti comprendono variabili omesse, simultaneità, errori di misura e selezione. Possono presentarsi insieme e produrre distorsioni di segno diverso. Non è corretto attribuire automaticamente a un singolo meccanismo ogni differenza fra stime. La formula plim β̂OLS = β + Q^-1E(x_iu_i), sotto le condizioni pertinenti, riassume il problema: il termine aggiuntivo non scompare aumentando il campione. Errori standard robusti quantificano l’incertezza attorno al limite della procedura, ma non eliminano questa componente.

Simultaneità e causalità inversa

Molte variabili economiche sono determinate congiuntamente. Prezzo e quantità risultano dall’interazione fra domanda e offerta; investimenti e risultati d’impresa possono influenzarsi reciprocamente; reddito e salute possono essere legati in entrambe le direzioni. Una regressione che tratta una variabile simultaneamente determinata come se fosse assegnata dall’esterno può confondere spostamenti delle diverse relazioni strutturali. La direzione temporale aiuta a formulare il problema, ma un valore osservato prima dell’esito non è automaticamente esogeno se anticipa shock futuri o riflette fattori persistenti non osservati.

Consideriamo domanda Qd = a − bP + εd e offerta Qs = c + dP + εs, con b,d > 0. In equilibrio Qd = Qs, quindi P = (a − c + εd − εs)/(b + d). Il prezzo contiene lo shock di domanda εd. Se gli shock sono indipendenti, Cov(P,εd) = Var(εd)/(b + d) > 0. Regressare la quantità sul prezzo non soddisfa quindi l’esogeneità richiesta per identificare direttamente la pendenza −b della domanda. Le osservazioni di equilibrio riflettono movimenti di entrambe le curve.

Esempio di equilibrio con correlazione nulla

Poniamo b = d = 1 e varianze degli shock entrambe pari a uno, con indipendenza. Il prezzo, al netto della costante, è (εd − εs)/2 e la quantità è (εd + εs)/2. La loro covarianza è [Var(εd) − Var(εs)]/4 = 0. La regressione osservata può quindi avere pendenza nulla, pur esistendo una domanda con pendenza −1 e un’offerta con pendenza +1. Il risultato non dimostra che prezzo e quantità siano economicamente scollegati: mostra che la variazione di equilibrio non identifica da sola quale curva si stia osservando.

Per identificare la domanda, può essere utile una variabile che sposti l’offerta senza influenzare direttamente la domanda, sotto un’argomentazione credibile. La variazione del prezzo indotta da tale variabile può tracciare spostamenti lungo la domanda. Per identificare l’offerta serve un diverso spostamento esogeno della domanda. Le esclusioni sono restrizioni economiche, non conseguenze automatiche della correlazione statistica. Una variabile molto predittiva del prezzo può essere uno strumento invalido se influenza anche la domanda attraverso altri canali.

Errore classico nel regressore

Supponiamo che il vero modello sia Y = α + βX* + u, ma si osservi X = X* + v. L’errore di misura classico v ha media zero ed è incorrelato con X* e u, mentre X* è esogena rispetto a u. Sostituendo X* = X − v, si ottiene Y = α + βX + (u − βv). Il regressore osservato X contiene v ed è quindi correlato con il nuovo errore. La regressione semplice produce:

Il rapporto è compreso fra zero e uno quando le varianze sono positive e rappresenta l’affidabilità della misura nello schema classico. La pendenza viene attenuata verso zero. Con β = 2, Var(X*) = 9 e Var(v) = 3, il limite è 2 × 9/12 = 1,5. La distorsione non scompare raccogliendo più osservazioni con lo stesso errore di misura. Serve migliorare la misurazione o utilizzare informazioni aggiuntive, come misure ripetute valide, dati di validazione o strumenti appropriati.

Limiti del risultato di attenuazione

L’attenuazione verso zero non è una regola universale per tutti gli errori di misura. In regressione multipla, errori in un regressore possono influenzare anche i coefficienti degli altri e i segni delle distorsioni dipendono dalla struttura di covarianza. Se l’errore di misura è correlato con il valore vero, con l’esito o con altre covariate, il caso non è classico e la distorsione può andare in qualunque direzione. Arrotondamenti, risposte strategiche e registrazioni amministrative selettive possono generare meccanismi diversi dalla semplice aggiunta di rumore indipendente.

Per una variabile binaria, errori di classificazione richiedono di considerare falsi positivi e falsi negativi. Le probabilità di errore possono dipendere da covariate o dall’esito, rendendo il problema ancora più complesso. Sostituire l’etichetta osservata con una probabilità stimata non risolve automaticamente l’identificazione. Occorre conoscere o stimare il processo di classificazione attraverso informazioni esterne o ipotesi giustificate. Il modello della misurazione è parte della strategia econometrica, non un dettaglio da lasciare fuori dall’analisi.

Errore di misura nell’esito

Se l’esito osservato è Y = Y* + e e l’errore e ha media condizionata nulla rispetto ai regressori, la regressione può mantenere la stessa media condizionata ma avere un errore complessivo più variabile. In questo caso la precisione peggiora senza la classica attenuazione del coefficiente. Se invece e è sistematicamente associato a X, la media viene alterata e può comparire distorsione. Per esempio, una misurazione della spesa che sottostima sistematicamente certi gruppi non è un semplice rumore innocuo.

La distinzione fra errore nell’esito e nel regressore dipende anche dal ruolo delle variabili nell’equazione. Una misura imprecisa di reddito può essere esito in un modello e regressore in un altro, con conseguenze differenti. La qualità dei dati va valutata rispetto all’uso analitico previsto. Non basta dichiarare che una variabile è «rumorosa»: occorre specificare in quale direzione entra l’errore, come dipende dalle altre variabili e quali momenti del modello modifica.

Misure ripetute e informazione di validazione

Se sono disponibili due misure X₁ = X* + v₁ e X₂ = X* + v₂ con errori indipendenti fra loro e appropriata esogeneità rispetto a X* e u, X₂ può fornire uno strumento per X₁. Infatti è correlata con X₁ attraverso X* ma, sotto tali ipotesi, è incorrelata con u − βv₁. Le condizioni sono forti: due questionari compilati dalla stessa persona possono condividere lo stesso errore sistematico, rendendo invalida l’indipendenza degli errori. La presenza di due misure non garantisce da sola una soluzione.

Un campione di validazione in cui la misura vera o una misura più accurata è disponibile può aiutare a stimare il processo di errore. La trasferibilità del processo dal campione di validazione alla popolazione principale deve essere giustificata. Se la qualità della misura cambia fra gruppi o periodi, una correzione comune può essere inadeguata. Anche la correzione per affidabilità nota richiede di incorporare l’incertezza quando l’affidabilità è stimata anziché realmente nota.

Selezione del campione

L’osservazione dell’esito può dipendere da una scelta collegata al termine di errore. I salari sono osservati per chi lavora, la produttività per imprese sopravvissute, la soddisfazione per chi risponde a un’indagine. Se la selezione dipende da caratteristiche non osservate che influenzano l’esito, la media dell’errore nel campione selezionato può non essere zero anche quando lo era nella popolazione iniziale. La regressione sulle sole osservazioni disponibili può allora stimare una relazione diversa da quella desiderata.

Non ogni selezione invalida ogni parametro. Se l’assenza dipende soltanto da covariate osservate e il modello è condizionato appropriatamente, alcune stime possono rimanere valide. Il punto è identificare il meccanismo, non applicare automaticamente una correzione. Modelli di selezione, ponderazione e imputazione si basano su ipotesi diverse e rispondono a differenti forme di mancanza. La scelta deve essere collegata all’estimando e alle informazioni disponibili, evitando di trattare la selezione come un problema risolvibile con un unico comando universale.

Strategie possibili e loro limiti

La randomizzazione può rendere il trattamento indipendente da fattori antecedenti, ma richiede attenzione a non adesione, attrito e interferenza. Controlli osservati possono essere sufficienti se rendono plausibile la selezione sugli osservabili, ma non eliminano confondenti non misurati. Effetti fissi rimuovono componenti non osservate costanti nel tempo, non shock variabili correlati con i regressori. Variabili strumentali utilizzano una fonte di variazione esclusa dall’errore strutturale, ma richiedono rilevanza e validità. Nessuna strategia è una correzione generica per ogni forma di endogeneità.

Usare un regressore ritardato come strumento non è automaticamente valido. Se gli errori sono serialmente correlati o il regressore anticipa shock persistenti, il ritardo può essere ancora correlato con l’errore corrente. Analogamente, aggiungere molti controlli può introdurre collider o mediatori impropri. La scelta del metodo deve partire dal meccanismo che genera l’endogeneità e da quale informazione aggiuntiva consente di superarlo. La disponibilità di un algoritmo non sostituisce l’argomentazione economica.

Test di endogeneità e sensibilità

Test di confronto fra OLS e IV, o formulazioni tramite residui di primo stadio, possono verificare certe implicazioni dell’esogeneità quando gli strumenti sono validi e le altre condizioni sono soddisfatte. Se gli strumenti sono invalidi, il confronto non ha l’interpretazione desiderata. Un non rifiuto può riflettere poca potenza, soprattutto con strumenti deboli. Non esiste un test che, senza informazioni aggiuntive, dimostri in generale l’assenza di tutti i confondenti non osservati. L’identificazione richiede ipotesi sostanziali che i dati osservati non sempre possono verificare direttamente.

Una sensibilità utile domanda quanto dovrebbe essere forte una violazione per cambiare la conclusione, quali canali alternativi siano plausibili e quali risultati negativi o placebo possano mettere alla prova il disegno. Questi esercizi non provano la validità, ma rendono più trasparente la dipendenza delle conclusioni dalle ipotesi. È preferibile una stima accompagnata da limiti chiari a un coefficiente apparentemente preciso ottenuto ignorando il principale problema di identificazione.

Esercizio svolto: due errori, due conseguenze

Nel modello Y* = 5 + 3X* + u, si considerano due casi separati. Nel primo si osserva Y = Y* + e con E(e|X*) = 0: la pendenza della media condizionata rimane 3, ma aumenta il rumore. Nel secondo si osserva X = X* + v con errore classico, Var(X*) = 4 e Var(v) = 4: la pendenza OLS converge a 3 × 4/8 = 1,5. La stessa parola «errore di misura» descrive quindi conseguenze diverse. Specificare quale variabile sia misurata male e come si comporti l’errore è indispensabile prima di scegliere una correzione.

L’idea dello strumento

Una variabile strumentale Z fornisce una fonte di variazione di X che può essere utilizzata per identificare il coefficiente strutturale quando X è endogena. Nel modello semplice Y = α + βX + u, servono almeno rilevanza, Cov(Z,X) ≠ 0, e una condizione di validità come Cov(Z,u) = 0, con le altre regolarità. La validità incorpora restrizioni economiche: lo strumento non deve influenzare l’esito attraverso canali esclusi dall’equazione né essere associato a determinanti non osservati dell’esito. Una forte correlazione con X dimostra soltanto rilevanza statistica, non validità.

L’esclusione riguarda il ruolo dello strumento nell’equazione strutturale; l’indipendenza o esogeneità riguarda la sua relazione con fattori non osservati. Le due nozioni sono collegate ma non identiche. Una lotteria può essere assegnata casualmente ma influenzare l’esito anche attraverso un canale diverso dal trattamento, violando l’esclusione. Una variabile può non avere un effetto diretto plausibile ma essere correlata con caratteristiche non osservate, violando l’esogeneità. L’argomentazione deve affrontare entrambi gli aspetti nel contesto specifico.

Stimatore IV nel caso semplice

Prendendo la covarianza del modello con Z, si ottiene Cov(Z,Y) = βCov(Z,X) + Cov(Z,u). Se il secondo termine è zero e il denominatore è diverso da zero, β = Cov(Z,Y)/Cov(Z,X). Lo stimatore campionario con intercetta è:

Il numeratore misura la relazione ridotta fra strumento ed esito; il denominatore misura il primo stadio fra strumento e regressore. IV interpreta il rapporto fra queste due variazioni sotto le condizioni di validità. È uno stimatore rapporto e non è, in generale, corretto in campioni finiti. Con denominatore poco informativo può avere una distribuzione molto asimmetrica o con code pesanti. La consistenza convenzionale richiede una rilevanza sufficientemente stabile nel limite e condizioni sui momenti, non soltanto un denominatore campionario diverso da zero.

Forma ridotta e primo stadio

Con controlli W, il primo stadio rappresenta X attraverso Z e W: X = W′πW + Z′πZ + v. La forma ridotta dell’esito rappresenta Y attraverso gli stessi strumenti e controlli. Nel caso esattamente identificato con uno strumento escluso e un regressore endogeno, il rapporto fra il coefficiente dello strumento nella forma ridotta e quello nel primo stadio restituisce il coefficiente IV, dopo aver trattato coerentemente i controlli. Il primo stadio deve includere le variabili esogene presenti nell’equazione strutturale, non soltanto gli strumenti esclusi.

Il coefficiente di primo stadio non va confuso con l’effetto strutturale sull’esito. Uno strumento può modificare molto X e avere una forma ridotta piccola perché l’effetto β è piccolo. Può anche avere una forma ridotta grande attraverso un canale diretto invalido. La valutazione deve quindi considerare insieme rilevanza, esclusione, esogeneità e significato dell’estimando. Una tabella di IV senza primo stadio e senza spiegazione dello strumento lascia incompleta la principale argomentazione identificante.

Minimi quadrati a due stadi

Sia X la matrice dei regressori strutturali, alcuni endogeni, e Z la matrice degli strumenti complessivi, comprendente i regressori esogeni e gli strumenti esclusi. Si definisce PZ = Z(Z′Z)^-1Z′. Il primo stadio proietta ogni colonna endogena di X sullo spazio di Z; le colonne esogene incluse in Z sono riprodotte esattamente. Il secondo stadio regredisce y sui regressori proiettati. Lo stimatore 2SLS è:

La condizione di rango richiede che gli strumenti forniscano variazione sufficiente per distinguere tutti i regressori endogeni. Avere almeno tanti strumenti esclusi quanti regressori endogeni è una condizione d’ordine necessaria, ma non sufficiente. Strumenti numerosi ma ridondanti possono non identificare direzioni rilevanti. Con più regressori endogeni, una buona previsione complessiva di uno di essi non garantisce che ciascuna combinazione necessaria sia sufficientemente identificata. La diagnostica deve essere coerente con la dimensione del problema.

Perché non bastano due regressioni OLS manuali

I coefficienti ottenuti usando i valori di primo stadio possono coincidere con 2SLS, ma gli errori standard della seconda regressione OLS ordinaria sono generalmente sbagliati. Il residuo strutturale pertinente è y − Xβ̂2SLS, non y − X̂β̂2SLS. Inoltre, la covarianza deve riflettere la struttura dello stimatore strumentale. Nel caso omoschedastico regolare, una forma è σ²(X′PZX)^-1; con eteroschedasticità o clustering serve una covarianza IV robusta adeguata. È quindi preferibile utilizzare un’implementazione specifica di IV/2SLS anziché trattare il secondo stadio come una regressione ordinaria autonoma.

Se l’equazione contiene X e X² endogeni, occorre strumentare le due colonne secondo le condizioni di momento appropriate. Elevare semplicemente al quadrato la previsione di X non equivale in generale alla proiezione di X² sullo spazio degli strumenti. Analogamente, interazioni con variabili endogene richiedono strumenti e condizioni di esclusione coerenti. Le trasformazioni non possono essere aggiunte al secondo stadio senza verificare come siano identificate. L’algebra delle colonne deve seguire la specificazione strutturale effettiva.

Precisione e forza del primo stadio

Nel caso semplice omoschedastico, la varianza asintotica della pendenza IV è inversamente legata alla parte di variazione di X spiegata dallo strumento. A parità degli altri elementi, uno strumento poco correlato con X produce una stima imprecisa. In una semplificazione con Var(X) = 1, varianza dell’errore pari a uno, n = 100 e correlazione strumento-regressore 0,2, una varianza approssimata è 1/[100 × 1 × 0,2²] = 0,25, con errore standard 0,5. La variazione utilizzabile è soltanto una piccola frazione della variabilità totale del regressore.

Gli strumenti deboli possono rendere inaffidabili le approssimazioni normali convenzionali e i test t di 2SLS, anche quando la stima puntuale sembra plausibile. La regola pratica di una F di primo stadio superiore a dieci non è una garanzia universale: dipende dal numero di strumenti, dalla struttura dell’errore, dal criterio di distorsione e dall’ipotesi inferenziale. Con eteroschedasticità e più regressori endogeni servono diagnostiche adatte, come statistiche di rango o misure di forza robuste. La forza non deve essere valutata con una soglia isolata senza comprenderne le condizioni.

Test di anderson–rubin

Per testare H₀: β = β₀ nel caso con un regressore endogeno, si costruisce Y − β₀X e si verifica se gli strumenti esclusi hanno coefficienti nulli nella regressione su strumenti e controlli esogeni. Sotto H₀ e validità degli strumenti, la parte residua non dovrebbe essere sistematicamente spiegata dagli strumenti. La procedura non richiede di dividere per un primo stadio forte e può fornire inferenza robusta alla debole identificazione, con la versione classica o robusta appropriata alle altre ipotesi.

Invertendo il test per diversi β₀ si ottiene un insieme di confidenza che può essere molto ampio, disconnesso o non limitato. Non è necessariamente un difetto: può rappresentare correttamente la poca informazione disponibile. Forzare un intervallo stretto tramite un’approssimazione normale non crea identificazione. Esistono procedure ulteriori, come test di verosimiglianza condizionata e metodi per sottoinsiemi di parametri, ma la scelta deve essere coerente con numero di regressori endogeni, strumenti e struttura della covarianza.

Esatta identificazione e sovraidentificazione

Un modello è esattamente identificato quando il numero di condizioni strumentali indipendenti coincide con il numero dei parametri da identificare; è sovraidentificato quando dispone di condizioni aggiuntive. I test di sovraidentificazione, come Sargan nel caso omoschedastico o Hansen J in una formulazione robusta GMM, verificano la compatibilità congiunta delle restrizioni di momento. Un rifiuto può indicare strumenti invalidi o altre misspecificazioni. Un non rifiuto non dimostra che tutti gli strumenti siano validi, perché il test può avere poca potenza o non distinguere violazioni condivise.

Nel caso esattamente identificato non esistono restrizioni aggiuntive da usare per un test di sovraidentificazione. La validità deve essere sostenuta dall’argomentazione economica e dal disegno. Aggiungere strumenti soltanto per poter eseguire un test non è una buona motivazione. Molti strumenti possono peggiorare il comportamento finito, adattare eccessivamente i regressori endogeni e rendere meno informativi alcuni test. La parsimonia e la qualità delle esclusioni sono spesso più importanti del numero di colonne nella matrice Z.

Test di endogeneità

Una formulazione del test di Durbin–Wu–Hausman include nell’equazione strutturale i residui del primo stadio e verifica se il loro coefficiente è nullo, sotto le condizioni che rendono valida tale procedura. Un’altra confronta stime OLS e IV usando una covarianza appropriata della differenza. L’interpretazione richiede strumenti validi: se IV è inconsistente, la divergenza rispetto a OLS non identifica automaticamente quale stima sia corretta. Anche la debolezza degli strumenti può ridurre la potenza o alterare l’approssimazione.

Il test non sostituisce la scelta dell’estimando. Con effetti eterogenei, OLS e IV possono attribuire pesi diversi a effetti diversi, per cui una differenza non deve essere letta meccanicamente come sola prova di distorsione di OLS rispetto a un unico coefficiente universale. È necessario collegare il confronto al modello strutturale e alle condizioni che giustificano un effetto comune oppure una particolare media ponderata. La teoria dell’identificazione deve precedere la lettura del p-value.

LATE e non adesione al trattamento

Con strumento binario Z, trattamento binario D e non adesione, il rapporto di Wald è [E(Y|Z = 1) − E(Y|Z = 0)]/[E(D|Z = 1) − E(D|Z = 0)]. Sotto indipendenza dello strumento, esclusione, rilevanza, assenza di interferenza pertinente e monotonicità, identifica un effetto medio locale per i compliers: le unità il cui trattamento cambia nella direzione indotta dallo strumento. La monotonicità esclude unità che reagiscano sistematicamente nella direzione opposta. L’effetto non coincide necessariamente con l’ATE dell’intera popolazione.

Se l’offerta casuale di un corso aumenta la partecipazione da 0,50 a 0,80 e aumenta l’esito medio da 64 a 70, l’effetto dell’offerta è 6, il primo stadio è 0,30 e il rapporto di Wald è 20. Sotto le ipotesi indicate, 20 è l’effetto medio del corso per chi partecipa proprio grazie all’offerta. Non è automaticamente l’effetto sui partecipanti che avrebbero seguito il corso comunque né su chi non parteciperebbe in nessun caso. Strumenti diversi possono individuare popolazioni di compliers diverse e quindi effetti locali diversi senza essere necessariamente incompatibili.

Esercizio svolto: violazione dell’esclusione

Supponiamo che il vero modello sia Y = βX + γZ + u, ma si usi Z come strumento escludendolo dall’equazione. Il rapporto di covarianze converge a β + γVar(Z)/Cov(Z,X), se Cov(Z,u) = 0. Anche una piccola influenza diretta γ può produrre una distorsione grande quando Cov(Z,X) è piccola. Lo strumento debole amplifica quindi la sensibilità a violazioni dell’esclusione. Un primo stadio statisticamente significativo non elimina il problema: occorre motivare perché γ dovrebbe essere nullo o valutare esplicitamente come cambiano le conclusioni ammettendo valori plausibili diversi da zero.

Più equazioni per uno stesso fenomeno

Un sistema econometrico rappresenta più relazioni contemporaneamente. Può descrivere domanda e offerta, decisioni di consumo di beni diversi, risultati di più reparti oppure variabili macroeconomiche con interazioni reciproche. Le equazioni possono essere collegate perché alcune variabili sono determinate congiuntamente, perché gli errori condividono shock o perché la teoria impone restrizioni comuni ai parametri. Questi collegamenti sono diversi e richiedono metodi diversi. La correlazione fra errori di due equazioni non implica da sola che i regressori siano endogeni.

È utile distinguere tre livelli. La forma strutturale descrive le relazioni economiche che si desidera interpretare. La forma ridotta esprime le variabili endogene in funzione delle variabili esogene e degli shock trasformati. La forma stimata è la specificazione concretamente applicata ai dati, che può coincidere solo in parte con le precedenti. Una buona analisi chiarisce quale livello viene identificato dalle informazioni disponibili e quali restrizioni consentono di passare dalla forma ridotta ai parametri strutturali.

Forma strutturale e forma ridotta

Un sistema lineare può essere scritto By + Γz = u, dove y contiene variabili endogene, z variabili esogene e B rappresenta i collegamenti contemporanei. Se B è invertibile, la forma ridotta è y = −B^-1Γz + B^-1u. I coefficienti ridotti sono combinazioni dei parametri strutturali. La stima di queste combinazioni non identifica automaticamente ciascun elemento di B e Γ: possono esistere strutture diverse che producono la stessa forma ridotta. Servono normalizzazioni e restrizioni economiche aggiuntive.

Una normalizzazione fissa la scala di un’equazione, per esempio ponendo a uno il coefficiente della variabile dipendente. Moltiplicare un’intera equazione per una costante non cambia la relazione che rappresenta, perciò senza normalizzazione alcuni parametri sarebbero ridondanti. Le esclusioni impongono invece che certe variabili non entrino direttamente in una specifica equazione. Sono queste restrizioni, insieme alla variazione osservata, che possono consentire di separare relazioni simultanee. Non vanno confuse con semplici scelte di notazione.

Condizione d’ordine e condizione di rango

In un’equazione con m variabili endogene complessivamente coinvolte, compresa quella a sinistra, occorrono almeno m − 1 variabili esogene escluse dall’equazione e disponibili come strumenti, nel consueto conteggio del modello lineare simultaneo. Questa è una condizione d’ordine necessaria. Non è sufficiente: le esclusioni devono generare spostamenti indipendenti capaci di distinguere le relazioni. La condizione di rango verifica proprio che la matrice pertinente dei coefficienti e delle esclusioni contenga l’informazione lineare necessaria.

Due strumenti formalmente distinti ma perfettamente collineari non forniscono due fonti indipendenti di variazione. Analogamente, una variabile esclusa che non influenza le altre equazioni rilevanti può non contribuire all’identificazione. Contare le colonne è soltanto il primo controllo. Il ragionamento economico deve spiegare quali curve o decisioni vengono spostate e perché tali spostamenti non modificano direttamente l’equazione di interesse. La validità delle esclusioni non è dimostrata dalla sola soddisfazione della condizione di rango campionaria.

Esempio: identificare una domanda

Consideriamo Qd = 20 − 2P + εd e Qs = 2 + P + 3Z + εs, dove Z sposta l’offerta ma, per ipotesi, non entra direttamente nella domanda ed è esogena rispetto ai due shock. In equilibrio, 20 − 2P + εd = 2 + P + 3Z + εs, quindi P = 6 − Z + (εd − εs)/3. Sostituendo nella domanda si ottiene Q = 8 + 2Z + (εd + 2εs)/3. La forma ridotta presenta un coefficiente −1 di Z sul prezzo e un coefficiente 2 sulla quantità.

Il rapporto fra i due coefficienti ridotti è 2/(−1) = −2, la pendenza della domanda. Z permette di osservare movimenti lungo la domanda indotti da spostamenti dell’offerta. Senza un’altra variabile che sposti la domanda ed esclusa dall’offerta, la pendenza dell’offerta non è necessariamente identificata nello stesso modo. L’esempio rende visibile l’asimmetria: un’unica fonte di variazione può identificare una relazione e non l’altra. Se Z influenzasse anche preferenze o domanda, il rapporto perderebbe questa interpretazione strutturale.

Stima equazione per equazione

Quando ciascuna equazione è identificata attraverso strumenti validi, si può applicare 2SLS separatamente. Il vantaggio è una maggiore modularità: la misspecificazione di un’equazione non entra automaticamente nella stima di tutte le altre attraverso un modello congiunto completo. Il costo è che non si sfrutta necessariamente tutta l’informazione contenuta nella correlazione fra errori o nei vincoli condivisi. La scelta fra stima separata e congiunta dipende dalla credibilità dell’intero sistema, non soltanto da un criterio astratto di efficienza.

Nel caso esattamente identificato, alcune stime possono essere ottenute ricostruendo i parametri strutturali dai coefficienti della forma ridotta, procedura detta minimi quadrati indiretti. La trasformazione può essere un rapporto o una funzione più complessa. L’incertezza deve essere propagata usando la covarianza congiunta dei coefficienti ridotti, oppure una procedura equivalente. Trattare i coefficienti di forma ridotta come numeri certi elimina artificialmente una parte dell’incertezza del parametro strutturale.

Seemingly unrelated regressions

Un sistema SUR contiene equazioni con regressori esogeni ma errori contemporaneamente correlati fra equazioni. Per esempio, due categorie di spesa della stessa famiglia possono condividere shock non osservati pur avendo regressori specifici differenti. Stimare ciascuna equazione con OLS può essere corretto, ma una stima GLS congiunta può migliorare l’efficienza sfruttando la correlazione degli errori. L’espressione «apparentemente non correlate» indica che le equazioni sono collegate attraverso la covarianza dei disturbi, anche se non condividono necessariamente variabili dipendenti fra i regressori.

Impilando le equazioni per blocchi, la matrice dei regressori è diagonale a blocchi e la covarianza può essere rappresentata come Σ ⊗ I_n nel caso con stesso campione e indipendenza fra unità. Σ contiene varianze e covarianze contemporanee fra errori delle diverse equazioni. Il GLS utilizza l’inversa di questa matrice per ponderare congiuntamente il sistema. In pratica Σ viene stimata dai residui iniziali, ottenendo una procedura fattibile. La validità dipende dall’esogeneità e dalla corretta rappresentazione della struttura rilevante.

Quando SUR coincide con OLS

Se tutte le equazioni hanno esattamente gli stessi regressori sullo stesso campione, il GLS SUR restituisce gli stessi coefficienti delle regressioni OLS separate nel modello standard. La correlazione degli errori non offre una diversa combinazione di informazione sulle pendenze quando gli spazi dei regressori coincidono. Anche quando gli errori delle equazioni sono incorrelati, il collegamento SUR non fornisce il vantaggio previsto dalla covarianza fuori diagonale. Questi casi mostrano che una procedura più complessa non produce automaticamente stime diverse o migliori.

Quando i regressori differiscono e gli errori sono correlati, l’informazione di un’equazione può aiutare a distinguere la componente comune dell’altra. Tuttavia, se un’equazione è misspecificata o ha regressori endogeni, il semplice SUR non risolve il problema. La correlazione dei disturbi è un’opportunità di efficienza soltanto dopo aver affrontato le condizioni sulla media. Usare SUR come sostituto di IV in un sistema simultaneo confonde due problemi distinti: dipendenza fra equazioni ed endogeneità dei regressori.

Minimi quadrati a tre stadi

I minimi quadrati a tre stadi, 3SLS, combinano strumenti per affrontare l’endogeneità e una stima della covarianza fra equazioni per sfruttare informazione congiunta. In una descrizione operativa, si ottengono stime strumentali preliminari, si stimano le covarianze dei residui strutturali e si effettua una stima congiunta ponderata. Sotto corretta specificazione del sistema e validità delle condizioni, la procedura può essere più efficiente di 2SLS separato. L’efficienza deriva però da ipotesi aggiuntive sull’intero sistema.

Una restrizione invalida o una misspecificazione in una parte del sistema può propagarsi alle altre equazioni attraverso la stima congiunta. Questa è una ragione per confrontare 3SLS con risultati equazione per equazione e discutere la credibilità dei collegamenti. Un miglioramento degli errori standard non basta a scegliere il sistema completo. Il compromesso è fra sfruttare più struttura e assumersi il rischio che quella struttura sia sbagliata. La procedura deve essere proporzionata alla qualità dell’informazione e alla domanda economica.

Restrizioni tra equazioni

La teoria può imporre uguaglianze, somme o simmetrie fra coefficienti appartenenti a equazioni diverse. In un sistema di domanda, vincoli di somma, omogeneità e simmetria possono derivare da un modello di comportamento del consumatore. Imporli può ridurre la varianza e rendere il sistema coerente con la teoria, ma può anche introdurre distorsione se la rappresentazione teorica non è adeguata ai dati o alla misurazione. È utile distinguere restrizioni mantenute per identificare e restrizioni verificabili quando esiste informazione aggiuntiva.

Un test di uguaglianza fra coefficienti di equazioni diverse richiede la covarianza congiunta delle stime. Se le equazioni condividono osservazioni e shock, assumere indipendenza può essere sbagliato. Il sistema fornisce una rappresentazione naturale di tali covarianze. Anche l’interpretazione economica del vincolo deve essere esplicita: uguaglianza di coefficienti in unità diverse può non avere senso senza una trasformazione. La notazione compatta non elimina la necessità di controllare scale, popolazioni e definizioni delle variabili.

Funzioni di controllo

Una funzione di controllo rappresenta la dipendenza fra regressore endogeno ed errore attraverso un termine ricavato da un’equazione ausiliaria. In un modello lineare con X = Z′π + v e una relazione appropriata E(u|v,Z) = ρv, includere v nell’equazione dell’esito può rendere il residuo rimanente ortogonale. Poiché v è ignoto, si usa un residuo stimato e si costruisce l’inferenza tenendo conto del procedimento. Nel caso lineare regolare esistono equivalenze con IV, ma la logica della funzione di controllo rende esplicite condizioni aggiuntive sulla dipendenza.

Nei modelli non lineari, sostituire X con la sua previsione di primo stadio e includere un residuo di primo stadio non sono operazioni equivalenti. La validità di una strategia di inclusione dei residui dipende dalla struttura del modello e dalle assunzioni distributive o funzionali. Non è sufficiente trasferire meccanicamente la ricetta delle due regressioni lineari. Il sistema deve chiarire come lo shock che determina la scelta endogena entra nella distribuzione dell’esito e quale informazione permette di separarlo dall’effetto di interesse.

Esercizio svolto: quale metodo è pertinente?

Si osservano due equazioni di costo con regressori esogeni e shock comuni: SUR può essere considerato per l’efficienza. Si osservano invece domanda e offerta con prezzo simultaneamente determinato: serve una strategia strumentale o strutturale, non basta SUR. Se entrambe le equazioni sono identificate da strumenti validi e gli errori sono correlati, 3SLS può sfruttare il sistema congiunto, assumendone la correttezza complessiva. La scelta del metodo deriva dalla natura del collegamento fra equazioni. Il numero di equazioni, da solo, non determina quale stimatore sia appropriato.

Dalla distribuzione al criterio di stima

La massima verosimiglianza parte da una famiglia di distribuzioni f(y|x;θ) e sceglie il parametro che assegna ai dati osservati la maggiore densità o probabilità congiunta. Con osservazioni indipendenti, la verosimiglianza è L(θ) = ∏_if(y_i|x_i;θ) e la log-verosimiglianza è ℓ(θ) = ∑_iln f(y_i|x_i;θ). Il logaritmo trasforma il prodotto in somma e conserva il massimo perché è monotono crescente. Nei dati dipendenti si usa una fattorizzazione condizionata coerente con la dinamica, non un prodotto che presume indipendenza inesistente.

La verosimiglianza è una funzione del parametro con i dati fissati. Non è una distribuzione di probabilità del parametro e non deve integrare a uno rispetto a θ. Per attribuire probabilità ai parametri occorre introdurre una distribuzione a priori e costruire un modello bayesiano. Nella massima verosimiglianza frequentista, θ resta un parametro ignoto e la distribuzione campionaria dello stimatore deriva dal processo che genera i dati. Questa distinzione evita di interpretare una verosimiglianza elevata come probabilità diretta che il parametro sia vero.

Esempio bernoulli

Per Y_i indipendenti Bernoulli(p), la verosimiglianza è pˢ(1 − p)^n-ˢ, dove s = ∑_iy_i. La log-verosimiglianza è ℓ(p) = s ln(p) + (n − s)ln(1 − p). La derivata è s/p − (n − s)/(1 − p). Ponendola a zero si ottiene p̂ = s/n. La seconda derivata è negativa per un campione con successi e insuccessi, confermando il massimo interno. Quando tutti gli esiti sono zero o tutti sono uno, il massimo si trova sulla frontiera p = 0 o p = 1 e le approssimazioni interne usuali richiedono cautela.

Con 65 successi su 100 prove, p̂ = 0,65. L’errore standard asintotico è √[0,65 × 0,35/100] ≈ 0,04770. Un intervallo normale approssimato al 95% è circa [0,5565; 0,7435], pur esistendo intervalli per proporzioni con migliori proprietà finite. Il calcolo mostra come una distribuzione specificata produca sia uno stimatore sia una formula dell’incertezza. La validità dipende dall’indipendenza e dall’omogeneità del parametro p, oppure da una modellazione esplicita delle differenze fra osservazioni.

Regressione normale e OLS

Se y|X ∼ N(Xβ,σ²I), la log-verosimiglianza, a meno di notazione, è ℓ(β,σ²) = −(n/2)ln(2π) − (n/2)ln(σ²) − [(y − Xβ)′(y − Xβ)]/(2σ²). Per σ² fissata, massimizzare rispetto a β equivale a minimizzare RSS. Il massimo di verosimiglianza dei coefficienti coincide quindi con OLS. Questo non significa che OLS richieda normalità per essere calcolato o corretto: significa che, nel particolare modello normale, possiede anche un’interpretazione di massima verosimiglianza.

Massimizzando rispetto a σ² si ottiene σ̂²ML = RSS/n, non RSS/(n − k). La stima ML della varianza è distorta in campioni finiti nel modello classico, ma consistente sotto le condizioni usuali. La correzione dei gradi di libertà e il massimo di verosimiglianza ottimizzano proprietà diverse. È quindi scorretto aspettarsi che ogni stimatore ML sia esattamente corretto. Le sue principali proprietà generali sono asintotiche e richiedono condizioni di identificazione e regolarità.

Score e informazione

Il vettore score è s_i(θ) = ∂ln f(y_i|x_i;θ)/∂θ. Lo score campionario è la somma dei contributi individuali. In un massimo interno regolare, la somma è zero. L’Hessiana contiene le derivate seconde della log-verosimiglianza e descrive la curvatura. Una funzione molto curva attorno al massimo indica che piccole variazioni del parametro peggiorano rapidamente l’adattamento; una funzione piatta indica poca informazione in certe direzioni. La curvatura deve essere valutata insieme all’identificazione e al supporto del parametro.

Nel modello correttamente specificato e sotto condizioni che consentono di scambiare derivazione e integrazione, E[s_i(θ₀)] = 0 e l’informazione di Fisher soddisfa I(θ₀) = E[s_is_i′] = −E[∂s_i/∂θ′]. L’uguaglianza fra varianza dello score e curvatura attesa è una proprietà del modello regolare corretto. In presenza di misspecificazione può non valere, rendendo necessaria una covarianza sandwich. Usare soltanto l’inversa dell’Hessiana può allora sottostimare o sovrastimare l’incertezza.

Proprietà asintotiche

Sotto identificazione, corretta specificazione e regolarità, lo stimatore ML è consistente e asintoticamente normale: √n(θ̂ − θ₀) →d N(0,I(θ₀)^-1) per informazione definita per osservazione. La covarianza di θ̂ è quindi approssimativamente I^-1/n. In classi regolari appropriate, ML raggiunge il limite informativo asintotico. Questi risultati non valgono automaticamente con parametri sulla frontiera, separazione perfetta, identificazione debole, supporto dipendente dal parametro o dimensione che cresce senza le condizioni necessarie.

La proprietà di invarianza afferma che una trasformazione del massimo può fornire il massimo della corrispondente parametrizzazione, con le precisazioni necessarie per trasformazioni non biunivoche. Se si stima θ e interessa exp(θ), la stima ML trasformata è exp(θ̂). L’invarianza della stima non implica che l’errore standard si trasformi nello stesso modo senza calcolo. Per l’inferenza occorrono metodo delta, trasformazione degli intervalli o profilo di verosimiglianza. Stima puntuale e distribuzione della trasformazione sono questioni distinte.

Quasi-massima verosimiglianza

Una quasi-verosimiglianza utilizza un criterio ispirato a una distribuzione senza richiedere che tutta la distribuzione sia corretta. Il caso Poisson per una media condizionata esponenziale è importante: le condizioni dello score possono identificare correttamente i coefficienti della media anche quando la varianza non coincide con la media, sotto le ipotesi appropriate. OLS può analogamente essere interpretato come massimizzazione di un criterio gaussiano pur con errori non normali. La robustezza riguarda specifiche componenti del modello, non qualsiasi misspecificazione.

Se il criterio è misspecificato, lo stimatore può convergere a un parametro pseudo-vero che massimizza l’aspettativa del criterio nella distribuzione effettiva. Questo parametro può coincidere con l’oggetto desiderato quando le condizioni di momento della media sono corrette, oppure essere soltanto una migliore approssimazione secondo il criterio. La covarianza asintotica generale è A^-1BA^-1/n, con A = −E(Hessiana individuale) e B = E(score × score′), nel caso indipendente e con notazione simmetrica pertinente. Con dipendenza, B deve includere i legami fra contributi diversi.

Test di verosimiglianza, wald e score

Il likelihood ratio test confronta il massimo non ristretto ℓU con quello ristretto ℓR: LR = 2(ℓU − ℓR). Sotto una nulla regolare con q restrizioni e le condizioni di Wilks, LR converge a una chi-quadrato con q gradi di libertà. Il test Wald valuta la distanza della stima non ristretta dal vincolo usando la covarianza. Il test score, o LM, valuta la pendenza del criterio nel punto ristretto. I tre test sono asintoticamente collegati in modelli regolari, ma possono differire in campioni finiti e con parametrizzazioni o approssimazioni diverse.

Se ℓR = −120 e ℓU = −115, LR = 10. Con due restrizioni e riferimento chi-quadrato regolare, il p-value è circa exp(−10/2) = 0,00674. Il calcolo presuppone modelli annidati e verosimiglianze confrontabili sullo stesso campione. Parametri sulla frontiera possono produrre distribuzioni limite differenti, talvolta miscele; modelli non annidati non consentono di usare automaticamente la stessa chi-quadrato. Un miglioramento del valore del criterio non basta a determinare la distribuzione del test.

Profilo di verosimiglianza

Per un parametro di interesse ψ e parametri di disturbo λ, la verosimiglianza profilata massimizza rispetto a λ per ogni valore fissato di ψ. Questo permette di visualizzare quanto i dati siano compatibili con diversi valori di ψ dopo aver riottimizzato gli altri parametri. Intervalli basati sul profilo possono rappresentare asimmetrie e limiti del supporto meglio di un intervallo Wald simmetrico. La loro validità continua però a dipendere dalle condizioni del modello e dall’approssimazione inferenziale utilizzata.

Una superficie piatta o con più massimi può segnalare identificazione debole, dati poco informativi o problemi numerici. Il profilo aiuta a distinguere questi casi da un semplice errore standard elevato. Non bisogna selezionare il massimo locale più conveniente senza controllare valori iniziali e struttura del criterio. La stima numerica deve essere accompagnata da verifiche di convergenza, gradiente, Hessiana, plausibilità dei parametri e stabilità rispetto a inizializzazioni ragionevoli.

Ottimizzazione numerica e vincoli

Molti modelli richiedono algoritmi iterativi, come Newton–Raphson, quasi-Newton o metodi di gradiente. La parametrizzazione può imporre automaticamente vincoli: stimare log(σ²) garantisce una varianza positiva dopo l’esponenziazione; una trasformazione logistica può mantenere una probabilità fra zero e uno. Tuttavia, trasformazioni estreme possono rendere il criterio numericamente piatto. Standardizzare covariate e usare formule stabili per logaritmi ed esponenziali aiuta il calcolo senza cambiare l’obiettivo statistico.

Un messaggio di convergenza non prova che il massimo sia globale o che il modello sia identificato. Nel logit con separazione perfetta, per esempio, alcuni coefficienti possono divergere mentre la verosimiglianza continua a migliorare verso un limite. Interrompere l’algoritmo produce numeri finiti ma non un massimo finito regolare. Occorre riconoscere la struttura dei dati e considerare modelli o penalizzazioni appropriati, chiarendo che cambiano il procedimento di stima. La diagnostica numerica è parte della verifica econometrica, non un controllo opzionale.

Esercizio svolto: massimo poisson

Per conteggi indipendenti con parametro comune λ, ℓ(λ) = ∑_i[y_iln(λ) − λ − ln(y_i!)]. La derivata è ∑_iy_i/λ − n, quindi λ̂ = ȳ quando la media osservata è positiva. Se i conteggi sono 0, 1, 2, 3 e 4, la stima è 2. Sotto il modello Poisson, Var(ȳ) = λ/n, stimata con 2/5 = 0,4. Se la distribuzione effettiva ha varianza diversa dalla media, la media campionaria può ancora stimare la media, ma la formula Poisson dell’incertezza non è automaticamente corretta. La separazione fra criterio della media e distribuzione completa è il punto centrale della quasi-verosimiglianza.

Dalle ipotesi economiche ai momenti

Una condizione di momento è una restrizione sull’aspettativa di una funzione dei dati e dei parametri: E[g(W_i,θ₀)] = 0. W_i raccoglie le variabili osservate e g può essere un vettore. La condizione può derivare da una media, da un’ortogonalità fra strumenti ed errori o da un’equazione di comportamento economico. Il metodo dei momenti sostituisce l’aspettativa con la media campionaria e sceglie i parametri che rendono le restrizioni campionarie quanto più vicine possibile a zero. Non richiede necessariamente una distribuzione completa dei dati.

Se il numero dei momenti coincide con quello dei parametri e il sistema è identificato, si può cercare una soluzione esatta delle equazioni campionarie. Se i momenti sono più numerosi dei parametri, di norma non possono essere tutti annullati contemporaneamente a causa del rumore campionario. Il metodo generalizzato dei momenti, GMM, sceglie un compromesso attraverso una matrice di ponderazione. Il quadro generale permette di comprendere OLS, IV e molti stimatori dinamici come applicazioni di una stessa logica di restrizioni di ortogonalità.

Metodo dei momenti elementare

Per stimare media μ e varianza σ², si possono usare E(X − μ) = 0 ed E[(X − μ)² − σ²] = 0. Le analoghe condizioni campionarie restituiscono μ̂ = X̄ e σ̂² = n^-1∑_i(X_i − X̄)². Il divisore n deriva dall’equazione di momento e non dalla correzione di correttezza finita. Lo stimatore della varianza è quindi consistente ma, nel caso i.i.d. usuale, distorto in campioni finiti. La procedura di momenti e la ricerca di uno stimatore corretto non sono la stessa operazione.

Un momento aggiuntivo può imporre, per esempio, una caratteristica della distribuzione come simmetria attraverso un terzo momento centrale nullo, purché esista. Tale restrizione aggiunge informazione solo se è vera e sufficientemente informativa. Momenti di ordine elevato possono essere molto sensibili alle code e richiedere campioni ampi per essere stimati stabilmente. Aggiungere condizioni non è sempre vantaggioso: la qualità e la credibilità dei momenti contano più della loro quantità.

Criterio GMM

Sia g_i(θ) un vettore r × 1 e θ un vettore p × 1, con r ≥ p. La media campionaria è ḡ_n(θ) = n^-1∑_ig_i(θ). Dato uno stimatore W_n di una matrice positiva definita, GMM minimizza Q_n(θ) = ḡ_n(θ)′W_nḡ_n(θ). Moltiplicare il criterio per n non cambia il minimo, ma è utile per la distribuzione del test di sovraidentificazione. La matrice W_n stabilisce quali deviazioni dai momenti vengono penalizzate di più e come si considerano le loro correlazioni.

Usare la matrice identità attribuisce lo stesso peso numerico a momenti che possono avere scale molto diverse. Cambiare unità a una variabile può allora modificare il compromesso. Una ponderazione coerente con la covarianza dei momenti rende il criterio più informativo: momenti molto rumorosi dovrebbero avere meno peso, mentre correlazioni forti indicano informazione parzialmente ridondante. Il criterio non deve essere letto come una somma di errori economicamente equivalenti senza considerare la scala e la variabilità delle restrizioni.

Identificazione e condizione di rango

L’identificazione globale richiede che θ₀ sia l’unico parametro nell’insieme ammissibile che soddisfa E[g_i(θ)] = 0. Una condizione locale importante è che D = E[∂g_i(θ₀)/∂θ′] abbia rango p. Se alcune direzioni del parametro non modificano i momenti, i dati non permettono di distinguerle localmente. Avere r ≥ p è soltanto un conteggio necessario, non una prova di identificazione. Momenti duplicati o strumenti irrilevanti possono lasciare il rango insufficiente.

Anche con rango pieno locale possono esistere più soluzioni globali in modelli non lineari. L’ottimizzazione deve quindi essere affiancata a un ragionamento economico sul dominio e sulle possibili soluzioni. Una matrice D quasi singolare segnala identificazione debole e può rendere inaffidabili le approssimazioni normali convenzionali. Il valore basso del criterio non basta a dimostrare che tutti i parametri siano precisamente determinati: più combinazioni possono soddisfare quasi allo stesso modo i momenti.

Distribuzione asintotica

Supponiamo che √n ḡ_n(θ₀) converga a una normale con covarianza S, che W_n converga a W e che valgano regolarità e identificazione. Linearizzando i momenti attorno a θ₀ si ottiene una distribuzione asintotica normale per θ̂. La matrice limite è:

V = (D′WD)^-1D′WSWD(D′WD)^-1.

La covarianza di θ̂ è approssimativamente V/n quando S è definita per √n ḡ_n. È essenziale mantenere coerenti le normalizzazioni: usare momenti sommati anziché mediati cambia i fattori n nelle matrici intermedie, non il risultato finale se tutto è calcolato correttamente. Nel caso indipendente S è la covarianza dei momenti individuali; con dipendenza temporale o raggruppata deve rappresentare la covarianza di lungo periodo o la struttura dei contributi aggregati appropriata.

Ponderazione ottimale e due stadi

La ponderazione asintoticamente efficiente nella classe GMM regolare usa W = S^-1 e produce Veff = (D′S^-1D)^-1. S è ignota, quindi si può iniziare con una matrice semplice, ottenere una stima consistente θ̂₁, calcolare i momenti residui e stimare S, poi minimizzare nuovamente usando Ŝ^-1. Questa è la procedura GMM a due stadi. La prima stima serve a rendere stimabile la covarianza delle condizioni, non a identificare un parametro diverso.

In campioni finiti, la stima della ponderazione può introdurre variabilità aggiuntiva e gli errori standard di secondo stadio possono richiedere correzioni specifiche in alcune applicazioni. Metodi iterati aggiornano ripetutamente la ponderazione; il continuously updated estimator la considera funzione del parametro durante l’ottimizzazione. Queste varianti hanno proprietà e costi differenti. Una ponderazione teoricamente efficiente non garantisce automaticamente prestazioni finite migliori in ogni campione, soprattutto con molti momenti o momenti deboli.

OLS come metodo dei momenti

Nel modello lineare, g_i(β) = x_i(y_i − x_i′β). Le condizioni campionarie sono X′(y − Xβ) = 0 e restituiscono OLS. Il numero dei momenti coincide con quello dei coefficienti quando ogni regressore fornisce una condizione. L’ortogonalità dei residui ai regressori è quindi anche una condizione di momento campionaria. La validità rispetto a un parametro strutturale richiede che l’analoga ortogonalità di popolazione sia appropriata, non soltanto che l’algoritmo la imponga ai residui.

Se la vera media condizionata non è lineare, le stesse condizioni definiscono il parametro della migliore proiezione lineare. GMM può stimarlo coerentemente come tale sotto le regolarità, senza trasformarlo in un effetto causale. Il quadro dei momenti rende esplicita questa distinzione: bisogna sapere quale θ₀ soddisfa davvero le condizioni nella popolazione e quale interpretazione gli viene attribuita. La consistenza di una procedura per un parametro matematico non basta a dimostrare che quel parametro risponda alla domanda economica desiderata.

IV e 2SLS come GMM

Con strumenti z_i, i momenti sono g_i(β) = z_i(y_i − x_i′β). Quando il numero di strumenti coincide con quello dei coefficienti e la matrice pertinente è invertibile, si ottiene IV esattamente identificato. Con più strumenti, la scelta W_n = [(Z′Z)/n]^-1 conduce a 2SLS, a fattori scalari irrilevanti per il minimo. In presenza di omoschedasticità, questa ponderazione è proporzionale all’inversa della covarianza dei momenti e possiede la giustificazione di efficienza pertinente.

Con eteroschedasticità, la covarianza dei momenti contiene E(z_iz_i′u_i²), perciò una ponderazione GMM efficiente differisce in generale da quella di 2SLS. Si può stimare tale matrice dai residui strutturali e ottenere un secondo stadio GMM. Gli strumenti devono comunque essere validi e sufficientemente forti. GMM non corregge automaticamente strumenti invalidi: incorpora le loro condizioni nel criterio e può produrre una stima precisa di un compromesso sbagliato quando le restrizioni di popolazione sono false.

Test j di sovraidentificazione

Con ponderazione efficiente coerente, il criterio valutato al minimo J = n ḡ_n(θ̂)′Ŝ^-1ḡ_n(θ̂) converge a una chi-quadrato con r − p gradi di libertà sotto la validità congiunta dei momenti e le regolarità. Il numero r − p rappresenta le restrizioni in eccesso rispetto ai parametri stimati. Nel caso esattamente identificato, i momenti possono essere annullati e non rimangono restrizioni aggiuntive da testare. Il test J non è un test diretto di ogni singolo strumento separatamente.

Un rifiuto segnala incompatibilità con almeno una componente del sistema di momenti o con altre ipotesi necessarie. Un non rifiuto non certifica validità: il test può avere poca potenza, soprattutto con molti strumenti, identificazione debole o violazioni condivise. Confronti fra sottoinsiemi di momenti possono essere utili quando alcune condizioni sono mantenute come valide, ma anche queste procedure dipendono dalle ipotesi di base. I risultati devono essere accompagnati da argomentazioni economiche sulle esclusioni e sulla struttura dei dati.

Momenti dinamici ed equazioni di eulero

In un modello intertemporale, una condizione di ottimalità può implicare E[(δ(C_t+1/C_t)^-ᵞR_t+1 − 1)z_t] = 0, dove δ è un fattore di sconto, γ un parametro di curvatura e z_t appartiene all’informazione disponibile al tempo t. La condizione afferma che l’errore dell’equazione di Eulero non dovrebbe essere prevedibile attraverso strumenti validi noti al momento della scelta. GMM può utilizzare tali restrizioni senza specificare l’intera distribuzione congiunta di consumi e rendimenti.

La validità empirica dipende però da misurazione del consumo, definizione del rendimento, vincoli finanziari, aggregazione e adeguatezza del modello di preferenze. Strumenti formalmente datati al tempo t possono essere deboli o inappropriati rispetto all’informazione effettiva. La dipendenza temporale richiede una stima coerente di S. L’eleganza della condizione teorica non elimina le difficoltà di identificazione e misurazione. Il contributo di Hansen al quadro asintotico GMM è indicato nel riferimento R13.

Esercizio svolto: momenti in conflitto

Si vuole stimare una media θ sapendo, per ipotesi, che la varianza della popolazione è uno. I momenti sono E(X − θ) = 0 ed E[X² − (θ² + 1)] = 0. Se nel campione X̄ = 2 e la media di X² è 5, θ = 2 annulla entrambi. Se invece la media di X² è 6, il primo momento suggerisce θ = 2 e il secondo, per θ positivo, suggerisce √5 ≈ 2,236. Non esiste una soluzione che annulli entrambi esattamente. GMM sceglie un compromesso in base alla covarianza e alla ponderazione dei momenti; la discrepanza residua può contribuire a un test della restrizione distributiva aggiuntiva.

Un esito che assume zero o uno

Quando Y è binaria, E(Y|X) = P(Y = 1|X) = p(X). La media condizionata è quindi una probabilità compresa fra zero e uno. Esempi sono partecipazione, acquisto, occupazione o inadempimento contrattuale, con definizioni precise dell’evento e dell’orizzonte. La codifica deve essere dichiarata: un coefficiente che aumenta la probabilità dell’evento cambia interpretazione se uno indica successo oppure insuccesso. Anche la popolazione a rischio dell’evento va definita, perché unità non esposte non appartengono necessariamente allo stesso problema di previsione.

La varianza condizionata è p(X)[1 − p(X)], perciò cambia con la probabilità. L’eteroschedasticità è naturale nei modelli binari. Una procedura per la media deve essere accompagnata da inferenza coerente con tale struttura e con eventuale dipendenza fra osservazioni. La rarità dell’evento può rendere alcune stime molto imprecise anche con molte righe: il numero di eventi e la loro distribuzione fra covariate e gruppi sono informazioni essenziali.

Modello di probabilità lineare

Il linear probability model, LPM, specifica p(X) = X′β e viene stimato con OLS. Il coefficiente di un regressore continuo rappresenta una variazione della probabilità in unità, quindi 0,03 equivale a tre punti percentuali per una unità aggiuntiva del regressore nella componente lineare. Il modello è semplice, permette effetti fissi e interpretazioni dirette, ma può produrre previsioni fuori da [0,1] e impone effetti marginali costanti. Può essere utile come approssimazione o per specifici estimandi lineari senza essere un modello globale adeguato di tutte le probabilità.

Gli errori standard omoschedastici non sono generalmente appropriati, perché Var(u|X) = p(X)[1 − p(X)]. Una covarianza robusta o cluster-robust va scelta secondo il disegno. Correggere le probabilità previste tagliandole a zero e uno modifica la funzione predittiva e non trasforma la stima originale in un logit. L’interpretazione dei coefficienti resta quella del modello lineare stimato. Per inferenza causale, il LPM richiede le stesse condizioni di identificazione del confronto, non è reso causale dalla natura binaria dell’esito.

Logit e probit

Il logit usa p(X) = Λ(X′β), dove Λ(η) = exp(η)/[1 + exp(η)]. Il probit usa p(X) = Φ(X′β), con Φ funzione di ripartizione normale standard. Entrambe mantengono le probabilità fra zero e uno e consentono effetti marginali che dipendono dal livello delle covariate. La differenza riguarda la forma della funzione di collegamento e le sue code. I coefficienti dei due modelli non sono direttamente confrontabili nella stessa scala perché le distribuzioni latenti sono normalizzate diversamente.

Una rappresentazione latente scrive Y* = X′β + ε e Y = 1(Y* > 0). Con errore normale standard si ottiene il probit; con errore logistico standard si ottiene il logit. La scala di Y* non è osservata: moltiplicare indice ed errore per una costante positiva non cambia l’indicatore. Per identificare i coefficienti si normalizza quindi la scala dell’errore. Non si deve interpretare il coefficiente latente come una variazione diretta della probabilità o come un’unità osservata dell’esito binario.

Verosimiglianza e stima

Per osservazioni indipendenti, la log-verosimiglianza binaria è ℓ(β) = ∑_i[y_iln p_i + (1 − y_i)ln(1 − p_i)], con p_i = G(x_i′β). Nel logit, lo score si semplifica in ∑_ix_i(y_i − p_i), mostrando una forma di ortogonalità fra regressori e residui probabilistici. Nel probit compare anche un fattore legato alla densità normale e alla varianza Bernoulli. La soluzione richiede normalmente un algoritmo numerico, salvo casi elementari come il modello con sola intercetta.

L’inferenza può utilizzare l’informazione del modello oppure una covarianza robusta sotto le condizioni appropriate. Se l’indice o la funzione di risposta sono misspecificati, la stima può convergere a un parametro di approssimazione che non coincide con l’effetto desiderato. Gli errori standard robusti non rendono corretta la forma della probabilità. Inoltre, la dipendenza entro gruppi richiede clustering coerente: la verosimiglianza Bernoulli scritta come prodotto indipendente non elimina gli shock condivisi fra osservazioni.

Effetti marginali per variabili continue

Per p = G(X′β), la derivata rispetto a x_j è g(X′β)β_j, quando x_j entra soltanto linearmente nell’indice. Nel logit g(η) = p(1 − p); nel probit g(η) = φ(η). Il segno coincide con quello di β_j in questa specificazione semplice, ma la grandezza varia con X. Un coefficiente logit di 0,5 produce un effetto marginale di 0,5 × 0,2 × 0,8 = 0,08 quando p = 0,2 e di 0,125 quando p = 0,5. Sono variazioni locali di otto e dodici virgola cinque punti percentuali per unità.

L’effetto marginale medio, AME, è la media degli effetti calcolati per le osservazioni. L’effetto alla media, MEM, valuta invece la derivata in un vettore di covariate medie. Non coincidono in generale perché la funzione è non lineare. Il vettore medio può anche descrivere un individuo inesistente, per esempio con indicatori di gruppo fra zero e uno. L’AME conserva la distribuzione osservata delle covariate, mentre il MEM risponde a un confronto in un punto convenzionale. La scelta deve essere dichiarata e collegata all’obiettivo.

Variabili binarie e differenze discrete

Per una dummy D si calcola normalmente G(η + βD) − G(η), dove η raccoglie gli altri termini e D passa da zero a uno. La derivata infinitesima non è il confronto naturale di una variabile che assume soltanto due valori. Se esistono interazioni, entrambi gli indici devono essere ricostruiti coerentemente cambiando D in tutti i termini che la contengono. L’effetto medio discreto si ottiene mediando queste differenze sulla distribuzione delle altre covariate.

Per l’incertezza di AME e differenze discrete si può usare il metodo delta o un bootstrap che rispetti il disegno. Il gradiente deve considerare tutte le dipendenze dai coefficienti e, secondo l’estimando, l’eventuale variabilità della distribuzione delle covariate. Riportare soltanto l’errore standard del coefficiente logit non fornisce automaticamente quello dell’effetto sulla probabilità. Coefficiente dell’indice, odds ratio e differenza di probabilità sono quantità diverse, con scale e distribuzioni differenti.

Odds e odds ratio

Nel logit, le odds sono p/(1 − p) e il loro logaritmo è X′β. Una unità aggiuntiva di x_j moltiplica le odds per exp(β_j), quando non sono presenti interazioni o altre trasformazioni che cambiano il confronto. L’odds ratio non è un rapporto di probabilità. Se p₀ = 0,20, le odds iniziali sono 0,25. Un odds ratio di 2 porta le odds a 0,50 e la probabilità a 0,50/(1 + 0,50) = 1/3. La probabilità aumenta da 20% a circa 33,33%, non al 40%.

L’odds ratio può essere meno intuitivo di una differenza di probabilità e può apparire grande anche quando il cambiamento assoluto è limitato. Inoltre, gli odds ratio condizionati possono cambiare aggiungendo covariate anche in situazioni prive di confondimento, a causa della non collassabilità della misura. Non è quindi corretto interpretare automaticamente ogni variazione del coefficiente logit fra modelli come rimozione di distorsione da variabili omesse. Per confronti sostanziali è spesso utile riportare probabilità previste o effetti marginali ben definiti.

Interazioni nei modelli non lineari

Con un’interazione xz nell’indice, l’effetto di x è g(η)(βx + βxz z). La derivata incrociata della probabilità contiene sia g(η)βxz sia un termine con g′(η) e le pendenze dell’indice. Perciò il segno del coefficiente dell’interazione non determina da solo il segno dell’interazione sulla scala della probabilità in ogni punto. La non linearità crea variazioni degli effetti anche quando il termine xz non è presente nell’indice. Occorre specificare quale scala e quale confronto si desiderano interpretare.

Con due dummy, un’interazione sulla probabilità può essere calcolata come differenza di quattro probabilità previste, mantenendo coerenti le altre covariate. Questo confronto non coincide in generale con il coefficiente del prodotto delle dummy. L’inferenza deve essere costruita sulla funzione delle previsioni. Una tabella che evidenzia soltanto il p-value del coefficiente di interazione nell’indice può non rispondere alla domanda economica sulla differenza degli effetti in punti percentuali.

Separazione e eventi rari

La separazione perfetta si verifica quando una combinazione dei regressori distingue completamente successi e insuccessi. Nel logit non penalizzato, alcuni coefficienti possono divergere e il massimo finito non esistere. Errori standard enormi, mancata convergenza o probabilità quasi esattamente zero e uno possono essere segnali. La quasi-separazione produce difficoltà analoghe. Eliminare automaticamente la variabile che separa può cambiare la domanda; occorre comprendere se la struttura sia reale, dovuta a categorie rare o a un campione troppo limitato.

Penalizzazioni o correzioni specifiche, come approcci basati sulla penalizzazione di Firth, possono produrre stime finite in alcuni casi, ma modificano il procedimento e le sue proprietà. Con eventi rari, il numero di eventi informativi e la loro distribuzione sono più rilevanti della sola numerosità totale. Campionamenti che sovrarappresentano gli eventi richiedono attenzione alla calibrazione delle probabilità e ai pesi. Un modello che classifica tutte le osservazioni come non evento può avere accuratezza elevata in una popolazione molto sbilanciata e risultare comunque inutile.

Valutare le probabilità

La log-loss e il Brier score valutano probabilità, non soltanto etichette. Il Brier score è la media di (y_i − p̂_i)². La calibrazione verifica se, fra unità con probabilità prevista vicina a un certo valore, la frequenza osservata è coerente con quel valore. La discriminazione riguarda invece la capacità di ordinare correttamente unità con esiti diversi; l’area sotto la curva ROC, AUC, è una misura di ordinamento. Un modello può discriminare bene ma essere mal calibrato, quindi assegnare probabilità numericamente sbagliate.

La soglia che trasforma p̂ in una decisione binaria dipende dai costi di falsi positivi e falsi negativi e dalla popolazione di utilizzo. Non deve essere automaticamente 0,5. Precisione, richiamo e tassi di errore cambiano con la soglia e con la prevalenza dell’evento. La valutazione deve avvenire su dati non usati per scegliere il modello o la soglia, oppure con una procedura di validazione coerente. Buona classificazione non dimostra un effetto causale dei regressori sull’evento.

Esercizio svolto: coefficiente, odds e probabilità

Un logit ha coefficiente di una dummy pari a ln(2), quindi odds ratio 2. Per un profilo con probabilità iniziale 0,10, le odds sono 1/9 e diventano 2/9; la nuova probabilità è 2/11 ≈ 0,1818, con incremento di circa 8,18 punti percentuali. Per un profilo con probabilità iniziale 0,50, le odds passano da 1 a 2 e la probabilità diventa 2/3, con incremento di 16,67 punti. Lo stesso coefficiente e lo stesso odds ratio producono effetti assoluti diversi. Per comunicare l’impatto occorre quindi specificare il profilo o la distribuzione sulla quale si media.

Più di due esiti possibili

Quando l’esito assume più categorie, occorre distinguere alternative senza ordine naturale e categorie ordinate. La scelta fra mezzi di trasporto o fra settori professionali è multinomiale non ordinata; un giudizio di soddisfazione da basso ad alto è ordinato. Codificare le alternative con numeri non le rende quantitative. La differenza fra categoria uno e categoria due può non avere lo stesso significato della differenza fra due e tre. Il modello deve rispettare la struttura informativa della variabile, senza imporre distanze arbitrarie soltanto perché i dati sono memorizzati come interi.

Un modello multinomiale assegna una probabilità a ciascuna alternativa, con probabilità non negative che sommano a uno. Un modello ordinato sfrutta invece l’idea che le categorie derivino da soglie su una variabile latente continua. La maggiore struttura può migliorare la parsimonia, ma impone restrizioni. Se l’ordine è artificiale o il processo non è compatibile con soglie comuni, un modello ordinato può essere inadeguato. La scelta deve dipendere dalla definizione dell’esito e dal meccanismo economico.

Logit multinomiale

Per categorie j = 0, …, J, il logit multinomiale può essere scritto p_j(x) = exp(x′β_j)/∑_l=0ᴶexp(x′β_l). Una normalizzazione pone β₀ = 0, perché aggiungere la stessa quantità a tutte le utilità non cambia le probabilità. Il rapporto fra la probabilità della categoria j e quella base è p_j/p₀ = exp(x′β_j). I coefficienti descrivono quindi log-rapporti relativi alla categoria di riferimento, non variazioni dirette delle probabilità. Cambiare la categoria base modifica la parametrizzazione ma non le probabilità dello stesso modello.

La log-verosimiglianza è ∑_i∑_jd_ijln p_ij, dove d_ij vale uno se l’unità i sceglie j. La stima richiede un numero di parametri che cresce con le categorie e le covariate. Categorie rare o combinazioni che separano perfettamente gli esiti possono creare problemi di identificazione e convergenza. Prima della stima è utile esaminare frequenze, supporto delle covariate e possibili celle vuote. Una categoria con pochissime osservazioni può avere coefficienti estremi senza fornire una relazione stabile.

Effetti marginali nel multinomiale

Se una covariata xᵣ entra con coefficienti β_jᵣ specifici per alternativa, la derivata è ∂p_j/∂xᵣ = p_j[β_jᵣ − ∑_lp_lβ_lᵣ]. Il segno non dipende soltanto da β_jᵣ: conta il confronto con la media dei coefficienti ponderata dalle probabilità. Un coefficiente positivo rispetto alla categoria base non implica automaticamente un aumento della probabilità assoluta di quella categoria in ogni punto. Le probabilità competono fra loro e le loro derivate sommano a zero.

Per una variabile binaria, il confronto si effettua ricalcolando tutte le probabilità con la dummy a uno e a zero. Le differenze devono sommare a zero, salvo arrotondamenti, perché l’aumento di probabilità di alcune alternative è compensato dalla diminuzione di altre. Gli effetti medi possono essere ottenuti sulla distribuzione osservata delle covariate. L’inferenza richiede la covarianza congiunta dei coefficienti di tutte le categorie coinvolte, non soltanto l’errore standard di una singola equazione relativa alla base.

Indipendenza dalle alternative irrilevanti

Nel logit multinomiale semplice, p_j/p_k = exp[x′(β_j − β_k)] non dipende dalle caratteristiche di altre alternative, mantenendo fissi gli indici di j e k. Questa proprietà è nota come indipendenza dalle alternative irrilevanti, IIA. Può essere restrittiva quando alcune alternative sono molto simili. Se una modalità di trasporto viene duplicata in due versioni quasi identiche, un modello con IIA può redistribuire probabilità in modo non coerente con il fatto che le due versioni siano sostituti particolarmente stretti.

L’IIA non va giudicata soltanto attraverso un test automatico. Occorre considerare la struttura delle alternative, eventuali componenti non osservate condivise e il comportamento di sostituzione che interessa. Test basati sull’eliminazione di alternative possono essere instabili o richiedere condizioni specifiche. Un non rifiuto non dimostra che la struttura di sostituzione sia adeguata. Modelli nested logit, mixed logit o multinomial probit possono consentire dipendenze più flessibili, al costo di ipotesi e complessità aggiuntive.

Caratteristiche individuali e delle alternative

Un modello di utilità casuale può scrivere U_ij = V_ij + ε_ij, con V_ij = x_ij′γ + w_i′β_j. x_ij contiene caratteristiche dell’alternativa per l’individuo, come costo o tempo; w_i contiene caratteristiche individuali, come reddito. Una caratteristica individuale che entra con lo stesso coefficiente in tutte le utilità si cancella nei confronti e non è identificata separatamente. Per influenzare la scelta relativa deve interagire con alternative o entrare attraverso una struttura che differenzi le utilità.

Se un costo specifico dell’alternativa k entra con coefficiente comune γ, la derivata di p_j rispetto a quel costo è γp_j[1(j = k) − p_k] nel logit semplice. L’effetto proprio e quelli incrociati sono collegati dalla struttura del modello. Interpretare elasticità di scelta richiede quindi sapere se la variabile varia fra individui, fra alternative o in entrambe le dimensioni. Un dataset in formato lungo, con una riga per coppia individuo-alternativa, rappresenta un’unità osservativa diversa da una tabella con una sola riga per persona.

Modelli più flessibili

Il nested logit raggruppa alternative che possono condividere componenti non osservate, introducendo una struttura gerarchica di sostituzione. La scelta dei nidi deve avere una motivazione economica e rispettare le condizioni del modello. Il multinomial probit consente errori normalmente distribuiti con correlazioni fra alternative, ma richiede normalizzazioni di scala e una gestione di probabilità multivariate. La maggiore flessibilità può rendere la stima più onerosa e l’identificazione meno immediata.

Il mixed logit permette coefficienti eterogenei fra individui e integra le probabilità rispetto a una distribuzione dei parametri. L’integrale viene spesso approssimato per simulazione. La distribuzione dell’eterogeneità è un’ipotesi sostanziale: scegliere una normale per un coefficiente che dovrebbe avere sempre lo stesso segno può produrre comportamenti non desiderati in parte della popolazione simulata. L’aumento della flessibilità deve essere accompagnato da controlli di plausibilità, stabilità numerica e validazione rispetto alla domanda di ricerca.

Modello ordinato latente

Per categorie ordinate 1, …, J, si introduce Y* = x′β + ε e soglie τ₁ < … < τ_j-1. Si osserva Y = j quando τ_j-1 < Y* ≤ τ_j, con τ₀ = −∞ e τ_j = +∞. La probabilità è P(Y = j|x) = F(τ_j − x′β) − F(τ_j-1 − x′β). Con F normale si ottiene il probit ordinato; con F logistica il logit ordinato. Le soglie sono parametri che delimitano le categorie sulla scala latente, non distanze note fra i punteggi osservati.

Intercetta dell’indice e posizione delle soglie non sono separatamente identificabili senza normalizzazione: aggiungere la stessa costante a entrambe non cambia le probabilità. Si omette quindi tipicamente un’intercetta libera nell’indice e si stimano le soglie, oppure si adotta una normalizzazione equivalente. Anche la scala dell’errore viene fissata. Questi vincoli non sono difetti del modello, ma conseguenze del fatto che si osservano soltanto categorie e non il livello della variabile latente.

Interpretazione dei coefficienti ordinati

Un coefficiente positivo sposta l’indice latente verso categorie più alte, nella parametrizzazione descritta. Riduce la probabilità delle categorie più basse e aumenta quella delle più alte, ma l’effetto su una categoria intermedia può avere segno diverso a seconda del punto. Per una covariata continua, la derivata di P(Y = j|x) è βᵣ[f(τ_j-1 − η) − f(τ_j − η)], con η = x′β. Il coefficiente non misura una variazione di «j punti» del punteggio osservato.

Nel logit ordinato, logit P(Y ≤ j|x) = τ_j − x′β. Le pendenze sono comuni alle diverse soglie, proprietà detta proportional odds o parallel slopes. È una restrizione forte: una covariata modifica i log-odds cumulativi nello stesso modo per ogni separazione fra categorie. Modelli generalizzati possono consentire pendenze differenti, ma devono mantenere probabilità coerenti e ordinate. La verifica della restrizione va affiancata a una valutazione sostanziale dell’uso della scala.

Esempio di probabilità ordinate

Con tre categorie, soglie τ₁ = 0 e τ₂ = 1 e indice η = 0,5, un logit ordinato produce p₁ = Λ(−0,5) ≈ 0,3775, p₂ = Λ(0,5) − Λ(−0,5) ≈ 0,2449 e p₃ = 1 − Λ(0,5) ≈ 0,3775. Le probabilità sommano a uno. Se l’indice aumenta a 1, p₁ = Λ(−1) ≈ 0,2689, p₂ = Λ(0) − Λ(−1) ≈ 0,2311 e p₃ = 0,5. La categoria alta diventa più probabile, mentre quella intermedia diminuisce in questo particolare confronto.

Il calcolo mostra perché non si possa attribuire lo stesso segno a tutte le probabilità sulla base del coefficiente. L’effetto medio su ciascuna categoria deve essere calcolato e, se necessario, accompagnato da un intervallo. Una previsione del punteggio numerico medio può essere costruita come ∑_jjp_j, ma attribuisce ai codici una scala cardinale che potrebbe non essere giustificata. Per molte domande è più trasparente riportare la distribuzione delle probabilità o la probabilità di superare una soglia sostanziale.

Scelta del modello e diagnostica

La scelta fra multinomiale e ordinato dipende dalla natura delle categorie e dalle restrizioni che si è disposti a sostenere. Il modello ordinato usa meno parametri ma impone una struttura comune; quello multinomiale lascia più libertà ma può essere meno preciso e non sfrutta l’ordine. La valutazione può considerare probabilità previste, calibrazione per categoria, log-verosimiglianza confrontabile e prestazione fuori campione. Un criterio informativo non sostituisce la domanda se l’ordine e la scala latente siano economicamente plausibili.

In entrambi i casi, endogeneità delle covariate, selezione del campione e dipendenza fra osservazioni rimangono possibili. Una funzione di risposta più sofisticata non risolve questi problemi. Errori standard robusti o cluster-robust devono essere coerenti con il disegno e con le condizioni di stima. Quando una categoria è molto rara, può essere necessario riconoscere che i dati non permettono effetti dettagliati affidabili anziché aggregare o eliminare categorie soltanto per ottenere convergenza senza discutere il cambiamento dell’esito.

Esercizio svolto: ordine non significa distanza

Un questionario registra «insoddisfatto», «neutrale» e «soddisfatto» con codici 1, 2 e 3. OLS sul codice impone che lo scarto fra le prime due categorie abbia la stessa unità dello scarto fra le ultime due. Un modello ordinato usa soltanto l’ordine e stima soglie latenti. Un multinomiale non sfrutta nemmeno l’ordine, ma lascia libere le relazioni relative. Nessuna scelta è automaticamente corretta in ogni applicazione: bisogna definire quale informazione della scala si vuole assumere e quale quantità, come probabilità di soddisfazione, risponde alla domanda sostanziale.

Conteggi, tassi e supporto

Un conteggio assume valori interi non negativi, come numero di acquisti, brevetti, incidenti o visite. Un tasso divide un conteggio per un’esposizione, come tempo osservato o numero di unità a rischio. Le due grandezze non sono intercambiabili. Dieci eventi in un mese e dieci eventi in un anno hanno lo stesso conteggio ma tassi diversi. Un modello deve specificare l’esposizione e la popolazione a rischio, evitando di attribuire alle covariate differenze che dipendono soltanto dalla durata o dalla dimensione dell’osservazione.

OLS può essere usato come approssimazione della media, ma può produrre valori negativi e non rappresenta naturalmente la distribuzione discreta. Un collegamento esponenziale mantiene la media positiva: μ_i = E(Y_i|x_i) = exp(x_i′β). Questa forma è lineare nel logaritmo della media, non nel logaritmo dell’esito osservato. Consente quindi di mantenere osservazioni con Y = 0 senza aggiungere costanti arbitrarie. La scelta del modello della media resta distinta dall’ipotesi che l’intera distribuzione sia Poisson.

Regressione di poisson

Nel modello Poisson condizionato, P(Y_i = y|x_i) = exp(−μ_i)μ_iʸ/y!, con μ_i = exp(x_i′β). La log-verosimiglianza è ∑_i[y_ix_i′β − exp(x_i′β) − ln(y_i!)]. Lo score è ∑_ix_i(y_i − μ_i) e l’Hessiana è −∑_iμ_ix_ix_i′. Con condizioni di rango e assenza di problemi di esistenza, il criterio ha una struttura concava utile per la stima. La distribuzione Poisson impone Var(Y_i|x_i) = μ_i, cioè equidispersione condizionata.

Il coefficiente β_j è una semielasticità della media: ∂μ/∂x_j = β_jμ e ∂ln(μ)/∂x_j = β_j, quando la covariata entra linearmente nell’indice. Per un incremento unitario, il rapporto delle medie è exp(β_j). Un coefficiente 0,20 implica un rapporto di circa 1,2214, cioè un aumento della media del 22,14%, non esattamente del 20%. Il rapporto viene spesso chiamato incidence rate ratio quando esposizione e interpretazione del tasso sono definite coerentemente.

Esposizione e offset

Se il numero atteso di eventi è proporzionale a un’esposizione t_i > 0, si può scrivere μ_i = t_iexp(x_i′β), quindi ln(μ_i) = ln(t_i) + x_i′β. Il termine ln(t_i) entra come offset con coefficiente fissato a uno. Non è un regressore il cui coefficiente viene stimato liberamente, salvo voler mettere alla prova o modificare l’ipotesi di proporzionalità. L’esposizione deve essere misurata nella stessa unità e riferita al periodo effettivo a rischio.

Se il tasso atteso è due eventi per mese, un’esposizione di tre mesi implica media sei. Nel modello Poisson la probabilità di zero eventi sarebbe exp(−6), circa 0,00248. Il tasso resta due: è il conteggio atteso a cambiare con la durata. Trattare il conteggio senza offset potrebbe attribuire una maggiore frequenza di eventi a una covariata correlata con il tempo di osservazione. D’altra parte, un’esposizione endogena o misurata male può introdurre problemi che l’offset non risolve automaticamente.

Poisson quasi-massima verosimiglianza

Lo score Poisson dipende dal residuo della media y_i − μ_i. Se E(Y_i|x_i) = exp(x_i′β₀) è corretta e valgono le regolarità, l’aspettativa dello score è zero anche quando la distribuzione non è Poisson. La procedura può quindi stimare coerentemente i parametri della media sotto condizioni appropriate, usando una covarianza robusta alla varianza misspecificata. Questo è il principio del Poisson pseudo-maximum likelihood, PPML. Non richiede che l’esito sia necessariamente un conteggio intero quando viene utilizzato come criterio quasi-verosimile per una media non negativa.

La robustezza non copre una media sbagliata, endogeneità o dipendenza ignorata. Inoltre, una stima coerente della media non fornisce automaticamente corrette probabilità di zero o intervalli predittivi Poisson. Queste quantità dipendono dall’intera distribuzione. Il vantaggio di modellare direttamente la media esponenziale è particolarmente importante quando si confronta con una regressione di ln(Y), che esclude gli zeri e risponde a un diverso oggetto. Il riferimento R14 discute il ruolo della specificazione della media e dell’eteroschedasticità in applicazioni economiche con forma moltiplicativa.

Sovradispersione e quasi-poisson

La sovradispersione indica una varianza condizionata superiore alla media. Può derivare da eterogeneità non osservata, dipendenza, eccesso di zeri o misspecificazione della media. Non identifica da sola il meccanismo. Un modello quasi-Poisson assume Var(Y|X) = φμ con parametro di dispersione φ, mantenendo il collegamento della media. In molte implementazioni produce gli stessi coefficienti del Poisson ma una diversa scala della covarianza. Una covarianza sandwich può consentire strutture di varianza più generali rispetto alla sola proporzionalità φμ.

La dispersione può essere esplorata attraverso residui di Pearson, (y_i − μ̂_i)/√μ̂_i, e statistiche aggregate, ma la loro distribuzione finita dipende dal modello e dalla numerosità. Una devianza elevata può indicare problemi di adattamento senza rivelarne automaticamente la causa. Con molti conteggi piccoli, approssimazioni chi-quadrato di statistiche di bontà di adattamento possono richiedere cautela. Il controllo dovrebbe includere distribuzione degli zeri, code, esposizioni e dipendenza, non soltanto un rapporto varianza-media grezzo.

Binomiale negativa

Una specificazione comune, NB2, ha media μ e varianza μ + αμ², con α > 0. Può essere motivata da eterogeneità moltiplicativa gamma nel tasso Poisson, sotto le condizioni del modello. Consente una dispersione che cresce più rapidamente della media. La stima di massima verosimiglianza utilizza una distribuzione più flessibile del Poisson, ma introduce un parametro e ipotesi aggiuntive. La scelta dovrebbe dipendere da plausibilità del processo e prestazione, non soltanto dal fatto che una varianza campionaria superi la media.

Il Poisson corrisponde al limite α = 0, che si trova sulla frontiera dello spazio del parametro. Test di verosimiglianza standard con riferimento chi-quadrato ordinario possono quindi non avere la distribuzione usuale senza adattamenti. Il confronto va effettuato con una procedura appropriata alla frontiera e alle altre condizioni. Inoltre, una binomiale negativa non corregge automaticamente endogeneità o selezione. La maggiore flessibilità distributiva non sostituisce la strategia di identificazione dei coefficienti della media.

Modelli zero-inflated

Un modello zero-inflated combina una probabilità π di appartenere a un processo che produce sempre zero e una probabilità 1 − π di appartenere a un processo di conteggio. Con componente Poisson di media μ, P(Y = 0) = π + (1 − π)exp(−μ), mentre per y > 0 si ha P(Y = y) = (1 − π)exp(−μ)μʸ/y!. La media complessiva è (1 − π)μ. Le covariate possono influenzare sia π sia μ, perciò i coefficienti delle due componenti non sono effetti diretti sulla media totale.

L’interpretazione richiede un meccanismo plausibile per gli zeri strutturali. Una grande quantità di zeri può essere spiegata anche da eterogeneità o da una media molto bassa, senza una classe separata di unità sempre a zero. Il modello può essere flessibile ma difficile da identificare bene in campioni limitati. Un coefficiente che riduce la probabilità di zero strutturale e uno che aumenta il tasso della componente di conteggio agiscono attraverso canali diversi; l’effetto complessivo va calcolato sulla funzione della media o sulle probabilità desiderate.

Modelli hurdle

Un hurdle model separa la probabilità di avere un esito positivo dalla distribuzione del conteggio condizionata a essere positivo. Tutti gli zeri sono generati dalla prima componente; la seconda è una distribuzione troncata a zero. Se la probabilità di positività è p e la componente positiva deriva da una Poisson di parametro μ, la media condizionata positiva è μ/[1 − exp(−μ)] e la media totale è pμ/[1 − exp(−μ)]. La struttura è diversa dallo zero-inflated, in cui anche la componente di conteggio può produrre zeri.

La distinzione può rappresentare, per esempio, una decisione di iniziare un’attività e una decisione successiva sulla sua intensità. Tuttavia, la separazione delle due componenti è un’ipotesi economica da motivare. Per interpretare effetti marginali occorre considerare entrambe le equazioni e la loro covarianza. Confrontare soltanto il segno del coefficiente nella componente positiva può omettere un effetto opposto sulla probabilità di partecipazione. L’oggetto di interesse, condizionato o complessivo, deve essere dichiarato.

Modelli lineari generalizzati

Un GLM combina una componente casuale, un predittore lineare η = X′β e una funzione di collegamento g(μ) = η. Esempi sono il modello normale con collegamento identità, il binomiale con logit e il Poisson con log. La funzione di collegamento riguarda la media, non una trasformazione osservata dell’esito. Questa distinzione permette di modellare direttamente medie vincolate e strutture di varianza. Il collegamento canonico semplifica alcune proprietà dello score, ma non è l’unica scelta possibile.

Per esiti continui positivi, un GLM gamma con collegamento log può essere utile quando la varianza cresce approssimativamente con il quadrato della media. Non è appropriato per zeri senza una modifica del modello. Una famiglia distributiva e un collegamento devono essere scelti considerando supporto, dispersione e interpretazione. La quasi-verosimiglianza può concentrarsi sui primi momenti, mentre una previsione dell’intera distribuzione richiede ulteriori ipotesi. La famiglia GLM è un quadro organizzativo, non una garanzia che ogni combinazione sia adatta ai dati.

Esercizio svolto: media e probabilità non sono la stessa ipotesi

Una regressione PPML stima μ̂ = 2 per un certo profilo e un coefficiente di x pari a 0,30. Aumentando x di uno, la media prevista diventa 2exp(0,30) ≈ 2,6997. Questo rapporto riguarda la media esponenziale. La probabilità di zero sarebbe exp(−2) ≈ 0,1353 prima e exp(−2,6997) ≈ 0,0672 dopo soltanto se la distribuzione condizionata fosse realmente Poisson. Con sola validità quasi-verosimile della media, tali probabilità non sono garantite. La distinzione impedisce di attribuire al modello più informazione distributiva di quella sostenuta dalle ipotesi.

Tre processi di osservazione diversi

Censura, troncamento e selezione descrivono modi differenti in cui i dati osservati rappresentano una variabile di interesse. Con censura si osserva l’unità, ma il valore dell’esito è noto soltanto entro un limite: per esempio, una quantità superiore a una soglia viene registrata come uguale alla soglia. Con troncamento, le unità oltre il limite non compaiono nel campione. Con selezione, la disponibilità dell’esito dipende da un’altra decisione o condizione, potenzialmente collegata a determinanti non osservati dell’esito. Confondere questi processi conduce a verosimiglianze e interpretazioni sbagliate.

Una durata di ricerca di lavoro ancora in corso alla fine dell’indagine è censurata a destra: sappiamo che supera il tempo osservato. Un archivio che include soltanto persone con reddito superiore a una soglia è troncato rispetto alla popolazione completa. Un archivio dei salari dei soli occupati presenta una selezione perché il salario è osservato soltanto quando si verifica l’occupazione. Il valore zero può invece essere un esito economico autentico, come nessun acquisto, e non una censura di una quantità negativa. Il meccanismo deve essere definito prima di scegliere il modello.

Il modello tobit a censura inferiore

Il Tobit elementare introduce una variabile latente Y* = x′β + u, con u|x normale di media zero e varianza σ², e osserva Y = max(0,Y*). Le unità con Y* ≤ 0 sono registrate come zero; per le altre si osserva il valore positivo. Il modello combina una massa di probabilità in zero e una densità continua sopra zero. Non è una regressione lineare ordinaria sull’esito osservato, perché la media condizionata di Y non coincide con x′β. Il coefficiente β riguarda la variabile latente.

Definendo μ = x′β e z = μ/σ, la probabilità di un esito positivo è Φ(z). Il contributo alla verosimiglianza di un’osservazione censurata è Φ(−z); quello di un valore positivo y è φ[(y − μ)/σ]/σ. La log-verosimiglianza somma quindi logaritmi di probabilità per gli zeri e logaritmi di densità per i valori osservati esattamente. Trattare tutti i valori come osservazioni normali di Y* ignora la massa in zero e produce una specificazione diversa.

Media osservata ed effetti marginali

Nel Tobit a censura in zero, la media dell’esito osservato è:

La formula si ottiene integrando il valore latente positivo sulla parte non censurata della distribuzione. La derivata rispetto a una covariata che entra linearmente in μ, con σ costante, è β_jΦ(z). L’effetto sulla media osservata è quindi attenuato rispetto al coefficiente latente e dipende dalla probabilità di non essere censurati. Il coefficiente β_j non va riportato come variazione diretta di E(Y|x) senza questa conversione.

Fra le sole osservazioni positive, E(Y|Y > 0,x) = μ + σλ(z), dove λ(z) = φ(z)/Φ(z). La derivata è β_j[1 − λ(z)(z + λ(z))]. L’effetto sulla probabilità di positività è φ(z)β_j/σ. Esistono dunque tre quantità distinte: variazione della probabilità di superare il limite, variazione della media condizionata a superarlo e variazione della media complessiva. La domanda economica determina quale riportare. La loro distinzione è essenziale nei modelli che combinano margine estensivo e intensivo.

Esempio numerico tobit

Supponiamo μ = 0, σ = 2 e coefficiente β_j = 1. Poiché Φ(0) = 0,5 e φ(0) ≈ 0,39894, la probabilità di positività è 0,5 e la media osservata è 2 × 0,39894 ≈ 0,79788. L’effetto marginale sulla media complessiva è 1 × 0,5 = 0,5. La media dei soli valori positivi è 2 × 0,79788 ≈ 1,59577, mentre la derivata di tale media è 1 − 0,79788² ≈ 0,36338. Nessuno di questi numeri coincide automaticamente con il coefficiente latente uno.

La decomposizione chiarisce che un aumento della covariata può sia spostare unità oltre la soglia sia aumentare i valori di quelle già positive. Il Tobit impone che entrambi i margini siano governati dagli stessi coefficienti e dalla stessa distribuzione latente. Questa restrizione può essere troppo forte per decisioni in due fasi. Una variabile può influenzare la probabilità di acquistare senza avere lo stesso ruolo nella quantità acquistata, oppure produrre effetti di segno diverso. In questi casi un modello a due parti può essere più coerente con il processo economico.

Limiti del tobit e modelli a due parti

Il Tobit classico richiede una distribuzione latente normale e omoschedastica per la consueta massima verosimiglianza. Una covarianza sandwich può correggere alcune formule inferenziali rispetto alla distribuzione del criterio, ma non garantisce la consistenza dei coefficienti se media osservata e processo di censura sono misspecificati. La normalità e la varianza costante entrano nella forma della probabilità di censura e della media, non soltanto nella stima degli errori standard. Non è quindi equivalente al caso OLS in cui l’eteroschedasticità lascia intatta una media lineare corretta.

Un modello a due parti stima separatamente P(Y > 0|x) e E(Y|Y > 0,x), combinandole tramite E(Y|x) = P(Y > 0|x)E(Y|Y > 0,x). Può utilizzare logit o probit per la prima parte e un modello positivo appropriato per la seconda. Non presume necessariamente l’esistenza di valori latenti negativi censurati. L’effetto complessivo richiede la derivata del prodotto e l’incertezza di entrambe le componenti. Il confronto fra Tobit e due parti riguarda una restrizione economica e distributiva, non soltanto quale modello produca un R² più elevato.

Censura superiore e intervalli

Con censura superiore al limite c, un valore registrato come c contribuisce con P(Y* ≥ c|x) = 1 − F(c|x), mentre un valore inferiore osservato esattamente contribuisce con la densità. Se si sa soltanto che Y* appartiene all’intervallo [a,b], il contributo è F(b|x) − F(a|x). Una misura arrotondata o registrata per classi può essere trattata come informazione di intervallo quando la definizione lo giustifica. Sostituire ogni intervallo con il suo punto medio ignora parte dell’incertezza e può introdurre distorsioni.

Il limite può variare fra osservazioni, per esempio a causa di differenti massimali o periodi di osservazione. La verosimiglianza deve utilizzare il limite effettivo di ciascuna unità. Se il limite o il meccanismo di censura dipendono da informazioni non osservate collegate all’esito, le formule elementari possono non essere valide. Conoscere la regola amministrativa di registrazione è quindi importante quanto conoscere le variabili della regressione. Il processo di osservazione fa parte del modello probabilistico.

Regressione troncata

Se si osservano soltanto unità con Y* > c, la distribuzione nel campione è la distribuzione originaria condizionata a superare il limite. La densità diventa f(y|x)/[1 − F(c|x)] per y > c. Nel caso normale con c = 0, il denominatore è Φ(μ/σ). La normalizzazione non può essere omessa: il campione è selezionato sulla variabile dipendente e la densità osservata deve integrare a uno nel supporto ammesso. OLS sui soli valori sopra soglia non stima in generale la relazione latente originaria.

La differenza rispetto alla censura è che nel campione troncato non si osservano neppure le righe delle unità escluse, salvo informazioni esterne. Nel campione censurato, invece, le loro covariate e l’indicazione del limite sono presenti. Questa differenza modifica l’informazione disponibile e la verosimiglianza. Un archivio che elimina piccoli valori e uno che li sostituisce con una soglia non possono essere analizzati con la stessa procedura senza adattamenti, anche se i valori numerici visibili sembrano simili.

Selezione del campione e modello di heckman

Si consideri un’equazione dell’esito Y* = x′β + u e un’equazione di selezione D = 1(z′γ + v > 0). Y* è osservato soltanto per D = 1. Nel modello classico si normalizza Var(v) = 1 e si assume una distribuzione normale congiunta di u e v, con Var(u) = σ² e correlazione ρ. Quando ρ ≠ 0, le unità osservate hanno un errore medio diverso da zero perché la selezione contiene informazione su u. La regressione del solo campione selezionato può allora essere distorta rispetto all’equazione dell’esito.

Sotto queste ipotesi, E(u|D = 1,z) = ρσλ(z′γ), con λ(a) = φ(a)/Φ(a). La media dell’esito osservato è x′β + ρσλ(z′γ). La procedura a due passi stima prima un probit della selezione su tutte le unità, calcola il rapporto inverso di Mills e lo include nella regressione dell’esito per le unità selezionate. Il termine aggiunto cerca di rappresentare la media non nulla dell’errore indotta dalla selezione, non di ricostruire magicamente ogni esito mancante.

Inferenza e identificazione nel modello di selezione

Il rapporto inverso di Mills è un regressore generato da parametri stimati e l’errore della seconda equazione ha una struttura non omoschedastica. Gli errori standard OLS ordinari della seconda regressione non tengono conto automaticamente di questi elementi. Servono formule specifiche della procedura, un bootstrap coerente o una stima congiunta di massima verosimiglianza sotto il modello completo. La massima verosimiglianza può sfruttare più struttura, ma è anche più dipendente dalle ipotesi distributive mantenute.

È fortemente desiderabile una variabile in z che influenzi la selezione ma non entri direttamente nell’esito, con una giustificazione economica credibile. Senza un’esclusione, l’identificazione può dipendere soprattutto dalla non linearità del rapporto di Mills e dalla normalità, risultando fragile. Inserire una variabile nella selezione ed escluderla dall’esito solo perché il suo coefficiente non è significativo non costituisce una valida strategia. L’esclusione deve essere sostenuta dal meccanismo economico e dalle informazioni disponibili.

Selezione, dati mancanti e causalità

Una correzione di selezione non risolve automaticamente l’endogeneità di un trattamento incluso nell’equazione dell’esito. Può correggere un particolare meccanismo di osservazione sotto ipotesi forti, lasciando irrisolti confondimento, simultaneità o errori di misura. Analogamente, un coefficiente del rapporto di Mills non significativo non dimostra che la selezione sia innocua: il test può avere scarsa potenza o il modello può rappresentare male la selezione. Il risultato va letto insieme alla plausibilità del sistema, non come certificazione generale.

Se la mancanza dell’esito è spiegata soltanto da covariate osservate, ponderazione per probabilità di osservazione o imputazione possono essere appropriate sotto ipotesi di ignorabilità e positività. Se dipende ulteriormente dall’esito non osservato, occorrono restrizioni, dati aggiuntivi o analisi di sensibilità. La scelta fra questi metodi e un modello di selezione dipende dal meccanismo, non da una graduatoria universale. È utile distinguere risultati identificati dai dati e conclusioni ottenute assumendo una particolare dipendenza non osservata.

Esercizio svolto: riconoscere il processo

Un archivio registra tutti i clienti, ma sostituisce ogni spesa superiore a 1.000 euro con 1.000: si tratta di censura superiore. Un secondo archivio contiene soltanto clienti con spesa superiore a 1.000 euro: si tratta di troncamento rispetto alla popolazione dei clienti. Un terzo registra la spesa soltanto per chi risponde al questionario: si tratta di selezione nella risposta, la cui innocuità dipende dal meccanismo. Applicare la stessa regressione ai tre archivi ignora differenze essenziali. La prima domanda non è quale comando usare, ma quali informazioni siano note per le unità non osservate esattamente.

Il tempo fino a un evento

L’analisi di durata studia il tempo che intercorre fra un’origine definita e un evento: uscita dalla disoccupazione, chiusura di un’impresa, rimborso anticipato di un contratto o acquisto successivo. Occorre precisare origine del tempo, evento, unità di misura e popolazione a rischio. Una persona già occupata non appartiene allo stesso insieme a rischio di uscita dalla disoccupazione. Un’impresa osservata dal quinto anno di vita non è equivalente a un’impresa seguita dalla nascita. Queste definizioni determinano quali confronti siano validi.

Il tempo T è non negativo e può essere osservato esattamente, censurato o noto soltanto entro un intervallo. La distribuzione delle durate è spesso asimmetrica e l’informazione incompleta è parte ordinaria del problema. Eliminare le unità che non hanno ancora sperimentato l’evento seleziona durate brevi e altera la distribuzione. Trattare la durata osservata fino alla fine dell’indagine come se l’evento fosse avvenuto in quel momento produce un altro errore. L’analisi di sopravvivenza utilizza esplicitamente l’informazione che l’evento non si è verificato fino a una certa data.

Sopravvivenza, densità e rischio istantaneo

La funzione di sopravvivenza è S(t) = P(T > t) = 1 − F(t). Nel caso continuo, la densità è f(t) = −S′(t). Il rischio istantaneo, o hazard, è h(t) = limΔ→0 P(t ≤ T < t + Δ|T ≥ t)/Δ = f(t)/S(t). È un tasso condizionato all’essere ancora a rischio, non una probabilità. Può superare uno quando è espresso in una certa unità temporale, perché una densità di eventi per unità di tempo non è limitata nello stesso modo di una probabilità.

Il rischio cumulato è H(t) = ∫₀^th(s)ds = −ln S(t), quindi S(t) = exp[−H(t)]. La probabilità di un evento entro t è 1 − exp[−H(t)]. Per un intervallo breve, h(t)Δ approssima la probabilità condizionata di evento nell’intervallo, ma non è un’uguaglianza generale per intervalli lunghi. Questa distinzione evita di interpretare un hazard ratio come un aumento percentuale diretto della probabilità cumulativa. La stessa intensità può produrre probabilità diverse a seconda dell’orizzonte e del rischio iniziale.

Censura a destra e verosimiglianza

Si osservano Y = min(T,C) e δ = 1(T ≤ C), dove C è il tempo di censura. Sotto indipendenza condizionata del meccanismo di censura e le condizioni pertinenti, il contributo informativo sul modello di T è f(Y|x)ᵟS(Y|x)^1-ᵟ. Un evento osservato contribuisce con la densità; una censura contribuisce con la probabilità di sopravvivere almeno fino al tempo osservato. La formula conserva informazione dalle unità senza evento invece di eliminarle o attribuire loro un evento fittizio.

L’indipendenza della censura non è automatica. Se persone con migliori prospettive smettono di rispondere prima di trovare lavoro, l’abbandono può essere collegato alla durata non osservata. Condizionare su covariate può rendere più plausibile l’indipendenza, ma non la dimostra. Analisi di sensibilità, modelli della censura o ponderazione possono essere necessari. La fine amministrativa comune dello studio è spesso più semplice da trattare di un abbandono individuale informativo, purché l’origine e il periodo di osservazione siano definiti correttamente.

Entrata ritardata e censura per intervallo

Con entrata ritardata al tempo a, una unità viene osservata soltanto se T > a. Il suo contributo deve essere condizionato alla sopravvivenza fino all’ingresso, dividendo per S(a|x), secondo il processo di osservazione. I risk set devono includere l’unità soltanto dopo l’ingresso. Ignorare questo aspetto può sovrarappresentare soggetti con durate lunghe, perché chi ha avuto l’evento prima dell’osservazione non può entrare nel campione. L’entrata ritardata è una forma di troncamento a sinistra, distinta dalla censura a sinistra.

Se l’evento è noto soltanto fra due visite, con T nell’intervallo (a,b], il contributo è S(a|x) − S(b|x). Sostituire il tempo con il punto medio può essere una comoda approssimazione, ma non rappresenta tutta l’informazione e può distorcere la dinamica. La frequenza delle rilevazioni influisce quindi sul modello appropriato. Durate misurate in mesi o settimane possono richiedere una formulazione discreta anziché una densità continua trattata come se il tempo fosse osservato esattamente.

Stimatore di kaplan–meier

Lo stimatore Kaplan–Meier costruisce la sopravvivenza moltiplicando probabilità condizionate di non evento ai tempi osservati. Se t_j è un tempo di evento, d_j il numero di eventi in quel momento e n_j il numero a rischio immediatamente prima, allora Ŝ(t) = ∏t_j≤t(1 − d_j/n_j). Le unità censurate escono dal risk set dopo la censura ma non vengono contate come eventi. La curva è a gradini e diminuisce soltanto in corrispondenza di eventi osservati.

Un campione iniziale contiene dieci unità. Al primo tempo si verificano due eventi, quindi la sopravvivenza stimata diventa 0,8. Prima del secondo evento una delle otto unità rimaste viene censurata, lasciando sette unità a rischio. Se si verifica un evento, la sopravvivenza diventa 0,8 × 6/7 ≈ 0,6857. La censura non produce una discesa diretta, ma modifica il denominatore degli eventi successivi. Questo è il modo in cui l’informazione incompleta entra nella stima.

Incertezza e confronti tra curve

La formula di Greenwood stima la varianza di Ŝ(t) come Ŝ(t)²∑t_j≤t d_j/[n_j(n_j − d_j)], nelle condizioni usuali e quando i termini sono definiti. Trasformazioni, per esempio log-log, possono produrre intervalli che rispettano meglio i limiti [0,1]. La coda della curva può essere molto imprecisa quando rimangono poche unità a rischio. Riportare il numero a rischio in tempi selezionati aiuta a evitare interpretazioni eccessive di differenze basate su pochissime osservazioni.

Il test log-rank confronta eventi osservati e attesi nei diversi gruppi lungo i risk set, sotto una nulla di uguali funzioni di rischio e le condizioni pertinenti. È particolarmente naturale rispetto ad alternative con rischi proporzionali. Curve che si incrociano possono richiedere confronti diversi o una descrizione più articolata. Un test non significativo non dimostra equivalenza delle durate. Anche il confronto descrittivo fra gruppi non è automaticamente causale: selezione e confondimento possono spiegare differenze nelle curve.

Modello di cox a rischi proporzionali

Il modello di Cox specifica h(t|x) = h₀(t)exp(x′β), lasciando non parametrica la funzione di rischio di base h₀(t). Per due profili che differiscono di una unità in x_j, il rapporto dei rischi è exp(β_j), mantenendo fisse le altre covariate. Il rapporto è costante nel tempo nella specificazione proporzionale. Non è un rapporto di durate medie né un rapporto di probabilità cumulative. Il modello collega le covariate all’intensità istantanea condizionata alla permanenza nel risk set.

Con un solo evento a ciascun tempo, il contributo alla verosimiglianza parziale dell’unità i che ha l’evento in t_i è exp(x_i′β)/∑_j∈R(t_i)exp(x_j′β). La funzione di base si cancella nel confronto interno al risk set. Eventi simultanei richiedono metodi per i ties, come approssimazioni di Breslow o Efron oppure un trattamento esatto in contesti appropriati. L’idea del modello e della verosimiglianza parziale deriva dal contributo di Cox, indicato nel riferimento R17; la stima di probabilità assolute richiede anche una stima della funzione di base.

Interpretare un hazard ratio

Se β_j = ln(1,5), il rischio istantaneo è moltiplicato per 1,5, a parità delle altre covariate e del tempo. Se l’evento è un’uscita favorevole da uno stato, il significato economico è diverso rispetto a un evento avverso. Il segno non può essere interpretato senza conoscere la definizione dell’evento. Inoltre, un hazard ratio di 1,5 non implica che la probabilità di evento entro un anno aumenti del 50%. Tale probabilità dipende da H₀(t) e dal profilo completo delle covariate.

Supponiamo che il rischio cumulato di base a un certo orizzonte sia 0,2. Per il profilo base, la probabilità di evento è 1 − exp(−0,2) ≈ 0,1813. Con moltiplicatore del rischio pari a due, diventa 1 − exp(−0,4) ≈ 0,3297. Il rischio istantaneo raddoppia, ma la probabilità cumulativa non passa a 0,3626. Il calcolo esplicito evita di confondere intensità, probabilità e variazione percentuale della probabilità.

Verificare proporzionalità e variabili nel tempo

La proporzionalità può essere esplorata con residui di Schoenfeld e interazioni con il tempo, insieme a grafici e conoscenza del processo. Un effetto che cambia nel tempo richiede una specificazione adeguata, stratificazione o un modello alternativo. Stratificare permette funzioni di base diverse fra gruppi, ma non stima un coefficiente comune di livello per la variabile usata come strato. La scelta deve corrispondere alla domanda e non essere guidata soltanto da un test preliminare.

Covariate che cambiano nel tempo devono essere assegnate agli intervalli in cui erano effettivamente note. Classificare una persona come trattata fin dall’inizio perché riceverà il trattamento in futuro può creare immortal time bias: per entrare nel gruppo trattato deve sopravvivere senza evento fino al trattamento. Il tempo precedente non può essere attribuito come esposizione già trattata. L’ordine temporale e la costruzione dei risk set sono quindi parti essenziali dell’identificazione, non semplici dettagli di formattazione dei dati.

Modelli a tempo accelerato e weibull

Un modello accelerated failure time, AFT, può scrivere ln(T) = x′β + σε. Una unità aggiuntiva di x_j moltiplica i quantili della durata per exp(β_j), sotto la struttura del modello. Il coefficiente ha quindi un’interpretazione di accelerazione o allungamento del tempo, diversa dall’hazard ratio. La distribuzione di ε determina una famiglia, come lognormale, loglogistica o Weibull. Non tutte le famiglie AFT hanno rischi proporzionali e non tutti i modelli PH hanno una rappresentazione AFT semplice.

La Weibull è un caso importante che ammette entrambe le rappresentazioni. Con S(t) = exp[−(t/λ)ᵖ], λ è una scala temporale e p una forma. Il rischio è (p/λ)(t/λ)ᵖ^-1: cresce se p > 1, è costante se p = 1 e diminuisce se p < 1. Se ln(λ) = x′βAFT, il coefficiente corrispondente nella componente proporzionale del rischio è −pβAFT. Non si possono confrontare i segni dei coefficienti PH e AFT senza considerare questa diversa parametrizzazione.

Rischi competitivi ed eterogeneità

Con rischi competitivi, un’unità può uscire dallo stato attraverso eventi diversi che si escludono come primo evento, per esempio trovare lavoro o abbandonare la forza lavoro. L’hazard specifico per causa k è λk(t), mentre la sopravvivenza complessiva dipende dalla somma degli hazard. L’incidenza cumulativa della causa k è Fk(t) = ∫₀^tS(s)λk(s)ds. Non coincide in generale con 1 − exp[−∫₀^tλk(s)ds], perché gli altri eventi sottraggono unità dal rischio di sperimentare la causa k.

Trattare gli altri eventi come censurati può essere parte della stima di un hazard specifico per causa, ma usare poi una Kaplan–Meier ordinaria per interpretare la probabilità cumulativa della causa può essere fuorviante. Modelli di subdistribution hazard, come Fine–Gray, rispondono a un oggetto diverso dal rischio istantaneo fra unità ancora senza alcun evento. Eterogeneità non osservata, o frailty, può inoltre generare selezione dinamica dei sopravviventi e modificare il rischio aggregato. La scelta del modello deve specificare quale probabilità o intensità si vuole descrivere.

Esercizio svolto: hazard costante

Una durata esponenziale ha tasso λ = 0,25 per mese. La durata media è 1/λ = quattro mesi, la sopravvivenza a tre mesi è exp(−0,75) ≈ 0,4724 e la probabilità di evento entro tre mesi è circa 0,5276. Il rischio istantaneo 0,25 non significa una probabilità esatta del 25% in ogni mese: la probabilità condizionata di evento nel mese successivo è 1 − exp(−0,25) ≈ 0,2212. L’approssimazione λΔ sarebbe buona per intervalli molto brevi, ma va distinta dal calcolo esatto per un mese intero.

Osservare le stesse unità nel tempo

Un panel segue N unità per T periodi, con osservazioni y_it e x_it. La doppia dimensione permette di distinguere variazione fra unità e variazione all’interno della stessa unità nel tempo. Un’impresa può avere produttività persistentemente alta rispetto alle altre e, contemporaneamente, variazioni annuali piccole. Una regressione che usa entrambe le fonti di variazione senza distinguerle può mescolare confronti economicamente diversi. Il panel offre informazione aggiuntiva, ma non garantisce automaticamente un confronto causale.

La chiave identificativa deve essere la coppia unità-periodo e non deve contenere duplicati non previsti. Cambiamenti di denominazione, fusioni, scissioni o riorganizzazioni possono rendere difficile seguire una stessa unità economica. Un panel sbilanciato può essere analizzato con molti stimatori standard, ma entrate e uscite devono essere comprese. Se le unità smettono di essere osservate a causa di shock dell’esito, la disponibilità delle osservazioni può essere informativa. La dimensione temporale non elimina la selezione del campione.

Modello a componente individuale

Un modello statico di base è y_it = α_i + x_it′β + u_it. La componente α_i raccoglie caratteristiche non osservate costanti nel tempo: abilità persistente, cultura organizzativa, posizione geografica invariata o qualità stabile della gestione. Gli effetti fissi consentono che α_i sia correlata con i regressori. L’obiettivo è usare variazioni della stessa unità per eliminare questa componente. Non vengono invece eliminate caratteristiche non osservate che cambiano nel tempo e sono correlate con x_it.

Il termine «fisso» non significa necessariamente che α_i non possa essere pensata come una realizzazione casuale in una popolazione. Nel confronto econometrico, indica soprattutto che la sua relazione con i regressori non viene vincolata a essere nulla e che viene trattata come componente specifica da rimuovere o stimare. L’interpretazione non va ridotta a una scelta filosofica fra parametri casuali e non casuali: contano le condizioni di ortogonalità e la fonte della variazione utilizzata.

Trasformazione within

Facendo la media temporale per unità si ottiene ȳ_i = α_i + x̄_i′β + ū_i. Sottraendo questa equazione dall’osservazione originale, la componente α_i scompare:

OLS sui dati trasformati restituisce lo stimatore within, purché i regressori trasformati abbiano rango sufficiente. Il coefficiente usa esclusivamente la covariazione delle deviazioni dalle medie individuali. Con una sola covariata, β̂FE = ∑_i∑_t(x_it − x̄_i)(y_it − ȳ_i)/∑_i∑_t(x_it − x̄_i)². Le differenze permanenti fra le unità non contribuiscono direttamente alla pendenza.

Una variabile costante nel tempo per ogni unità ha x_it − x̄_i = 0 e non è separatamente identificata dagli effetti individuali. Se il sesso registrato, la regione o una caratteristica originaria non cambiano, il loro effetto di livello non può essere stimato insieme a effetti fissi individuali senza ulteriori struttura o variazione. Il software può eliminare tali colonne, ma il motivo è informativo, non tecnico. Interazioni con variabili che cambiano nel tempo possono invece essere identificate se generano variazione within sufficiente.

Equivalenza con gli indicatori individuali

La regressione con una dummy per unità, usando una parametrizzazione senza collinearità, produce le stesse pendenze del within nel modello lineare. Questa procedura è detta least squares dummy variables, LSDV. L’equivalenza segue dal teorema FWL: residualizzare rispetto agli indicatori individuali significa sottrarre le medie per unità. Per grandi N è spesso più efficiente assorbire gli effetti anziché costruire esplicitamente migliaia di colonne. L’algoritmo cambia, ma il confronto statistico rappresentato dalle pendenze rimane lo stesso.

Le stime degli effetti individuali possono essere ricostruite come α̂_i = ȳ_i − x̄_i′β̂, secondo la normalizzazione. Con T piccolo, ogni α_i è stimata da poche osservazioni e può essere molto imprecisa. La consistenza delle pendenze statiche per N crescente e T fisso non implica che ciascun effetto individuale sia stimato consistentemente. La distinzione diventa importante quando si vuole classificare unità in base ai loro effetti stimati o usarli per previsioni individuali: tali operazioni richiedono di considerare l’incertezza e possibili procedure di shrinkage.

Esogeneità stretta nel panel statico

Una condizione sufficiente standard è E(u_it|x_i1,…,x_iT,α_i) = 0 per ogni t. L’errore corrente deve avere media zero condizionatamente all’intera storia dei regressori dell’unità. È più forte dell’assenza di correlazione con il solo regressore contemporaneo. La trasformazione within usa la media temporale, che contiene regressori di tutti i periodi; perciò una correlazione fra u_it e x_i,_t+1 può contaminare il confronto trasformato. La sequenza temporale delle decisioni è essenziale per giudicare la plausibilità dell’ipotesi.

Supponiamo che un’impresa aumenti l’investimento l’anno successivo in risposta a uno shock positivo inatteso dei ricavi di quest’anno. Anche se l’investimento corrente è deciso prima dello shock corrente, l’investimento futuro dipende da u_it. L’esogeneità stretta può quindi fallire. Effetti fissi non correggono automaticamente questa retroazione. Possono essere necessari strumenti, modelli dinamici o condizioni di momento che sfruttino soltanto informazioni temporalmente valide. Dire «ho controllato per effetti fissi» non è una giustificazione completa dell’esogeneità.

Esempio numerico within

Due unità sono osservate in due periodi. Per A, x passa da 1 a 2 e y da 2 a 4; per B, x passa da 3 a 4 e y da 10 a 12. Le medie individuali di x sono 1,5 e 3,5, quelle di y sono 3 e 11. Gli scarti within di x sono −0,5 e 0,5 per entrambe; quelli di y sono −1 e 1. Il numeratore della pendenza within è 2 e il denominatore è 1, quindi β̂FE = 2.

La regressione pooled sui quattro punti ha x̄ = 2,5 e ȳ = 7, Sxx = 5 e Sxy = 18, quindi pendenza 3,6. La differenza deriva dai livelli persistentemente maggiori dell’unità B, associati anche a x più elevata. Il within elimina questa componente e usa i cambiamenti interni, entrambi coerenti con una pendenza due. L’esempio illustra il meccanismo, ma non dimostra che il within sia sempre causale: uno shock variabile nel tempo correlato con il cambiamento di x potrebbe ancora alterare la pendenza.

Prime differenze

Sottraendo l’osservazione precedente si ottiene Δy_it = Δx_it′β + Δu_it. Anche questa trasformazione elimina α_i. Con T = 2, prime differenze e within producono le stesse pendenze. Con più periodi, attribuiscono pesi diversi ai cambiamenti e possono avere precisione differente. Se gli errori in livelli sono indipendenti e omoschedastici, il within sfrutta efficientemente la struttura classica, mentre le differenze introducono correlazione fra errori adiacenti perché condividono un termine u_it.

Se invece gli errori in livelli sono fortemente persistenti, la differenziazione può avere vantaggi in certe strutture. Non esiste una scelta universale basata soltanto sul numero dei periodi. Le differenze possono amplificare l’importanza relativa degli errori di misura: quando la variabile vera cambia poco e il rumore di registrazione non è persistente, Δx può contenere molto rumore rispetto al segnale. La trasformazione che elimina eterogeneità permanente può quindi peggiorare un altro problema informativo.

Effetti temporali e due vie

Un modello a due vie scrive y_it = α_i + λ_t + x_it′β + u_it. Gli effetti λ_t assorbono shock comuni a tutte le unità in ciascun periodo. Nel panel bilanciato, una trasformazione doppia sottrae media individuale e media temporale e aggiunge la media complessiva. Nei panel sbilanciati la semplice formula può non coincidere con l’esatta proiezione sugli indicatori, perciò è preferibile un algoritmo di assorbimento o una regressione con effetti correttamente implementati. La disponibilità di righe non deve essere trattata come se il pannello fosse rettangolare quando non lo è.

Una variabile uguale per tutte le unità in un periodo è collineare con gli effetti temporali e non può essere separatamente stimata nel medesimo modello. Analogamente, una caratteristica permanente individuale è assorbita da α_i. L’identificazione di β richiede variazione residua dopo entrambe le dimensioni. L’aggiunta di trend individuali può eliminare ulteriori componenti lente, ma può anche lasciare pochissima variazione identificante e cambiare l’estimando. Più effetti assorbiti non significano automaticamente migliore identificazione.

Errori standard e dipendenza

La trasformazione within genera dipendenza fra errori trasformati della stessa unità anche quando gli errori originali hanno una struttura semplice. In applicazioni è frequente consentire eteroschedasticità e correlazione seriale entro unità tramite clustering individuale, con un numero adeguato di unità indipendenti. Shock comuni residui possono richiedere ulteriori strutture, come clustering a due vie. Gli effetti temporali rimuovono una componente media comune, ma non necessariamente tutta la covarianza fra unità esposte in misura diversa allo stesso shock.

I gradi di libertà devono tenere conto degli effetti assorbiti secondo il metodo e la correzione adottati. Una regressione manuale sui dati demeaned che dichiara di aver stimato soltanto poche pendenze può produrre correzioni finite sbagliate se ignora i parametri assorbiti. Le implementazioni specifiche per panel aiutano, ma bisogna controllare le convenzioni. Riportare N, numero di periodi, osservazioni totali, effetti inclusi e livello di clustering rende chiara la struttura informativa dell’analisi.

Variabilità within, between e interpretazione

La componente between confronta medie di unità diverse; la componente within confronta deviazioni della stessa unità dalla propria media. Gli R² riportati dai software panel possono riferirsi a trasformazioni diverse e non essere direttamente comparabili al R² pooled. Un buon adattamento between può coesistere con poco adattamento within. Per valutare il coefficiente FE, interessa capire quanta variazione temporale del regressore sia disponibile e in quali unità si concentri.

Con un trattamento che cambia stato, le unità sempre trattate o mai trattate non forniscono direttamente la stessa variazione within delle unità che cambiano. Possono comunque contribuire attraverso altri termini e confronti del modello, ma l’informazione sull’effetto è spesso concentrata in specifici cambiamenti. Con effetti eterogenei e adozione in tempi diversi, il coefficiente a due vie può avere una struttura di pesi non intuitiva. La presenza di effetti fissi non basta a interpretarlo come una semplice media degli effetti causali; il disegno differenze nelle differenze richiede un’analisi dedicata.

Esercizio svolto: che cosa viene eliminato?

Un panel di lavoratori contiene salario, anni di istruzione invariati, esperienza e motivazione non osservata. Gli effetti fissi individuali eliminano una componente di motivazione costante e assorbono il livello invariato di istruzione. Non consentono quindi di stimare separatamente il coefficiente di quel livello di istruzione. Se la motivazione cambia dopo uno shock familiare e modifica sia ore di formazione sia salario, il nuovo confondimento non viene eliminato. Il vantaggio del panel è preciso: controlla componenti permanenti attraverso confronti interni, non ogni caratteristica non osservata presente in qualunque momento.

Il modello a effetti casuali

Nel modello y_it = α + x_it′β + a_i + u_it, gli effetti casuali assumono una relazione sufficientemente restrittiva fra a_i e i regressori, tipicamente E(a_i|x_i1,…,x_iT) = 0. La componente permanente è quindi incorrelata con la storia delle covariate nella formulazione standard. Con ulteriori ipotesi sulle varianze e sulla dipendenza, si può sfruttare sia la variazione within sia quella between. Il possibile guadagno di precisione deriva proprio da informazioni che il within elimina per evitare la correlazione con a_i.

L’ipotesi non è innocua: imprese con qualità gestionale persistentemente alta possono scegliere investimenti maggiori; persone con abilità permanente maggiore possono acquisire più istruzione. Se queste caratteristiche entrano in a_i, l’ortogonalità con i regressori è dubbia. RE non dovrebbe essere scelto soltanto perché permette di stimare una variabile costante nel tempo o produce errori standard più piccoli. La possibilità di stimare quel coefficiente deriva da restrizioni aggiuntive, non da nuova informazione osservata.

Covarianza a componenti di errore

Assumendo Var(a_i) = σa², Var(u_it) = σu² e assenza di correlazione fra componenti e fra unità, la covarianza del vettore degli errori di una unità è Ω_i = σu²I_t + σa²11′. Due periodi della stessa unità condividono a_i e hanno covarianza σa². La correlazione intraclasse è σa²/(σa² + σu²). La struttura descrive una dipendenza persistente semplice, non ogni possibile autocorrelazione temporale. Se u_it è a sua volta serialmente correlato, la matrice RE elementare è incompleta.

GLS usa Ω_i^-1 per combinare informazione dei periodi. Le componenti di varianza sono normalmente stimate, producendo GLS fattibile. La qualità della ponderazione dipende dalla specificazione e dalle condizioni dei momenti. Anche quando la matrice di lavoro è approssimata, una covarianza cluster-robust può essere utile per l’inferenza se le condizioni sulla media rimangono valide. Non corregge però una correlazione fra a_i e x_it che rende il coefficiente inconsistente rispetto al modello strutturale.

Quasi-demeaning

Nel panel bilanciato standard, la trasformazione RE può essere scritta y_it − θȳ_i e x_it − θx̄_i, con:

Anche la costante viene trasformata in 1 − θ. Se σa² = 0, θ = 0 e si torna alla regressione pooled. Se la componente permanente è molto importante rispetto al rumore idiosincratico, θ si avvicina a uno e la trasformazione si avvicina al within. Nel panel sbilanciato il coefficiente può dipendere dal numero Ti di periodi osservati per unità, secondo la struttura assunta.

Con σu² = 4, σa² = 1 e T = 4, θ = 1 − √(4/8) ≈ 0,2929. La trasformazione sottrae circa il 29,3% della media individuale, non la media completa. Rimane quindi informazione between. Il valore non è una misura della credibilità dell’esogeneità: dipende dalle componenti di varianza. Un θ vicino a uno non dimostra che RE sia valido quando a_i è correlata con i regressori; modifica soltanto il peso attribuito alle fonti di variazione.

Stimatore between e pooled

La regressione between usa ȳ_i = α + x̄_i′β + a_i + ū_i. Confronta unità con medie diverse e richiede ortogonalità appropriata fra x̄_i e a_i + ū_i per interpretare il coefficiente come β. Il pooled OLS usa tutte le righe senza modellare esplicitamente la componente permanente, e la sua covarianza ordinaria ignora la dipendenza entro unità. Anche quando il pooled è consistente sotto forti ipotesi di esogeneità, può essere inefficiente e avere errori standard sbagliati se trattato come un campione indipendente.

La differenza fra coefficienti within e between può riflettere eterogeneità permanente correlata, ma anche effetti economici diversi nel breve e nel lungo periodo, errori di misura o misspecificazione. Non bisogna attribuire automaticamente ogni scostamento alla sola correlazione fra a_i e x. Le due regressioni usano confronti diversi e possono stimare diversi parametri di proiezione quando l’effetto non è omogeneo. Il modello teorico deve spiegare perché ci si aspetta che le due fonti identifichino un unico coefficiente comune.

Il test di hausman

Il test di Hausman confronta uno stimatore consistente sotto un insieme più ampio di ipotesi con uno più efficiente sotto la nulla. Nel confronto classico FE-RE, la nulla include l’ortogonalità richiesta da RE e le condizioni che rendono appropriato il confronto di covarianze. La statistica usa la differenza d = β̂FE − β̂RE e, nella forma classica, la matrice Var(β̂FE) − Var(β̂RE). Sotto regolarità, la forma quadratica ha un riferimento chi-quadrato con rango pertinente.

La formula semplice può produrre matrici non positive o risultati problematici quando si mescolano covarianze robuste non coerenti con la derivazione, campioni differenti o parametri non confrontabili. Non bisogna interpretare un numero negativo come prova dell’assenza di differenze. Esistono formulazioni tramite regressioni ausiliarie, momenti o correlated random effects che consentono test robusti appropriati. Il non rifiuto non dimostra esogeneità: può riflettere poca potenza o effetti debolmente identificati. La scelta sostanziale non dovrebbe essere delegata interamente a un test preliminare.

Approccio di mundlak

L’approccio di Mundlak rappresenta la dipendenza della componente permanente dalle covariate attraverso le medie individuali: a_i = x̄_i′π + c_i, con una condizione di media nulla per c_i rispetto alla storia dei regressori. Sostituendo, y_it = α + x_it′β + x̄_i′π + c_i + u_it. Il modello include quindi sia i regressori variabili nel tempo sia le loro medie per unità. La formulazione è nota come correlated random effects, CRE, e rende esplicito quale forma di correlazione viene consentita.

Nel modello lineare standard con medie appropriate, il coefficiente della variazione temporale è strettamente collegato allo stimatore within, e nella parametrizzazione usuale sullo stesso panel bilanciato coincide con esso per le covariate variabili nel tempo. La verifica π = 0 offre un modo per esaminare la restrizione RE usando un test congiunto e una covarianza adeguata. Non è una prova dell’assenza di ogni forma di dipendenza: la rappresentazione tramite medie impone a sua volta una struttura. Il contributo originale di Mundlak è indicato nel riferimento R18.

Parametrizzazione within-between

Un modo trasparente di scrivere il modello è y_it = α + (x_it − x̄_i)′βW + x̄_i′βB + errore. βW descrive il confronto interno; βB il confronto fra medie. Nella formulazione di Mundlak precedente, βW = β e βB = β + π. Il test π = 0 equivale quindi a verificare l’uguaglianza dei coefficienti within e between nella struttura specificata. Questa parametrizzazione facilita la comunicazione perché evita di attribuire lo stesso significato a variazioni temporali e differenze persistenti.

L’uguaglianza può non essere una previsione economica ragionevole. Un aumento temporaneo del reddito e un reddito permanentemente più alto possono influenzare il consumo in modi diversi. In tal caso la differenza fra βW e βB può riflettere una distinzione teorica, non soltanto un errore di stima. Il modello deve chiarire se il parametro desiderato è una risposta a shock transitori, una relazione fra livelli permanenti o un effetto causale specifico. La scomposizione statistica aiuta a formulare la domanda, ma non la determina da sola.

Variabili costanti nel tempo

CRE può includere regressori invarianti nel tempo, che FE assorbe. Tuttavia, il loro coefficiente è identificato attraverso differenze fra unità e richiede condizioni sulla relazione con la componente permanente residua. Includere le medie delle covariate variabili non rende automaticamente esogena una caratteristica permanente. Se una variabile invariata è correlata con aspetti non osservati non rappresentati dalle medie, il coefficiente può rimanere distorto. La maggiore flessibilità di CRE deve essere descritta con precisione, senza presentarla come una soluzione universale alla correlazione non osservata.

Nel panel sbilanciato, il processo che determina i periodi osservati può influenzare le medie individuali e richiedere estensioni, controlli della struttura del campione o condizioni specifiche. Una media basata su due periodi non ha lo stesso contenuto di una basata su dieci se l’assenza è informativa. Il confronto FE-RE-CRE dovrebbe essere effettuato su un campione comune e con definizioni coerenti delle medie. Differenze di risultati dovute a osservazioni escluse non devono essere attribuite esclusivamente allo stimatore.

Previsione per unità osservate e nuove

Per una unità già osservata, si può utilizzare informazione sulla sua componente permanente per prevedere nuovi periodi. In un modello RE, una previsione della componente a_i può essere una media ridotta verso zero, con intensità di shrinkage legata a T e alle varianze. Per una nuova unità senza storia non si dispone della stessa informazione individuale e la previsione deve integrare o porre a media la componente non osservata, secondo l’oggetto. Le due situazioni hanno incertezza diversa e vanno validate separatamente.

Una validazione casuale delle righe può collocare la stessa unità sia nel training sia nel test, misurando soprattutto la previsione di unità conosciute. Per valutare nuove unità occorre una divisione per identificativo. Per prevedere il futuro serve anche rispettare l’ordine temporale. La scelta del disegno di validazione può cambiare la prestazione apparente più della scelta fra FE e RE. Il modello deve essere valutato rispetto al suo uso effettivo, non a una divisione dei dati comoda ma non pertinente.

Modelli non lineari con effetti individuali

L’equivalenza semplice fra dummies e trasformazione within è propria del modello lineare. Nei modelli non lineari, stimare molti effetti individuali con T piccolo può generare il problema dei parametri incidentali, che può distorcere anche le pendenze. Alcuni modelli ammettono verosimiglianze condizionate che eliminano gli effetti, come il logit condizionato in contesti appropriati; altri richiedono correzioni o ipotesi di effetti casuali. Non si può applicare la sottrazione delle medie a un esito binario e dichiarare di aver ottenuto un logit FE equivalente.

Il logit condizionato usa informazione delle unità con variazione dell’esito e non identifica direttamente effetti delle covariate invarianti. Le probabilità individuali assolute e gli effetti marginali possono richiedere ulteriore informazione sugli effetti non osservati. Nei modelli RE non lineari si integra rispetto a una distribuzione della componente individuale, che è un’ipotesi aggiuntiva. La scelta deve distinguere interesse per parametri condizionati, probabilità medie e distribuzione dell’eterogeneità.

Esercizio svolto: leggere mundlak

Si stima y_it = α + 0,4x_it + 0,7x̄_i + errore. Il coefficiente within è 0,4. Riscrivendo x_it = (x_it − x̄_i) + x̄_i, si ottiene y_it = α + 0,4(x_it − x̄_i) + 1,1x̄_i + errore. Il coefficiente between è quindi 1,1, non 0,7. Quest’ultimo rappresenta la differenza fra between e within nella parametrizzazione iniziale. Per verificare la restrizione RE in questo schema si testa il coefficiente 0,7 contro zero, usando la sua incertezza, non si confrontano informalmente i valori 0,4 e 0,7 come se fossero due effetti dello stesso tipo.

Persistenza dell’esito e dinamica

Un panel dinamico include valori passati dell’esito, per esempio y_it = ρy_i,_t-1 + x_it′β + α_i + u_it. Il coefficiente ρ rappresenta persistenza condizionata nella specificazione: esiti elevati in un periodo possono essere associati a esiti elevati nel successivo anche dopo aver considerato le covariate e l’effetto individuale. La dinamica può riflettere costi di aggiustamento, abitudini, vincoli o processi di accumulazione. Non va confusa con la sola eterogeneità permanente: entrambe possono produrre persistenza osservata e devono essere distinte dal modello.

Se |ρ| < 1 e le altre condizioni rendono sensato un equilibrio stabile, un aumento permanente unitario di una covariata con coefficiente β_j ha moltiplicatore di lungo periodo β_j/(1 − ρ). L’effetto immediato è β_j; gli effetti successivi si propagano attraverso ρ. Se ρ è vicino a uno, il rapporto può essere grande e molto impreciso. L’incertezza deve includere la covarianza fra β̂_j e ρ̂. Un coefficiente di persistenza stimato senza affrontare la distorsione dinamica può alterare drasticamente il moltiplicatore di lungo periodo.

Perché il pooled OLS è problematico

L’esito ritardato contiene la componente individuale α_i e risulta quindi correlato con l’errore composito α_i + u_it del modello pooled. Anche se u_it è serialmente incorrelato, la presenza dell’eterogeneità permanente rende inappropriata l’esogeneità del ritardo rispetto all’errore composito. Il pooled può confondere persistenza vera ed eterogeneità stabile. Inserire semplicemente y_i,_t-1 in una regressione con errori standard cluster non risolve questa correlazione: la covarianza robusta non elimina la distorsione della pendenza.

Sottrarre le medie individuali elimina α_i, ma crea un nuovo problema. Il regressore trasformato y_i,_t-1 − ȳ_i,_-1 è correlato con u_it − ū_i perché le medie temporali contengono errori collegati ai valori dell’esito. L’esogeneità stretta del modello statico non è soddisfatta dal ritardo dell’esito. Con N crescente e T fisso, la distorsione del within dinamico non scompare in generale. Questo fenomeno è noto come distorsione di Nickell.

Dimensione temporale e distorsione

La distorsione dinamica del within è spesso di ordine 1/T in condizioni regolari, ma il valore esatto dipende dal modello, dalle condizioni iniziali e dai regressori. Non è una costante universale che si possa sottrarre automaticamente. Quando T è ampio, metodi con correzione della distorsione o approssimazioni basate su una diversa asintotica possono essere appropriati. Quando T è piccolo e N grande, strumenti interni e GMM sono una strategia importante, purché le condizioni di momento siano credibili.

Il semplice confronto fra pooled e FE può essere una diagnostica descrittiva, ma non fornisce automaticamente limiti validi entro cui deve trovarsi il parametro. Regole informali sui segni della distorsione dipendono da ipotesi specifiche. È preferibile esplicitare il processo dinamico, la correlazione seriale ammessa e la classificazione temporale delle covariate. La scelta dello stimatore deve seguire queste condizioni e la struttura N-T, non soltanto la disponibilità di un comando GMM.

Differenze prime e strumenti ritardati

Differenziando si ottiene Δy_it = ρΔy_i,_t-1 + Δx_it′β + Δu_it. La componente α_i scompare, ma Δy_i,_t-1 contiene u_i,_t-1, mentre Δu_it = u_it − u_i,_t-1. Esiste quindi una correlazione meccanica fra regressore ed errore differenziati. Sotto assenza di correlazione seriale degli errori in livelli e appropriate condizioni iniziali, valori di y datati t − 2 o prima possono essere ortogonali a Δu_it e utilizzati come strumenti.

Per t = 3, y_i1 può strumentare Δy_i2. Per t = 4, y_i1 e y_i2 possono fornire ulteriori condizioni, se valide. La matrice degli strumenti sfrutta quindi restrizioni specifiche per periodo. Il difference GMM di Arellano–Bond combina queste condizioni, come discusso nel riferimento R16. La validità non deriva dalla semplice anzianità dello strumento: se gli errori in livelli hanno una correlazione seriale incompatibile, anche alcuni ritardi possono essere invalidi e occorre modificare le condizioni.

Covariate strettamente esogene, predeterminate ed endogene

Una covariata strettamente esogena è ortogonale agli errori di tutti i periodi secondo la condizione mantenuta. Una covariata predeterminata può dipendere da errori passati ma non da quelli contemporanei o futuri. Una covariata endogena può essere correlata con l’errore contemporaneo e richiede strumenti più arretrati, sotto le ipotesi temporali pertinenti. Questa classificazione determina quali livelli ritardati possono essere ortogonali all’errore differenziato. Non è una scelta puramente tecnica: descrive il momento in cui le decisioni vengono prese e quali shock sono già noti.

Se un investimento dell’anno t viene deciso dopo aver osservato lo shock produttivo dello stesso anno, trattarlo come predeterminato può essere sbagliato. Se viene deciso all’inizio dell’anno ma reagisce agli shock precedenti, la stretta esogeneità può essere troppo forte. Ogni variabile dovrebbe avere una giustificazione temporale esplicita. Inserire automaticamente tutti i ritardi disponibili come strumenti, senza distinguere queste categorie, può aggiungere condizioni invalide anche quando il software restituisce una stima e un test J apparentemente rassicurante.

Test di autocorrelazione dei residui

Se gli errori u_it in livelli sono serialmente incorrelati, gli errori differenziati hanno normalmente autocorrelazione di primo ordine: Δu_it e Δu_i,_t-1 condividono u_i,_t-1 con segno opposto. Un test AR(1) sui residui differenziati può quindi rifiutare anche quando le condizioni del difference GMM sono corrette. Non è automaticamente un segnale di fallimento. L’assenza di autocorrelazione di secondo ordine nei residui differenziati è invece una diagnostica importante per le consuete condizioni che usano ritardi di due periodi.

Un rifiuto AR(2) mette in discussione quelle condizioni di momento, ma un non rifiuto non prova che ogni strumento sia valido. Il test può avere poca potenza e altre violazioni possono non manifestarsi come correlazione di secondo ordine. È necessario leggere congiuntamente struttura dei ritardi, ipotesi sugli shock, test di sovraidentificazione e sensibilità a insiemi di strumenti più parsimoniosi. Le diagnostiche non devono essere trasformate in una sequenza meccanica che certifica il modello quando alcuni p-value superano 0,05.

Strumenti deboli con serie persistenti

Quando y è molto persistente, i livelli ritardati possono spiegare poco le variazioni Δy. Il difference GMM può allora soffrire di strumenti deboli, con stime imprecise e distorsioni finite rilevanti. La disponibilità di molti livelli passati non garantisce una forte relazione con la variazione corrente. Anche la varianza della componente individuale e le condizioni iniziali influenzano la forza delle condizioni. Il problema è informativo, non risolvibile semplicemente aumentando il numero di colonne strumentali.

Il system GMM combina equazioni in differenze ed equazioni in livelli, usando differenze ritardate come strumenti per alcune equazioni in livelli. Le condizioni aggiuntive richiedono restrizioni sulla relazione fra differenze iniziali e componente individuale, spesso motivate da ipotesi di stazionarietà della media o condizioni iniziali compatibili. Non seguono automaticamente dalle sole condizioni di Arellano–Bond. Il contributo di Blundell e Bond è riportato nel riferimento R19. L’eventuale miglioramento di precisione è ottenuto assumendo ulteriore informazione strutturale.

Condizioni del system GMM

Una condizione illustrativa per l’equazione in livelli è E[Δy_i,_t-1(α_i + u_it)] = 0. Richiede che la differenza ritardata non sia correlata con l’effetto individuale né con l’errore corrente, secondo le ipotesi. Se unità con α_i maggiore seguono sistematicamente traiettorie di crescita diverse nelle condizioni iniziali, la restrizione può fallire. Un sistema che sembra numericamente più stabile può quindi essere inconsistente se tali condizioni non sono plausibili.

Test su sottoinsiemi di momenti, come differenze di statistiche Hansen nelle condizioni pertinenti, possono fornire diagnostiche delle restrizioni aggiuntive. Dipendono però dalla validità delle condizioni mantenute e possono essere poco informativi con troppi strumenti. La discussione delle condizioni iniziali non dovrebbe essere sostituita da un solo p-value. È utile confrontare risultati con difference GMM, system GMM, insiemi di ritardi limitati e altre procedure motivate dalla struttura del panel.

Proliferazione degli strumenti

Nel GMM panel il numero di strumenti può crescere rapidamente con T. Troppi strumenti possono adattare eccessivamente i regressori endogeni, peggiorare il comportamento finito e indebolire la capacità dei test di sovraidentificazione di rilevare violazioni. Un p-value Hansen vicino a uno non è necessariamente un segnale di modello eccellente. Può riflettere una matrice di momenti troppo ricca rispetto al numero di unità indipendenti. Il numero degli strumenti deve essere riportato insieme a N e T.

Strategie di parsimonia includono limitare l’intervallo dei ritardi, comprimere la matrice degli strumenti tramite collapsing e selezionare condizioni motivate. Il fatto che il numero degli strumenti sia inferiore a N è una prudenza pratica, non una garanzia teorica universale. La sensibilità a diverse scelte ragionevoli è informativa. Non si dovrebbe cercare l’insieme di strumenti che produce il coefficiente desiderato e test non significativi, omettendo gli altri risultati. La costruzione degli strumenti fa parte del disegno da giustificare.

Uno stadio, due stadi e correzioni finite

GMM a uno stadio usa una matrice di ponderazione iniziale, mentre quello a due stadi stima la covarianza dei momenti dai residui e aggiorna la ponderazione. In teoria il secondo può essere più efficiente sotto le condizioni appropriate. In piccoli campioni, gli errori standard di due stadi possono essere distorti verso il basso se non si considera adeguatamente l’incertezza della ponderazione stimata. La correzione di Windmeijer affronta questo problema in un quadro specifico, indicato nel riferimento R20.

Una covarianza corretta non rende validi strumenti deboli o restrizioni sbagliate. Occorre distinguere la correzione dell’inferenza finita dall’identificazione del coefficiente. Anche gli effetti temporali devono essere considerati quando shock comuni possono violare l’indipendenza fra unità. Un panel con pochi periodi e forti shock aggregati richiede cautela nella scelta dell’asintotica e della covarianza. Le numerose opzioni del software rappresentano ipotesi e approssimazioni, non semplici preferenze estetiche.

Esercizio svolto: moltiplicatore di lungo periodo

Un modello dinamico stima ρ = 0,6 e β = 0,8 per una covariata. Un aumento permanente unitario produce un effetto immediato di 0,8 e un effetto di lungo periodo di 0,8/(1 − 0,6) = 2. Dopo due periodi, l’effetto cumulato del cambiamento permanente è 0,8(1 + 0,6) = 1,28; dopo tre è 0,8(1 + 0,6 + 0,36) = 1,568. La sequenza converge a due. L’interpretazione richiede stabilità e identificazione di entrambi i coefficienti. Se ρ è stimato con distorsione o grande incertezza, il rapporto di lungo periodo può essere molto meno affidabile dell’effetto immediato.

Esiti potenziali e controfattuali

Per ogni unità i si definiscono Y_i(1), l’esito sotto trattamento, e Y_i(0), l’esito senza trattamento. L’effetto individuale è τ_i = Y_i(1) − Y_i(0). Si osserva soltanto Y_i = D_iY_i(1) + (1 − D_i)Y_i(0), dove D_i indica il trattamento ricevuto. L’altro esito è controfattuale. Il problema fondamentale non è una mancanza accidentale di una cella del dataset: la stessa unità, nello stesso contesto, non può essere osservata contemporaneamente in entrambe le condizioni. L’identificazione richiede confronti fra unità, periodi o assegnazioni sotto ipotesi esplicite.

L’effetto medio della popolazione è ATE = E[Y(1) − Y(0)]. L’effetto medio sui trattati è ATT = E[Y(1) − Y(0)|D = 1]; sui non trattati è ATC. In generale ATE = P(D = 1)ATT + P(D = 0)ATC. Gli effetti possono differire perché le persone selezionano il trattamento in base a caratteristiche o benefici attesi. Una stima locale o riferita ai partecipanti non può essere presentata automaticamente come effetto per tutti. Definire popolazione e trattamento è parte dell’estimando.

Consistenza, versioni del trattamento e interferenza

La consistenza collega il trattamento osservato all’esito potenziale corrispondente. Richiede che il trattamento sia definito in modo sufficientemente preciso: «frequentare un corso» può indicare durate, contenuti e intensità molto diversi. Aggregare versioni diverse senza chiarirle può rendere ambiguo l’intervento. L’assenza di interferenza, nella formulazione semplice, richiede che l’esito di una unità non dipenda dal trattamento delle altre. Quando esistono spillover, l’esito potenziale deve dipendere anche dall’esposizione al trattamento altrui.

Un corso di formazione può migliorare la produttività dei colleghi non partecipanti attraverso scambio di conoscenze. Un esperimento che confronta partecipanti e non partecipanti nello stesso reparto può allora stimare un contrasto diverso dall’effetto di trattare l’intero reparto. La violazione non rende inutile l’analisi, ma richiede un estimando e un disegno adatti, per esempio assegnazioni per gruppi o variazione nell’intensità di trattamento. SUTVA è una sigla che raccoglie aspetti di trattamento ben definito e assenza di interferenza nella formulazione standard; non dovrebbe essere citata senza spiegare quali condizioni siano plausibili.

Differenza osservata e distorsione di selezione

La differenza fra medie osservate può essere decomposta come:

E(Y|D = 1) − E(Y|D = 0) = ATT + E[Y(0)|D = 1] − E[Y(0)|D = 0].

Il secondo termine è la differenza controfattuale di base fra trattati e non trattati. Se i partecipanti avrebbero avuto esiti migliori anche senza programma, il confronto grezzo sovrastima ATT, nel senso della decomposizione. Se vengono selezionate persone in maggiore difficoltà, il confronto può sottostimarlo. I segni dipendono dal processo di selezione e non possono essere dedotti dalla sola etichetta del trattamento. Una regressione è utile solo se la sua variazione identificante rende plausibile eliminare o controllare questo termine.

La selezione può dipendere anche dai guadagni individuali del trattamento, non soltanto dagli esiti di base. In tal caso ATT e ATE differiscono e un metodo valido per uno non identifica automaticamente l’altro. Il confronto fra stime ottenute con disegni diversi deve verificare che gli estimandi coincidano. Differenze fra risultati non sono necessariamente errori: possono riflettere popolazioni, margini di partecipazione o versioni dell’intervento differenti.

Assegnazione casuale

In un esperimento ideale, D è assegnato casualmente e indipendentemente dagli esiti potenziali, secondo un meccanismo noto. La differenza di medie identifica l’effetto medio pertinente al disegno e alla popolazione campionata, sotto consistenza e assenza di interferenza appropriata. La randomizzazione non garantisce che nel campione realizzato tutti i gruppi abbiano esattamente le stesse caratteristiche. Garantisce un procedimento che rende gli squilibri casuali e permette di quantificarne l’incertezza.

Con assegnazione completa di n₁ trattati e n₀ controlli in una popolazione sperimentale finita, la differenza di medie è corretta rispetto alla randomizzazione per l’effetto medio campionario. La sua varianza è S₁²/n₁ + S₀²/n₀ − Sτ²/n, dove Sτ² è la varianza degli effetti individuali nella popolazione finita. Il termine Sτ² non è generalmente identificabile perché non si osservano entrambi gli esiti per ogni unità. Ometterlo nella stima della varianza produce una procedura conservativa nel quadro classico, con le regolarità pertinenti.

Esempio sperimentale

Cento unità sono assegnate al trattamento e cento al controllo. Le medie osservate sono 75 e 70, con varianze campionarie 100 e 144. La differenza è cinque e l’errore standard basato sulla somma delle varianze delle medie è √(100/100 + 144/100) = √2,44 ≈ 1,562. Un intervallo normale approssimato al 95% è 5 ± 3,062, cioè circa [1,938; 8,062]. Il risultato quantifica la precisione del confronto sotto il disegno e le ipotesi, non la trasferibilità automatica ad altre popolazioni.

Se il trattamento fosse assegnato a dieci gruppi per braccio e le cento unità fossero raggruppate al loro interno, il calcolo indipendente per individuo potrebbe essere sbagliato. Occorrerebbe un’inferenza coerente con l’assegnazione per gruppi e con il numero di cluster. La randomizzazione rende credibile un confronto, ma non autorizza a ignorare la sua unità. La precisione dipende da quante assegnazioni indipendenti sono state effettuate e dalla correlazione degli esiti all’interno dei gruppi.

Stratificazione, blocco e coppie

La randomizzazione stratificata assegna il trattamento all’interno di gruppi definiti prima dell’intervento, per esempio fasce di un esito iniziale. Può migliorare equilibrio e precisione quando gli strati sono predittivi. L’analisi deve rispettare il disegno, combinando confronti interni con pesi appropriati e includendo gli strati nella procedura inferenziale. Una randomizzazione a coppie abbina unità simili e assegna il trattamento all’interno di ciascuna coppia. Trattare poi tutte le unità come se provenissero da un’assegnazione semplice ignora informazione del disegno.

La stratificazione non deve essere ricostruita retroattivamente come se fosse stata parte dell’assegnazione. Covariate osservate dopo il trattamento non possono definire blocchi antecedenti senza cambiare il confronto. È importante conservare il protocollo, le probabilità di assegnazione e gli identificativi degli strati. Quando le probabilità differiscono fra unità, medie semplici e medie ponderate possono identificare oggetti diversi. Il disegno sperimentale determina quali pesi rappresentano correttamente l’effetto desiderato.

Aggiustamento per covariate

Covariate pre-trattamento possono migliorare la precisione di un esperimento, pur non essendo necessarie per eliminare confondimento in un’assegnazione ideale. Una regressione dell’esito sul trattamento e su covariate iniziali può ridurre il rumore residuo. Specificazioni con covariate centrate e interazioni fra trattamento e covariate permettono aggiustamenti più flessibili in grandi campioni, con inferenza robusta coerente. L’aggiustamento non dovrebbe essere scelto dopo aver cercato quale specificazione renda significativo il risultato.

Un esito misurato prima del trattamento è spesso informativo. ANCOVA regredisce l’esito finale su trattamento ed esito iniziale; una regressione delle variazioni impone implicitamente un coefficiente unitario all’esito iniziale quando riscritta in livelli. Le due procedure non sono identiche e possono avere precisione diversa. La scelta deve considerare disegno, qualità della misura iniziale e obiettivo, non una regola secondo cui differenziare sia sempre necessario per rendere causale un esperimento già randomizzato.

Non adesione e intention to treat

Se Z è l’assegnazione casuale e D il trattamento effettivamente ricevuto, l’effetto intention to treat è E(Y|Z = 1) − E(Y|Z = 0). Descrive l’effetto dell’offerta o assegnazione, includendo la mancata adesione che si verifica nel contesto. Confrontare direttamente chi riceve D = 1 e D = 0 può perdere la randomizzazione, perché la partecipazione effettiva è una scelta. L’analisi per protocollo o per trattamento ricevuto richiede ulteriori ipotesi e non eredita automaticamente la validità dell’assegnazione iniziale.

Usare Z come strumento per D può identificare un effetto locale sui compliers sotto esclusione, monotonicità, rilevanza e altre condizioni. Se l’offerta modifica motivazione, informazione o accesso ad altri servizi anche senza partecipazione, l’esclusione può fallire. ITT rimane un oggetto distinto e spesso direttamente rilevante per il disegno dell’offerta. Non va considerato semplicemente una stima «diluita» da sostituire sempre con il rapporto IV: risponde a una domanda diversa e richiede meno ipotesi aggiuntive.

Attrito e osservazione degli esiti

La randomizzazione iniziale non garantisce che il campione con esiti finali osservati rimanga casualmente comparabile. Se l’abbandono dipende dal trattamento e da esiti potenziali, la differenza fra rispondenti può essere selezionata. È necessario riportare tassi di osservazione per gruppo, motivazioni dell’assenza e possibili legami con covariate iniziali. Un tasso di attrito uguale nei due gruppi non dimostra assenza di distorsione: potrebbero abbandonare tipi di unità diversi.

Ponderazione o imputazione richiedono ipotesi sul meccanismo di osservazione; limiti parziali e analisi di sensibilità possono essere più appropriati quando l’ignorabilità è dubbia. Procedure di bounding basate su monotonicità della selezione, quando plausibili, identificano intervalli anziché un singolo effetto. L’obiettivo non è eliminare a tutti i costi l’incertezza, ma rappresentare ciò che il disegno e i dati consentono effettivamente di concludere. La gestione dell’attrito deve essere pianificata e documentata.

Eterogeneità e confronti multipli

Gli effetti possono differire per caratteristiche antecedenti, ma esplorare molti sottogruppi aumenta il rischio di scoperte casuali. Un’interazione predefinita e un confronto congiunto sono più informativi di una ricerca di gruppi significativi. La significatività in un gruppo e l’assenza di significatività in un altro non dimostrano differenza degli effetti. Occorre testare direttamente l’interazione e considerare la famiglia dei confronti. La potenza per eterogeneità è spesso inferiore a quella per l’effetto medio.

La distinzione fra analisi confermative ed esplorative aiuta a interpretare i risultati. Un’ipotesi formulata dopo aver visto i dati può essere utile per generare nuove domande, ma non dovrebbe essere presentata come se fosse stata pianificata. La preregistrazione di estimandi, esiti principali e regole analitiche può ridurre flessibilità selettiva, senza impedire analisi aggiuntive chiaramente identificate. La trasparenza riguarda il procedimento, non soltanto il numero finale riportato.

Validità interna ed esterna

La validità interna riguarda la credibilità dell’effetto nel contesto studiato. La validità esterna riguarda la trasferibilità a popolazioni, tempi, intensità e modalità di attuazione differenti. Un esperimento ben condotto può avere alta validità interna e limitata trasferibilità se coinvolge volontari particolari, un intervento intensivo o un ambiente diverso da quello di utilizzo. La randomizzazione non rende il campione rappresentativo di qualsiasi popolazione. Campionamento e assegnazione sono due procedimenti distinti.

Il passaggio da un programma piccolo a una diffusione ampia può modificare prezzi, comportamento degli operatori, qualità dell’erogazione o interazioni fra unità. Un effetto individuale stimato a bassa diffusione non incorpora necessariamente questi cambiamenti di equilibrio. La generalizzazione richiede confronto di covariate, meccanismi, supporto e condizioni istituzionali pertinenti. La conclusione più utile specifica dove l’effetto è identificato e quali passaggi aggiuntivi sono necessari per applicarlo altrove.

Esercizio svolto: ATE e ATT

In una popolazione, il 40% riceve un trattamento. L’effetto medio sui trattati è sei e quello sui non trattati sarebbe due. L’ATE è 0,4 × 6 + 0,6 × 2 = 3,6. Una stima corretta dell’ATT pari a sei non rappresenta quindi l’effetto medio di trattare tutti. Se il confronto grezzo fra gruppi è nove, la decomposizione implica una differenza controfattuale di base pari a tre, rispetto all’ATT. Il calcolo separa eterogeneità degli effetti e selezione negli esiti senza trattamento, due ragioni distinte per cui confronti diversi possono produrre numeri diversi.

Identificazione con covariate osservate

In dati non sperimentali, una strategia possibile assume che, condizionatamente a covariate antecedenti X, il trattamento sia indipendente dagli esiti potenziali: (Y(0),Y(1)) ⟂ D|X. Questa condizione è detta ignorabilità, unconfoundedness o selezione sugli osservabili. Richiede che X contenga informazioni sufficienti a rendere comparabili trattati e non trattati rispetto agli esiti potenziali. Non è verificabile direttamente osservando soltanto gli esiti realizzati. La credibilità dipende dalla conoscenza del processo di selezione e dalla qualità della misurazione dei confondenti.

Occorre inoltre positività: per i valori di X rilevanti all’estimando, entrambe le condizioni di trattamento devono avere probabilità positiva. Se tutte le unità con una certa caratteristica sono trattate, i dati non mostrano come sarebbero senza trattamento in quel segmento. Un modello può extrapolare, ma tale previsione dipende da ipotesi funzionali aggiuntive. Per una stima stabile si desidera anche evitare probabilità troppo vicine a zero o uno, che producono pesi estremi. Identificazione teorica e precisione pratica sono questioni collegate ma distinte.

Regressione dell’esito e standardizzazione

Definiamo m₁(x) = E(Y|D = 1,X = x) e m₀(x) = E(Y|D = 0,X = x). Sotto ignorabilità, positività e consistenza, l’effetto medio condizionato è m₁(x) − m₀(x) e ATE = E[m₁(X) − m₀(X)]. Una procedura di standardizzazione stima le due funzioni e media le differenze previste sulla popolazione desiderata. Non richiede che il coefficiente di una dummy in una regressione additiva coincida automaticamente con ATE. Con eterogeneità, il coefficiente lineare può rappresentare una particolare media ponderata diversa dall’obiettivo.

Per ATT si media invece sulla distribuzione delle covariate dei trattati: E[m₁(X) − m₀(X)|D = 1]. La scelta della popolazione sulla quale si calcolano le previsioni cambia l’estimando. Una buona previsione dell’esito non basta a garantire una buona stima causale se il modello extrapola nelle regioni senza confronto. È utile esaminare il supporto e consentire flessibilità motivata nelle funzioni dell’esito, evitando però di usare covariate determinate dal trattamento che possano introdurre controllo improprio.

Propensity score

Il propensity score è e(x) = P(D = 1|X = x). È una funzione delle covariate che riassume la probabilità di trattamento. Sotto le condizioni teoriche appropriate, il vero propensity score bilancia la distribuzione delle covariate fra trattati e controlli: condizionatamente al punteggio, D e X sono indipendenti. Se l’ignorabilità vale dato X, può essere utilizzato per costruire confronti condizionati al punteggio. Il risultato non dice che una stima qualsiasi di e(X) renda automaticamente bilanciati i gruppi.

Un modello logit della partecipazione è una possibilità, ma non è l’unica. La sua qualità per uso causale va valutata soprattutto rispetto al bilanciamento e al supporto, non soltanto all’accuratezza di classificazione del trattamento. Un modello che prevede quasi perfettamente D può indicare scarsa sovrapposizione e rendere difficile il confronto. Una AUC elevata non è quindi necessariamente un vantaggio. Il punteggio non rende casuale il trattamento e non corregge confondenti non osservati: opera all’interno delle ipotesi di selezione sugli osservabili.

Matching sulle covariate o sul punteggio

Il matching associa unità trattate e di controllo con covariate o propensity score simili. Si può utilizzare distanza euclidea dopo una scala coerente, distanza di Mahalanobis, punteggio o combinazioni di criteri. Il nearest-neighbor matching sceglie i vicini più prossimi; un caliper impone una distanza massima. Con reinserimento, lo stesso controllo può essere usato più volte; senza reinserimento, le scelte precedenti influenzano quelle successive e l’ordine può contare. Ogni opzione modifica il compromesso fra comparabilità e numerosità.

Eliminare trattati senza controlli adeguati può migliorare la credibilità del confronto per le unità rimaste, ma cambia la popolazione dell’effetto stimato. Non si deve continuare a chiamarlo ATT di tutti i trattati senza qualificazioni. Usare molti vicini riduce alcune componenti di varianza ma può aumentare la distanza dei confronti. Il matching non dovrebbe essere progettato guardando quali abbinamenti producono l’effetto desiderato sull’esito. È preferibile valutarne la qualità attraverso covariate antecedenti e supporto, prima di interpretare i risultati.

Bilanciamento e diagnostiche

La differenza standardizzata di una covariata confronta le medie dei gruppi rispetto a una misura della dispersione, spesso una deviazione standard pooled definita esplicitamente. Si possono esaminare anche varianze, quantili, distribuzioni e interazioni rilevanti. Una soglia assoluta di 0,1 è una convenzione descrittiva usata in molti contesti, non una prova matematica di assenza di confondimento. Il bilanciamento delle medie non garantisce quello di tutte le caratteristiche della distribuzione.

I test di differenza fra covariate dipendono fortemente dalla numerosità: un campione piccolo può produrre p-value alti nonostante squilibri sostanziali, mentre uno grande può rendere significative differenze trascurabili. Per questo le misure di grandezza dello squilibrio sono spesso più informative dei soli p-value. Bilanciare covariate osservate non dimostra che i gruppi siano comparabili nelle caratteristiche non osservate. Le diagnostiche verificano una parte del procedimento, non l’intera ipotesi causale.

Ponderazione per probabilità inversa

Sotto le condizioni di identificazione, E[DY/e(X)] = E[Y(1)] e E[(1 − D)Y/(1 − e(X))] = E[Y(0)]. Lo stimatore Horvitz–Thompson dell’ATE usa la differenza fra le medie campionarie di questi termini. Trattati poco probabili secondo X e controlli poco probabili nella loro condizione ricevono più peso, ricostruendo una popolazione nella quale la distribuzione delle covariate è comparabile. La derivazione usa l’aspettativa condizionata e l’ortogonalità causale, non la semplice idea intuitiva di correggere le percentuali dei gruppi.

Una versione Hájek normalizza separatamente i pesi nei due gruppi: la media trattata ponderata è ∑DY/e divisa per ∑D/e, e analogamente per i controlli. La normalizzazione può migliorare la stabilità finita, pur cambiando alcune proprietà esatte rispetto allo stimatore non normalizzato. In campioni grandi e sotto le regolarità, le procedure possono condividere lo stesso limite. È importante specificare quale versione viene usata, come viene stimato il punteggio e quale popolazione viene rappresentata dai pesi.

Pesi per ATT e popolazioni di sovrapposizione

Per ATT, i trattati possono ricevere peso uno e i controlli peso e(X)/(1 − e(X)), con normalizzazione appropriata. I controlli vengono riponderati per assomigliare alla distribuzione delle covariate dei trattati. Per ATE, invece, i pesi usuali sono 1/e per trattati e 1/(1 − e) per controlli. Le due scelte non sono varianti numeriche dello stesso estimando: rappresentano popolazioni diverse. Il nome della procedura dovrebbe essere accompagnato dall’effetto obiettivo.

Gli overlap weights attribuiscono peso 1 − e(X) ai trattati ed e(X) ai controlli, concentrando il confronto sulle unità con maggiore sovrapposizione. Possono evitare pesi estremi, ma identificano un effetto medio in una popolazione di sovrapposizione, non automaticamente ATE. Tagliare pesi o escludere regioni di punteggio cambia analogamente il target o introduce un compromesso di approssimazione. La stabilità non dovrebbe essere ottenuta nascondendo il cambiamento della popolazione a cui si riferisce l’effetto.

Pesi estremi e numerosità effettiva

Una misura descrittiva della concentrazione dei pesi è neff = (∑w_i)²/∑w_i², con interpretazione limitata al contesto e senza sostituire la vera covarianza. Se pochi punti ricevono quasi tutto il peso, neff può essere molto inferiore al numero di righe. La stima può dipendere da unità con supporto debole e la distribuzione finita diventare instabile. Istogrammi del propensity score, massimi dei pesi e analisi della concentrazione sono quindi diagnostiche importanti.

Con probabilità e = 0,05, un trattato riceve peso ATE pari a venti; con e = 0,5 riceve peso due. Una singola osservazione può rappresentare molte unità nella popolazione ricostruita. Ciò è coerente con la formula, ma rende la qualità della misura e la presenza di confronti credibili particolarmente importanti. Troncare il peso a un valore arbitrario non elimina la ragione della fragilità. È preferibile discutere supporto, eventuale ridefinizione del target e sensibilità a regole motivate.

Stimatori doppiamente robusti

Uno stimatore AIPW dell’ATE combina modelli dell’esito e propensity score:

La prima parte standardizza le differenze previste; le altre correggono gli errori di previsione usando la ponderazione. Sotto identificazione e regolarità, la consistenza può essere ottenuta quando il modello del propensity score è corretto oppure quando entrambe le funzioni dell’esito sono corrette, anche se l’altra componente è misspecificata. Questa proprietà è la doppia robustezza. Non significa validità quando entrambe sono sbagliate né protezione da confondimento non osservato.

La doppia robustezza della consistenza non garantisce automaticamente intervalli validi con qualunque algoritmo di stima delle componenti. Procedure flessibili possono richiedere cross-fitting e condizioni sui tassi degli errori delle funzioni ausiliarie. Il prodotto degli errori di stima delle componenti è importante nell’espansione asintotica. La separazione dei campioni riduce l’overfitting del momento, ma non crea positività né validità causale. La formula deve essere accompagnata dalla strategia inferenziale appropriata.

Inferenza e matching non liscio

L’incertezza deve includere il procedimento di stima dei pesi, delle funzioni dell’esito o degli abbinamenti. Con matching a un numero fisso di vicini, la mappa dai dati allo stimatore può essere non liscia e il bootstrap non parametrico ordinario non è generalmente valido nelle condizioni studiate per questo problema. Esistono formule analitiche e procedure specifiche. Non si dovrebbe applicare automaticamente il bootstrap delle righe a ogni stimatore soltanto perché è semplice da programmare.

Con dati a cluster, anche pesi e stime causali devono utilizzare un’inferenza coerente con le unità indipendenti. La presenza di pesi non elimina la dipendenza. Un confronto di regressione sul campione abbinato con errori standard ordinari può ignorare riuso dei controlli, disegno del matching e struttura dei gruppi. La tabella finale dovrebbe riportare estimando, regola di supporto, metodo di bilanciamento e tipo di covarianza, oltre alla stima dell’effetto.

Esercizio svolto: standardizzare ATE e ATT

La popolazione è composta per il 60% da unità con X = 0 e per il 40% da unità con X = 1. Le medie potenziali identificate sotto le ipotesi siano m₀(0) = 10, m₁(0) = 12, m₀(1) = 20 e m₁(1) = 26. Gli effetti condizionati sono due e sei. L’ATE è 0,6 × 2 + 0,4 × 6 = 3,6. Se fra i trattati l’80% ha X = 1, l’ATT è 0,2 × 2 + 0,8 × 6 = 5,2. Le stesse funzioni dell’esito producono effetti medi diversi perché cambia la distribuzione sulla quale si media. Nessuno dei due numeri può sostituire l’altro senza cambiare domanda.

Il confronto tra cambiamenti

Il disegno differenze nelle differenze, DiD, confronta il cambiamento di un gruppo trattato con quello di un gruppo non trattato. Nel caso elementare esistono due gruppi e due periodi, prima e dopo un intervento. Lo stimatore è [ȳT,post − ȳT,pre] − [ȳC,post − ȳC,pre]. La prima differenza contiene l’effetto del trattamento e ciò che sarebbe cambiato comunque; la seconda cerca di rappresentare quest’ultima componente. Il confronto non richiede che i gruppi abbiano lo stesso livello iniziale, ma richiede un’ipotesi sulla loro evoluzione controfattuale.

Se il gruppo trattato passa da 100 a 110 e il controllo da 80 a 85, la DiD è 10 − 5 = 5. Il livello finale del controllo, 85, non è il controfattuale diretto del trattato. Il controfattuale costruito è 100 + 5 = 105, ottenuto applicando al livello iniziale del trattato il cambiamento del controllo. L’effetto stimato è quindi 110 − 105 = 5. Questa distinzione rende chiaro perché livelli diversi non invalidino automaticamente il disegno e perché la comparabilità delle tendenze sia centrale.

Tendenze parallele

L’ipotesi fondamentale richiede che, in assenza di trattamento, il cambiamento medio dell’esito del gruppo trattato sarebbe stato uguale a quello del controllo, nella scala e nella popolazione specificate. In simboli, E[Ypost(0) − Ypre(0)|G = T] = E[Ypost(0) − Ypre(0)|G = C]. L’ipotesi riguarda un cambiamento non osservato per i trattati dopo l’intervento, quindi non può essere verificata direttamente. Dati precedenti e conoscenza del contesto possono renderla più o meno plausibile, ma non trasformarla in un fatto osservato.

Servono anche assenza di anticipazione nel periodo usato come pre-trattamento, trattamento ben definito e assenza di spillover incompatibili con il confronto. Se il controllo viene influenzato dall’intervento, la sua variazione non rappresenta più il controfattuale senza trattamento. Se le unità modificano il comportamento prima della data ufficiale, il periodo iniziale può essere già trattato economicamente. Le date amministrative e quelle dell’effettiva esposizione devono essere distinte. Una variabile post non è corretta soltanto perché corrisponde all’anno di approvazione formale.

Regressione a due periodi

La regressione y_it = α + γTrattato_i + λPost_t + τ(Trattato_i × Post_t) + u_it restituisce la differenza di differenze nel caso saturo a due gruppi e due periodi. γ cattura la differenza iniziale, λ il cambiamento del controllo e τ il cambiamento aggiuntivo del trattato. L’identità algebrica non rende causale τ: l’interpretazione richiede tendenze parallele e le altre condizioni. Con un panel, si possono utilizzare effetti individuali e temporali equivalenti al confronto pertinente.

Gli errori possono essere correlati nel tempo entro unità o entro il livello di assegnazione dell’intervento. Una covarianza che tratta tutte le righe come indipendenti può sottostimare l’incertezza. Il clustering deve seguire il disegno e gli shock condivisi, con particolare cautela quando il trattamento varia in pochi gruppi. Molti individui in una sola area trattata non producono molte assegnazioni indipendenti. La credibilità della DiD e la validità dell’inferenza sono due problemi distinti da affrontare entrambi.

Panel e sezioni trasversali ripetute

Nel panel si osservano le stesse unità prima e dopo; nelle sezioni ripetute cambiano gli individui campionati. DiD può essere costruita in entrambi i casi, ma nelle sezioni ripetute occorrono condizioni sulla composizione dei gruppi e sul campionamento. Un cambiamento della popolazione osservata può produrre variazioni delle medie non dovute all’intervento. Anche nel panel l’attrito può modificare il gruppo con esiti disponibili. La stabilità delle definizioni e del campione è parte dell’argomentazione.

Se il trattamento modifica chi entra nel campione, per esempio la probabilità di essere occupato quando l’esito è il salario degli occupati, la DiD sui soli osservati combina effetti sull’esito e selezione. Controllare per caratteristiche successive al trattamento può aggravare il problema. È utile distinguere un esito definito per tutta la popolazione da uno osservabile soltanto in uno stato selezionato. L’analisi deve specificare quale effetto intende stimare e quali ipotesi rendono comparabili le medie nei quattro gruppi-periodi.

Tendenze parallele condizionate

Si può assumere parallelismo soltanto dopo aver condizionato su covariate antecedenti X. In tal caso la distribuzione delle covariate deve essere trattata coerentemente, attraverso regressione, ponderazione o procedure doppiamente robuste adatte al disegno. Inserire X linearmente in una regressione non garantisce di implementare correttamente una generica ipotesi di parallelismo condizionato. La forma funzionale e il modo in cui si aggregano i confronti contano. Le covariate non dovrebbero essere conseguenze dell’intervento.

La scala dell’esito è parte dell’ipotesi. Tendenze parallele in livelli non implicano tendenze parallele nei logaritmi. Se due gruppi crescono dello stesso numero di unità ma hanno livelli diversi, i tassi percentuali differiscono. Scegliere la trasformazione soltanto perché produce pre-trend più favorevoli può introdurre selezione analitica. La scala dovrebbe avere una giustificazione economica e le principali alternative plausibili possono essere discusse come sensibilità, senza considerarle ipotesi equivalenti.

Event study e tempo relativo

Un event study dinamico stima effetti per periodi relativi all’adozione, includendo indicatori per anticipi e ritardi e omettendo una categoria di riferimento, spesso il periodo immediatamente precedente. I coefficienti descrivono differenze rispetto a quella base nella parametrizzazione e nel disegno adottati. Il grafico aiuta a osservare dinamica, possibili anticipazioni e differenze antecedenti. Non bisogna interpretare automaticamente ogni coefficiente come effetto causale di un periodo senza verificare come i gruppi di confronto siano costruiti.

Gli intervalli punto per punto non sono bande simultanee per tutta la traiettoria. Esaminare molti anticipi e dichiarare valido il disegno perché nessuno è significativo trascura molteplicità e potenza. Un test congiunto dei coefficienti pre-trattamento può essere informativo, ma un non rifiuto non dimostra parallelismo post-trattamento. Il campione può avere poca capacità di rilevare deviazioni economicamente rilevanti. È utile considerare la grandezza delle deviazioni compatibili con i dati e analisi di sensibilità a violazioni plausibili.

Adozione scaglionata e limiti del twfe

Quando unità diverse adottano il trattamento in tempi diversi, una regressione a effetti fissi individuali e temporali con un unico indicatore di trattamento combina molti confronti. Alcuni possono usare unità già trattate come controllo per unità trattate più tardi. Se gli effetti cambiano con il tempo trascorso o differiscono fra gruppi, tali confronti possono non rappresentare il controfattuale desiderato. La media implicita può avere pesi non intuitivi, anche negativi in certe decomposizioni, e il coefficiente non coincide necessariamente con una media semplice degli effetti causali.

Il problema non significa che ogni regressione TWFE sia sempre sbagliata. Con effetti omogenei e condizioni appropriate può avere un’interpretazione valida. Significa che, in presenza di eterogeneità plausibile, occorre esplicitare gli estimandi e i confronti. Aggiungere più dummies di tempo relativo a una regressione convenzionale non risolve automaticamente la contaminazione fra coorti. La dinamica stimata può riflettere composizione dei gruppi e confronti già trattati, non soltanto l’evoluzione dell’effetto dell’intervento.

Effetti gruppo-tempo

Una strategia definisce ATT(g,t), l’effetto medio al tempo t per la coorte che inizia il trattamento nel periodo g. Il confronto utilizza gruppi mai trattati o non ancora trattati, sotto condizioni appropriate e tenendo conto dell’eventuale anticipazione. Gli effetti vengono poi aggregati con pesi espliciti per coorte, periodo o tempo dall’adozione. Il quadro di Callaway e Sant’Anna, riportato nel riferimento R6, rende trasparenti questi oggetti e consente inferenza coerente con l’aggregazione.

L’effetto a un certo tempo relativo può essere stimato soltanto per coorti osservate abbastanza a lungo. Aumentando l’orizzonte, la composizione delle coorti può cambiare. Una traiettoria media crescente potrebbe quindi riflettere sia dinamica sia cambiamento delle unità che contribuiscono. È utile riportare quali coorti sostengono ciascun punto e considerare aggregazioni bilanciate quando pertinenti. Il grafico non deve nascondere il supporto temporale dell’identificazione.

Placebo e verifiche di credibilità

Date fittizie antecedenti, esiti che non dovrebbero reagire e gruppi non esposti possono mettere alla prova implicazioni del disegno. Un effetto placebo può segnalare confondimento o una specificazione inadeguata; l’assenza di effetti placebo non dimostra l’intera ipotesi causale. Le verifiche dovrebbero essere motivate dal meccanismo, non scelte dopo aver cercato quelle che non rifiutano. Anche i placebo fanno parte di una famiglia di analisi e possono essere soggetti a selezione.

Shock concomitanti differenziali sono una minaccia centrale. Se il gruppo trattato riceve contemporaneamente un altro intervento o subisce un cambiamento specifico, la DiD può attribuire l’effetto combinato al trattamento studiato. Trend individuali lineari possono assorbire alcune differenze, ma impongono una forma di controfattuale e possono eliminare parte della dinamica del trattamento. Non costituiscono una correzione universale. La difesa del disegno richiede cronologia, conoscenza dei meccanismi e confronti alternativi credibili.

Tripla differenza

Una tripla differenza confronta due DiD, per esempio tra un gruppo direttamente esposto e uno non esposto all’interno delle aree trattate e di controllo. Può eliminare shock che influenzano entrambe le categorie nello stesso modo, ma richiede un’ipotesi di parallelismo della differenza pertinente. Non aggiunge identificazione gratuitamente: sposta la restrizione su un confronto più articolato. La regressione deve includere i termini principali e tutte le interazioni di ordine inferiore necessarie alla parametrizzazione.

Se la DiD per la categoria esposta è otto e quella per la categoria non esposta è tre, la tripla differenza è cinque. L’interpretazione causale richiede che, senza intervento, la differenza fra le due DiD sarebbe stata zero. Se la categoria non esposta è indirettamente influenzata dal trattamento o segue una tendenza specifica diversa, il confronto può essere invalido. Il disegno deve spiegare perché il terzo margine rappresenti un controllo utile anziché introdurre un’altra fonte di selezione.

Esercizio svolto: livelli e tassi

Il gruppo A passa da 100 a 110 e il gruppo B da 50 a 55. Entrambi crescono del 10%, ma i cambiamenti in livelli sono dieci e cinque. La DiD in livelli è cinque, mentre la differenza delle variazioni logaritmiche è ln(110/100) − ln(55/50) = 0. Nessuno dei due calcoli è algebricamente sbagliato. Rispondono a ipotesi di parallelismo diverse: cambiamenti assoluti oppure proporzionali. L’analista deve motivare quale controfattuale sia economicamente plausibile prima di attribuire alla differenza un significato causale.

Una regola di assegnazione a soglia

La regressione discontinua, RD, sfrutta una regola per cui il trattamento cambia quando una variabile osservata R supera una soglia c. R è detta running variable o variabile di assegnazione. Esempi didattici sono l’accesso a un corso in base a un punteggio o una condizione contrattuale legata a una soglia quantitativa. Il confronto causale riguarda unità appena sopra e appena sotto c, non tutte le unità trattate e non trattate. La vicinanza alla soglia può rendere plausibile una continuità degli altri determinanti, ma questa plausibilità deve essere argomentata.

Nel disegno sharp, D = 1(R ≥ c): la soglia determina completamente il trattamento. Nel disegno fuzzy, la probabilità di trattamento presenta un salto, ma alcune unità sopra soglia non partecipano o alcune sotto soglia partecipano comunque. Le due strutture identificano quantità differenti e richiedono procedure diverse. Una variabile continua correlata con il trattamento non è sufficiente per un RD: serve una discontinuità nella regola o nella probabilità di assegnazione e un’ipotesi sul controfattuale alla soglia.

Identificazione nello sharp RD

Se le medie degli esiti potenziali E[Y(0)|R = r] ed E[Y(1)|R = r] sono continue in c, il salto della media osservata identifica l’effetto alla soglia:

Il primo limite proviene dal lato superiore, il secondo da quello inferiore. La continuità permette di attribuire il salto al trattamento anziché a un cambiamento discontinuo degli esiti potenziali. Non richiede che la relazione fra R e Y sia piatta: può avere pendenze e curvature diverse, purché i controfattuali siano continui nel punto pertinente. L’effetto è locale per unità al margine della regola.

La definizione non equivale a una randomizzazione globale. Unità con punteggi molto diversi possono essere profondamente differenti e non rappresentare confronti credibili. Anche l’interpretazione «come casuale vicino alla soglia» richiede condizioni specifiche: l’approccio basato sulla continuità e quello di randomizzazione locale sono quadri distinti, con estimandi e inferenza propri. Il primo usa limiti e approssimazioni locali; il secondo assume un meccanismo di assegnazione plausibile entro una finestra. Non vanno mescolati senza chiarire le ipotesi.

Stima locale lineare

Una procedura comune stima rette separate ai due lati entro una banda h. Ponendo r_i = R_i − c, si può scrivere localmente y_i = α + τD_i + βr_i + γD_ir_i + errore, usando soltanto |r_i| ≤ h e pesi kernel. τ è la differenza fra le intercette alla soglia. L’interazione consente pendenze diverse; ometterla impone una restrizione che può essere ingiustificata. La stima locale non deve essere interpretata come una relazione lineare valida nell’intero supporto.

Il kernel triangolare attribuisce maggiore peso alle osservazioni vicine alla soglia, con peso proporzionale a 1 − |r_i|/h entro la banda. La scelta del kernel è generalmente meno decisiva della banda e della qualità del supporto, ma deve essere dichiarata. La regressione locale lineare è utile al confine perché può ridurre il bias rispetto a una semplice media locale. Un polinomio globale di grado elevato su tutto il campione può invece essere instabile e attribuire influenza a osservazioni lontane dal punto di identificazione.

Banda, distorsione e varianza

Una banda piccola usa confronti più vicini alla soglia e riduce alcune componenti di bias di approssimazione, ma contiene meno osservazioni e aumenta la varianza. Una banda grande migliora la precisione apparente ma può imporre una forma funzionale troppo rigida su una regione ampia. La selezione ottima per errore quadratico medio della stima puntuale non rende automaticamente valido un intervallo convenzionale che ignora il bias residuo. Stima e inferenza richiedono criteri compatibili.

L’inferenza robusta corretta per il bias stima una componente di distorsione e modifica anche la varianza per tener conto dell’incertezza di tale correzione. Il contributo di Calonico, Cattaneo e Titiunik e la documentazione rdrobust sono indicati nel riferimento R8. Limitarsi a sottrarre una correzione dal coefficiente e mantenere l’errore standard precedente non riproduce la procedura. È utile riportare banda, ordine del polinomio locale, kernel, osservazioni utilizzate per lato e intervallo coerente con il metodo.

Grafici e bins

Un grafico RD mostra medie dell’esito in intervalli della variabile di assegnazione e curve stimate separatamente ai due lati. I bins aiutano a visualizzare la relazione, ma la loro ampiezza può far apparire o scomparire un salto. Il grafico non dovrebbe essere costruito scegliendo la suddivisione più favorevole alla conclusione desiderata. Le stime e gli intervalli devono provenire dalla procedura definita, non dalla lettura visiva di poche medie aggregate.

È utile mostrare anche il supporto di R e il numero di osservazioni vicino alla soglia. Un salto apparentemente netto può dipendere da pochi punti o da un vuoto nel supporto. La stima di un limite richiede osservazioni che si avvicinino al cutoff in modo informativo. Se R è discreta con pochi valori, le approssimazioni non parametriche per una variabile continua possono non essere appropriate. Occorrono un modello o un quadro inferenziale che riconoscano la discrezione effettiva.

Manipolazione della variabile di assegnazione

Se le unità possono controllare precisamente da quale lato della soglia collocarsi, gruppi appena sopra e sotto possono differire in caratteristiche non osservate. Un salto nella densità di R può segnalare selezione o manipolazione, ma non ogni discontinuità di densità implica la stessa violazione economica. Regole di arrotondamento, accumuli amministrativi e variabili discrete richiedono interpretazioni specifiche. La conoscenza della procedura di assegnazione è indispensabile per distinguere questi meccanismi.

Test della densità e bilanciamento di covariate antecedenti forniscono diagnostiche, non prove definitive. Un non rifiuto può riflettere poca potenza; una manipolazione può non produrre un salto facilmente rilevabile nella densità. Anche una covariata che cambia alla soglia può derivare da regole concomitanti. L’argomentazione dovrebbe spiegare chi conosceva il cutoff, quando poteva intervenire sul punteggio e con quale precisione. La credibilità non può essere riassunta in un solo p-value.

Fuzzy RD e rapporto di salti

Nel fuzzy RD si stima il salto dell’esito e lo si divide per il salto della probabilità di trattamento:

Sotto continuità, rilevanza del salto, esclusione e monotonicità locali e le altre condizioni, il rapporto identifica un effetto medio locale per le unità il cui trattamento cambia a causa della soglia. È l’analogo locale di uno stimatore IV. Non rappresenta necessariamente l’effetto per tutte le unità sopra soglia né per tutte quelle trattate. Il denominatore deve essere sufficientemente informativo per un’inferenza convenzionale affidabile.

Se la media dell’esito salta di quattro unità e la probabilità di trattamento passa da 0,30 a 0,80, il primo stadio locale è 0,50 e l’effetto fuzzy è otto. Il salto dell’esito quattro è l’effetto della regola sull’esito, non l’effetto del trattamento ricevuto sotto le ipotesi IV. Se il cutoff modifica anche altri servizi, informazioni o comportamenti direttamente, l’esclusione può fallire. L’inferenza sul rapporto deve considerare l’incertezza congiunta dei due salti e la possibilità di un primo stadio debole.

Covariate e regole concomitanti

Covariate antecedenti possono migliorare la precisione se vengono incluse in modo coerente con il disegno locale. Non dovrebbero essere necessarie per eliminare un salto sistematico degli esiti potenziali: una discontinuità importante in caratteristiche di base può mettere in discussione l’identificazione. Covariate successive al trattamento possono essere mediatori o conseguenze e non vanno aggiunte indiscriminatamente. L’aggiustamento statistico non ripara automaticamente una regola che modifica più trattamenti contemporaneamente.

Se alla stessa soglia cambiano due programmi, il salto può identificare l’effetto combinato della regola, non separatamente quello di ciascuno. Per distinguere i canali servono variazioni aggiuntive o restrizioni. Analogamente, se il punteggio determina anche aspettative o stigma indipendentemente dal servizio ricevuto, l’interpretazione fuzzy tramite esclusione può essere dubbia. La descrizione istituzionale della regola è quindi parte integrante della stima, non un’introduzione ornamentale.

Donut RD e analisi di sensibilità

Un donut RD esclude osservazioni molto vicine alla soglia, per esempio quando esistono accumuli o misurazioni sospette esattamente al cutoff. Può ridurre alcuni problemi di manipolazione locale, ma allontana i dati dal punto in cui si vuole stimare il limite. La stima richiede allora più extrapolazione e una diversa giustificazione dell’approssimazione. Non è una correzione automatica che conserva gratuitamente lo stesso estimando e la stessa credibilità.

Sensibilità a bande ragionevoli, specificazioni locali, trattamento dei valori accumulati e soglie placebo può essere utile. La stabilità deve essere valutata insieme alla precisione: una stima può cambiare molto perché le bande piccole contengono poche osservazioni. Presentare soltanto la banda che produce significatività distorce l’evidenza. L’obiettivo è mostrare come il risultato dipende dalle principali scelte e se le conclusioni sostanziali rimangono compatibili con l’incertezza.

Validità locale e generalizzazione

L’effetto alla soglia riguarda unità marginali rispetto alla regola. Per estenderlo a punteggi lontani occorre assumere qualcosa sull’eterogeneità degli effetti o disporre di ulteriori soglie e variazioni. Un RD molto credibile può essere poco informativo sull’effetto medio di estendere il programma a tutta la popolazione. Questa è una limitazione dell’estimando, non un difetto della stima locale. La comunicazione dovrebbe evitare di trasformare «effetto vicino al cutoff» in «effetto generale del programma».

Disegni con soglie multiple o cambiamenti della soglia nel tempo possono offrire informazione aggiuntiva, ma introducono nuove condizioni di comparabilità. Un regression kink design sfrutta invece un cambiamento di pendenza della regola e richiede ipotesi sulla regolarità delle derivate, non soltanto continuità dei livelli. Non è lo stesso confronto di un salto. Le diverse varianti devono essere scelte in base alla regola effettiva, senza chiamare RD qualunque non linearità osservata.

Esercizio svolto: intercette e pendenze

Si stimano, vicino a c, le rette ŷsinistra = 50 + 2(R − c) e ŷdestra = 56 + 0,5(R − c). Il salto alla soglia è 56 − 50 = 6, mentre la differenza delle pendenze è 0,5 − 2 = −1,5. A R = c + 4, la previsione destra è 58, ma confrontarla con la retta sinistra extrapolata nello stesso punto produrrebbe una differenza zero. Quel confronto non è il salto RD alla soglia. L’effetto identificato dal limite è sei, sotto le ipotesi, e non una differenza arbitraria fra le due rette lontano dal cutoff.

Costruire un controfattuale ponderato

Il controllo sintetico costruisce una combinazione di unità non trattate che riproduca il comportamento pre-intervento di una unità trattata. È particolarmente utile quando l’intervento riguarda una o poche unità aggregate e non esiste un singolo controllo chiaramente comparabile. Il metodo non rende il controfattuale osservabile: lo approssima attraverso una combinazione trasparente di donatori. La credibilità dipende dalla qualità del fit precedente, dalla scelta del donor pool e da ipotesi sulla stabilità dei legami dopo l’intervento.

Supponiamo che l’unità trattata sia indicata con uno e che esistano J donatori. Il controllo sintetico è Ŷ_1t(0) = ∑_jw_jY_jt, con pesi non negativi che sommano a uno nella formulazione classica. Dopo l’intervento, l’effetto stimato è Y_1t − Ŷ_1t(0). I pesi vengono scelti usando soltanto informazione pre-trattamento, in modo da non adattare il controfattuale agli esiti che si desidera spiegare. La selezione dei predittori e degli iperparametri deve rispettare lo stesso principio.

Scelta dei pesi

Sia X₁ un vettore di caratteristiche pre-intervento della trattata e X₀ la matrice delle corrispondenti caratteristiche dei donatori. I pesi minimizzano (X₁ − X₀w)′V(X₁ − X₀w), soggetti a w_j ≥ 0 e ∑w_j = 1. V attribuisce importanza alle diverse caratteristiche e può essere scelta con procedure motivate o validazione pre-intervento. Le caratteristiche possono includere esiti passati e covariate predittive. La scala delle variabili e la scelta dei periodi influenzano il criterio.

I vincoli di non negatività e somma unitaria mantengono il controllo nella combinazione convessa dei donatori, limitando l’extrapolazione. Se la trattata è fuori dal supporto convesso delle caratteristiche dei controlli, può essere impossibile ottenere un buon fit. Un algoritmo restituisce comunque pesi, ma il risultato può essere un controfattuale poco plausibile. La qualità del confronto va valutata prima di interpretare il gap post-intervento. Il metodo non è appropriato soltanto perché esistono molti donatori disponibili.

Esempio di combinazione sintetica

La trattata presenta esiti pre-intervento 10, 12 e 14. Il donatore A presenta 8, 10 e 12; il donatore B presenta 12, 14 e 16. Pesi pari a 0,5 per ciascuno riproducono esattamente la traiettoria della trattata. Nel periodo successivo A vale 13 e B vale 17, quindi il controfattuale sintetico è 15. Se la trattata osservata vale 18, il gap è tre. Il calcolo mostra come una combinazione di controlli possa essere più comparabile di ciascun controllo singolarmente.

Il fit perfetto su tre periodi non dimostra però che il controfattuale futuro sia corretto. Potrebbero esistere shock specifici della trattata, cambiamenti nei donatori o una coincidenza temporanea. Con pochi periodi, molte combinazioni possono adattarsi bene senza una solida capacità di rappresentare la dinamica. L’informazione pre-intervento deve essere sufficientemente ricca rispetto alla complessità del confronto. Il gap tre è una stima causale soltanto sotto le ipotesi che giustificano l’evoluzione controfattuale sintetica.

Modello a fattori e intuizione identificante

Una motivazione del metodo rappresenta gli esiti senza trattamento attraverso fattori temporali comuni e carichi specifici delle unità, oltre a covariate e shock idiosincratici. Se la combinazione sintetica riproduce le caratteristiche e i carichi rilevanti della trattata, può seguirne l’evoluzione controfattuale dopo l’intervento. Gli esiti passati aiutano a informare sui fattori non osservati, ma la loro capacità dipende dalla lunghezza e dalla ricchezza del periodo precedente. Non basta un’uguaglianza di media per garantire uguaglianza dei meccanismi dinamici.

Il quadro metodologico, i requisiti dei dati e le principali limitazioni sono discussi da Abadie nel riferimento R15. Il controllo sintetico non richiede esattamente lo stesso parallelismo di una DiD con un singolo controllo, ma impone una stabilità della rappresentazione controfattuale attraverso i donatori. Se un fattore nuovo colpisce soltanto la trattata dopo l’intervento, il gap può confonderlo con l’effetto. L’analisi economica degli eventi concomitanti resta essenziale.

Donor pool e contaminazione

I donatori devono essere plausibilmente non trattati e non influenzati indirettamente dall’intervento. Spillover, anticipazioni o politiche concomitanti possono contaminare il controfattuale. Un donatore con peso elevato merita particolare attenzione perché può dominare la traiettoria sintetica. Escludere donatori sulla base del loro andamento post-intervento soltanto perché rendono l’effetto meno evidente introduce selezione. Le regole di inclusione dovrebbero essere motivate da informazioni antecedenti e dalla conoscenza dell’esposizione.

La comparabilità comprende definizioni dell’esito, unità di misura, frequenza e qualità della raccolta. Un cambiamento amministrativo nella serie della trattata può generare un gap non economico. Differenze strutturali di scala possono richiedere trasformazioni o una ridefinizione dell’esito, ma queste scelte modificano il confronto. Una procedura di controllo sintetico non può correggere automaticamente serie non omogenee o revisioni non coerenti fra unità. La costruzione dei dati rimane una fase identificante.

Valutazione del fit pre-intervento

La root mean squared prediction error pre-intervento è la radice della media dei quadrati dei gap precedenti. Un valore basso rispetto alla scala dell’esito indica buon adattamento, ma non basta da solo. Occorre osservare se rimangono trend sistematici, se il fit dipende da pochi periodi e se il periodo precedente include dinamiche abbastanza varie. Un errore piccolo in una serie quasi costante può essere meno informativo di un fit buono attraverso oscillazioni significative.

Si può separare il periodo precedente in una fase di costruzione e una di validazione, scegliendo pesi o caratteristiche senza utilizzare gli ultimi periodi pre-intervento e verificando la capacità di riprodurli. Il compromesso è che si riduce l’informazione per stimare i pesi. La scelta della procedura deve essere fissata senza consultare gli esiti post-intervento per ottimizzare la conclusione. Una validazione pre-intervento credibile aiuta a valutare stabilità, ma non esclude shock specifici successivi.

Placebo nello spazio

Un placebo nello spazio applica la stessa procedura a ciascun donatore come se fosse stato trattato, usando gli altri come controlli. Si confronta il gap della trattata con quelli placebo. Rapporti fra RMSPE post e pre possono aiutare a distinguere grandi gap successivi da semplici cattivi fit iniziali. Donatori con fit pre-intervento pessimo possono rendere il confronto poco interpretabile e richiedere regole di inclusione motivate e dichiarate. Tali regole non dovrebbero essere scelte per rendere estremo il risultato della trattata.

La posizione del gap nella distribuzione placebo non è automaticamente un p-value esatto di randomizzazione. Per questa interpretazione servono condizioni sull’assegnazione del trattamento o sulla scambiabilità delle unità compatibili con la procedura. In un’applicazione osservazionale con una unità scelta in modo non casuale, il confronto placebo è spesso una diagnostica di rarità e robustezza, non una garanzia inferenziale universale. Il numero limitato di donatori determina anche una risoluzione discreta dei confronti.

Placebo nel tempo e anticipazione

Un placebo temporale colloca una data fittizia di intervento nel periodo precedente e verifica se la procedura produce un gap simile senza trattamento. Può segnalare instabilità della relazione sintetica o una scelta di modello che genera scarti anche in assenza di intervento. La disponibilità di pochi periodi può limitarne la potenza. Se esiste anticipazione, un gap prima della data ufficiale può essere parte dell’effetto economico e non soltanto un fallimento del fit. La cronologia deve distinguere annuncio, aspettative e attuazione.

La scelta della data di trattamento non dovrebbe essere ottimizzata cercando dove il gap diventa più grande. Un intervento graduale richiede una definizione esplicita dell’esposizione e dell’orizzonte. Se il trattamento si intensifica nel tempo, il gap post-intervento può riflettere una combinazione di dosi diverse. Il controllo sintetico fornisce una traiettoria controfattuale, ma non identifica automaticamente la funzione dose-risposta senza ulteriore variazione e struttura.

Analisi leave-one-out

Eliminare a turno donatori con peso positivo e ricostruire il controllo permette di verificare la dipendenza da singole unità. Se il risultato cambia drasticamente escludendo un donatore, occorre capire se quel donatore rappresenti informazione indispensabile o una fragilità del confronto. Una stima stabile non dimostra validità, ma una forte instabilità segnala che la conclusione dipende da scelte specifiche. La sensibilità dovrebbe riportare sia gap post sia fit pre, perché un effetto diverso ottenuto con un controllo molto peggiore non è un confronto equivalente.

È utile anche valutare insiemi alternativi di predittori e periodi predefiniti, purché economicamente motivati. Produrre molte specificazioni e mostrare solo quelle concordi non è una verifica di robustezza. Il risultato centrale dovrebbe essere accompagnato dalle principali alternative che mettono alla prova l’ipotesi controfattuale. La trasparenza sui pesi rende il metodo particolarmente leggibile: il lettore può vedere quali unità sostengono il confronto e giudicarne la plausibilità.

Estensioni e regolarizzazione

Approcci aumentati combinano controllo sintetico e modelli dell’esito per correggere il mancato fit pre-intervento. Alcune procedure consentono pesi negativi o extrapolazione regolarizzata. Possono migliorare l’adattamento quando la trattata non è ben rappresentata da una combinazione convessa, ma introducono dipendenza da un modello e da scelte di penalizzazione. Non sono automaticamente superiori in ogni applicazione: il vantaggio potenziale va confrontato con il rischio di extrapolazione e misspecificazione.

Metodi basati su fattori interattivi, completamento di matrici o synthetic difference-in-differences collegano informazioni fra unità e tempi in modi diversi. Richiedono ipotesi su struttura a basso rango, pattern di osservazione, stabilità o ponderazione. La scelta dovrebbe seguire il tipo di dati, il numero di trattati e il controfattuale credibile. Una tecnica più flessibile non elimina shock specifici non osservati né rende casuale un intervento selezionato.

Effetti medi e cumulati

Il gap può essere riportato per periodo, come media post-intervento oppure come somma cumulata, secondo il significato dell’esito. Sommare gap di flussi, come vendite mensili, può rappresentare un effetto cumulato; sommare gap di stock, come livello di capitale, richiede un’interpretazione diversa e può contare ripetutamente la stessa grandezza. Anche una media dei gap dipende dall’orizzonte scelto. La finestra dovrebbe essere motivata e non selezionata dopo aver osservato quando l’effetto appare massimo.

La trasformazione logaritmica permette confronti proporzionali ma cambia l’oggetto e il fit. Un gap di logaritmi non coincide esattamente con una differenza percentuale in livelli senza trasformazione appropriata. Inoltre, l’incertezza di una traiettoria o di un cumulato non è ottenuta sommando semplicemente errori standard puntuali: servono covarianze e una procedura inferenziale coerente. La comunicazione dovrebbe distinguere stima del controfattuale, assunzioni causali e precisione delle aggregazioni.

Esercizio svolto: pesi e supporto

La trattata ha un indicatore pre-intervento pari a 20, mentre i due donatori hanno valori 10 e 15. Con pesi non negativi che sommano a uno, il controllo sintetico può assumere soltanto valori fra 10 e 15: non può riprodurre 20. Consentire pesi −1 e 2 produce 20, ma usa extrapolazione. Il calcolo non dimostra che l’extrapolazione sia necessariamente sbagliata; mostra che richiede una giustificazione diversa dalla combinazione convessa classica. Un fit perfetto ottenuto rimuovendo vincoli non equivale automaticamente a un controfattuale più credibile.

Il tempo come struttura informativa

Una serie storica osserva una variabile in date ordinate. L’ordine non è intercambiabile: il passato può aiutare a prevedere il futuro e gli shock possono propagarsi fra periodi. Frequenza, calendario, ritardi di pubblicazione e revisioni determinano quale informazione sia disponibile a ogni data. Una serie mensile con mesi mancanti non deve essere trattata come se le osservazioni fossero equidistanti senza verificare gli intervalli. Anche una serie finanziaria in giorni di negoziazione ha un calendario diverso da una serie giornaliera civile.

Occorre distinguere stock, flussi e tassi prima di aggregare. Sommare flussi mensili può produrre un flusso trimestrale; uno stock di fine mese richiede invece una convenzione temporale. Medie di tassi possono richiedere pesi. Cambiamenti di definizione e destagionalizzazioni possono alterare la dinamica osservata. La modellazione temporale non corregge automaticamente incoerenze di misurazione: una rottura amministrativa può apparire come uno shock economico o una radice unitaria se non viene riconosciuta.

Componenti di una serie

Una rappresentazione descrittiva distingue tendenza, stagionalità, ciclo e componente irregolare. Una tendenza è un movimento di lungo periodo; la stagionalità è un pattern legato a una frequenza calendariale ricorrente; il ciclo rappresenta oscillazioni non necessariamente di durata fissa. La decomposizione può essere additiva, Y_t = T_t + S_t + R_t, oppure moltiplicativa, Y_t = T_tS_tR_t per grandezze positive. Nel caso moltiplicativo, i logaritmi trasformano la decomposizione in somma, ma zeri e valori negativi richiedono un’altra scelta.

Una decomposizione statistica non identifica automaticamente cause economiche. Una componente liscia dipende dalla finestra e dal metodo di filtraggio; un ciclo estratto non è necessariamente un ciclo strutturale. Filtri che usano osservazioni future possono essere utili per analisi retrospettiva ma non disponibili per una previsione in tempo reale. I valori ai bordi possono essere particolarmente sensibili e revisionabili. La distinzione fra descrizione ex post e informazione utilizzabile ex ante deve rimanere esplicita.

Stazionarietà debole

Un processo è debolmente stazionario se ha media costante, varianza finita costante e autocovarianza che dipende soltanto dalla distanza temporale, non dalla data. Scrivendo γ(h) = Cov(Y_t,Y_t-ₕ), la funzione è la stessa per tutti i t. La stazionarietà permette di usare osservazioni di periodi diversi per stimare caratteristiche comuni del processo. Non significa che la serie osservata sia piatta: una realizzazione stazionaria può oscillare molto e presentare sequenze persistenti di valori alti o bassi.

La stazionarietà stretta richiede che ogni distribuzione congiunta finito-dimensionale sia invariata per traslazioni del tempo. Se esistono secondi momenti, implica stazionarietà debole; il contrario non vale in generale. Per processi gaussiani, media e covarianza determinano tutte le distribuzioni finite, rendendo particolarmente stretta la relazione fra le due nozioni. In applicazioni, la stazionarietà debole è spesso sufficiente per modelli lineari, ma inferenza e limiti probabilistici possono richiedere ulteriori condizioni sulla dipendenza.

Ergodicità e medie temporali

La stazionarietà non garantisce da sola che una lunga realizzazione permetta di stimare la media di popolazione attraverso la media temporale. Consideriamo Y_t = A per ogni t, dove A è una variabile casuale non degenere estratta una sola volta. Il processo è stazionario, ma la media temporale resta A e non converge alla media E(A) attraverso l’aggiunta di date. Manca una forma di esplorazione della distribuzione lungo il tempo. Condizioni di ergodicità e dipendenza sufficientemente debole rendono possibili leggi dei grandi numeri temporali appropriate.

L’esempio mostra perché cento osservazioni identiche generate dallo stesso shock non rappresentino cento informazioni indipendenti. Nelle serie economiche la dipendenza può essere meno estrema ma comunque rilevante per la precisione. La validità di un limite centrale richiede condizioni specifiche e una varianza di lungo periodo che incorpori le autocovarianze. Dichiarare una serie «stazionaria» non autorizza automaticamente a usare formule i.i.d. per medie, regressioni o test.

Rumore bianco e innovazioni

Un rumore bianco debole ha media zero, varianza costante finita e autocovarianze nulle ai ritardi diversi da zero. Non deve essere necessariamente indipendente: può avere dipendenze non lineari, per esempio nella volatilità. Un rumore bianco indipendente impone una condizione più forte. Una differenza martingala soddisfa E(u_t|informazione passata) = 0, escludendo prevedibilità della media con quell’informazione, ma può avere varianza condizionata variabile. Queste nozioni non sono sinonimi.

Le innovazioni di un modello rappresentano la parte dell’esito non prevedibile sulla base dell’insieme informativo specificato. Un residuo stimato è soltanto un’approssimazione dell’innovazione e può conservare struttura se il modello è incompleto. Assenza di autocorrelazione lineare dei residui non dimostra indipendenza né omoschedasticità. I rendimenti possono essere poco autocorrelati nei livelli e presentare forte dipendenza nei quadrati. La diagnosi deve considerare quale componente della distribuzione si vuole modellare.

Autocovarianza e autocorrelazione

L’autocorrelazione al ritardo h è ρ(h) = γ(h)/γ(0), quando la varianza è positiva. Per un processo stazionario reale, γ(−h) = γ(h). La funzione di autocorrelazione, ACF, descrive la persistenza lineare a varie distanze. L’autocorrelazione parziale, PACF, misura la relazione lineare fra Y_t e Y_t-ₕ dopo aver considerato i ritardi intermedi. È una proprietà di proiezioni lineari, non una misura causale del passato sull’esito.

Le autocorrelazioni campionarie sono stime rumorose e i limiti grafici approssimati dipendono dal riferimento. La convenzione ±1,96/√T per rumore bianco non è un intervallo universale per qualunque ACF e non controlla automaticamente molte barre simultaneamente. Trend, stagionalità e rotture possono produrre autocorrelazioni elevate anche senza un semplice processo autoregressivo stabile. L’ACF va letta dopo aver compreso livello, trasformazioni e calendario della serie.

Processo AR(1) stazionario

Consideriamo Y_t = c + ρY_t-1 + ε_t, con |ρ| < 1 e innovazioni adeguate. La media stazionaria è μ = c/(1 − ρ). Sottraendola, Y_t − μ = ρ(Y_t-1 − μ) + ε_t. Iterando si ottiene la rappresentazione causale Y_t − μ = ∑_j=0∞ρʲε_t-j, sotto le condizioni di convergenza. Uno shock corrente ha effetto ρ^h dopo h periodi e si attenua se |ρ| < 1. Il segno può alternarsi quando ρ è negativo.

Se Var(ε_t) = σε² e le innovazioni sono incorrelate, Var(Y_t) = σε²/(1 − ρ²) e γ(h) = ρ|h|σε²/(1 − ρ²). L’ACF è quindi ρ(h) = ρ|h|. Con ρ = 0,8 e σε² = 1, la varianza è 1/0,36 ≈ 2,7778. La varianza dell’innovazione è una cosa diversa dalla varianza incondizionata della serie, che include gli shock passati ancora presenti. Confonderle altera intervalli e simulazioni.

Trend deterministico e stocastico

Un processo trend-stationary può essere scritto Y_t = a + bt + v_t, con v_t stazionario. La media di Y cambia deterministicamente con t, mentre gli scostamenti attorno al trend possono essere stabili. Rimuovere un trend appropriato può rendere analizzabile la componente v. Un random walk, Y_t = Y_t-1 + ε_t, contiene invece un trend stocastico: gli shock si accumulano e non si esauriscono. Con valore iniziale fisso e innovazioni indipendenti di varianza σε², Var(Y_t) cresce linearmente con t.

Per il random walk, ΔY_t = ε_t è stazionaria nel caso elementare. Differenziare elimina il trend stocastico, mentre sottrarre una retta deterministica non elimina l’accumulazione degli shock. Per una serie trend-stationary, differenziare può invece introdurre una struttura di media mobile non necessaria e perdere informazione sul livello. Detrending e differencing rispondono a ipotesi differenti. Non dovrebbero essere scelti soltanto in base a quale trasformazione produce un grafico visivamente più piatto.

Stagionalità e differenze stagionali

Una stagionalità deterministica può essere rappresentata con indicatori di mese o trimestre. Una radice unitaria stagionale richiede invece una trasformazione come ΔsY_t = Y_t − Y_t-s, dove s è la periodicità. Le due operazioni non sono equivalenti: gli indicatori rimuovono medie periodiche fisse, la differenza stagionale rimuove una componente stocastica specifica. Applicare entrambe senza motivazione può sovradifferenziare o eliminare segnali rilevanti. La struttura deve essere valutata con dati, frequenza e conoscenza del processo.

Con dati mensili, un picco di ACF al ritardo dodici può indicare stagionalità, ma anche altri meccanismi. Giorni lavorativi, festività mobili e numero di giorni del mese possono richiedere regressori di calendario. Una serie già destagionalizzata non deve essere trattata come se fosse priva di ogni dipendenza stagionale senza controlli, ma nemmeno destagionalizzata nuovamente in modo meccanico. Le trasformazioni e le revisioni della fonte devono essere documentate.

Rotture strutturali

Una media o una pendenza può cambiare dopo una riorganizzazione, un cambiamento tecnologico o una diversa definizione della serie. Un processo stazionario per segmenti può apparire molto persistente se viene analizzato come un unico regime. Test di radice unitaria e modelli AR possono essere sensibili alle rotture. L’identificazione di una data di rottura scelta dai dati richiede inferenza diversa da quella a data fissata. Non si può cercare la data con il massimo scostamento e usare poi il test ordinario come se fosse stata nota in anticipo.

Un modello stabile stimato su tutta la storia può prevedere male dopo un cambiamento. Finestre mobili, parametri variabili o modelli di regime possono essere considerati, ma introducono complessità e incertezza. La scelta deve essere validata temporalmente. Una rottura non è necessariamente prevedibile: riconoscerla ex post non implica che un modello avrebbe potuto anticiparla. La comunicazione deve distinguere ricostruzione storica e previsione operativa.

Esercizio svolto: intercetta e media AR(1)

Nel modello Y_t = 2 + 0,5Y_t-1 + ε_t, la media stazionaria è 2/(1 − 0,5) = 4, non due. Se Y_t = 10, la previsione a un passo è 2 + 0,5 × 10 = 7; a due passi è 2 + 0,5 × 7 = 5,5. Le previsioni convergono a quattro. L’intercetta rappresenta il termine aggiunto a ogni passaggio, mentre la media incorpora la propagazione dinamica. Nei software la parametrizzazione può riportare una media anziché l’intercetta dinamica: occorre leggere la definizione del parametro prima di interpretare l’output.

Operatore di ritardo

L’operatore L sposta una serie indietro di un periodo: LY_t = Y_t-1 e LʲY_t = Y_t-j. La differenza prima è (1 − L)Y_t. Questa notazione permette di scrivere modelli dinamici in forma compatta e di studiarne le radici. Un AR(p) centrato è Φ(L)(Y_t − μ) = ε_t, con Φ(L) = 1 − φ₁L − … − φpLᵖ. Un MA(q) è Y_t − μ = Θ(L)ε_t, con Θ(L) = 1 + θ₁L + … + θqLᑫ nella convenzione usata qui.

La convenzione dei segni dei coefficienti MA può differire fra testi e implementazioni. Confrontare un θ positivo in una fonte con uno negativo in un’altra senza verificare la formula può creare una falsa contraddizione. Le condizioni sulle radici devono essere riferite al polinomio definito, non ricordate come slogan privi di notazione. Anche costante, drift e media possono essere parametrizzati diversamente quando si introducono differenze. L’equazione completa è il riferimento per interpretare qualsiasi output.

Processi autoregressivi

Un AR(p) usa p valori passati dell’esito. La soluzione causale stazionaria richiede che le radici di Φ(z) = 0 siano esterne al cerchio unitario, sotto le condizioni sulle innovazioni. Per AR(1), la radice è 1/φ₁ e la condizione equivale a |φ₁| < 1. Per ordini superiori, non basta che ogni coefficiente sia singolarmente inferiore a uno in valore assoluto. La stabilità dipende dal polinomio complessivo o dagli autovalori della rappresentazione companion.

Se il processo è stabile, la media con intercetta c è μ = c/(1 − ∑_jφ_j), purché il denominatore sia diverso da zero e la parametrizzazione sia quella indicata. Le equazioni di Yule–Walker collegano autocovarianze e coefficienti: γ(h) = ∑_j=1ᵖφ_jγ(h − j) per h ≥ 1. La PACF teorica di un AR(p) si annulla oltre p, mentre l’ACF tende a decadere con forme che possono includere oscillazioni. Nel campione, queste proprietà sono soltanto pattern rumorosi, non regole infallibili di selezione.

Processi a media mobile

Un MA(q) è una combinazione finita di innovazioni correnti e passate. Con innovazioni di varianza finita e struttura appropriata è stazionario senza richiedere vincoli analoghi ai coefficienti AR. La sua ACF teorica si annulla oltre q, perché osservazioni sufficientemente lontane non condividono innovazioni. La PACF tende invece a decadere. La stazionarietà non deve essere confusa con l’invertibilità, che riguarda la possibilità di ricostruire innovazioni da una rappresentazione autoregressiva convergente.

Per MA(1), Y_t = ε_t + θε_t-1, la varianza è σε²(1 + θ²), l’autocovarianza al primo ritardo è θσε² e l’autocorrelazione è θ/(1 + θ²). Con θ = 0,5, la varianza è 1,25σε² e l’ACF al primo ritardo è 0,4. Ai ritardi superiori è zero. Un singolo shock influisce su due osservazioni consecutive, poi scompare. Il processo è diverso da un AR(1), in cui lo shock si propaga potenzialmente per un numero infinito di periodi.

Invertibilità

L’invertibilità richiede che le radici di Θ(z) = 0 siano esterne al cerchio unitario. Per MA(1) con la convenzione positiva, equivale a |θ| < 1. Permette di esprimere ε_t come una serie convergente dei valori osservati di Y. La restrizione aiuta a identificare una rappresentazione unica: alcuni parametri MA non invertibili possono produrre la stessa struttura di autocovarianza di un modello invertibile con diversa varianza delle innovazioni. La scelta della rappresentazione non riguarda soltanto stabilità numerica.

Con θ = 0,5, ε_t = Y_t − 0,5Y_t-1 + 0,25Y_t-2 − …, per un processo centrato e nelle condizioni appropriate. Il peso del passato diminuisce geometricamente. Se |θ| > 1, questa espansione non converge nella forma causale desiderata. Un modello MA può quindi essere stazionario ma non invertibile. Confondere le due proprietà porta a imporre o verificare il vincolo sbagliato.

Modelli ARMA

Un ARMA(p,q) combina autoregressione e media mobile: Φ(L)(Y_t − μ) = Θ(L)ε_t. Per la rappresentazione causale stazionaria e invertibile si richiedono le condizioni sui due polinomi e assenza di fattori comuni che rendano la parametrizzazione ridondante. ACF e PACF possono entrambe decadere, rendendo meno immediata l’identificazione visiva degli ordini. Un modello AR di ordine elevato può approssimare un ARMA, ma usa più parametri e può essere meno efficiente in campioni limitati.

Il modello descrive dipendenza della media lineare condizionata al passato, non necessariamente causalità economica. Un coefficiente AR significativo non dimostra un meccanismo strutturale di abitudini o aggiustamento; può rappresentare una riduzione statistica di molte dinamiche sottostanti. L’utilità per previsione e la lettura causale devono essere separate. Covariate esogene e restrizioni teoriche possono essere aggiunte, ma richiedono condizioni specifiche sull’insieme informativo e sugli shock.

Stima dei parametri

Per un AR con innovazioni ortogonali ai regressori ritardati e condizioni appropriate, OLS condizionato ai valori iniziali può essere una procedura naturale, pur avendo proprietà finite diverse dal modello con regressori strettamente esogeni. Per modelli con componenti MA, le innovazioni passate non sono direttamente osservate e la stima richiede normalmente massima verosimiglianza, minimi quadrati condizionati o una rappresentazione nello spazio degli stati. Trattare residui preliminari come dati certi può alterare l’inferenza.

La verosimiglianza esatta considera la distribuzione delle condizioni iniziali secondo il modello; una versione condizionata fissa o approssima le osservazioni iniziali. Le differenze possono essere importanti in campioni piccoli o con forte persistenza. Algoritmi numerici devono controllare convergenza, radici, massimi locali e plausibilità dei parametri. Una stima vicina al confine unitario può avere una distribuzione non ben approssimata dalla normale convenzionale e richiedere cautela negli intervalli.

ARIMA e integrazione

Un ARIMA(p,d,q) applica un ARMA(p,q) alla serie differenziata d volte: Φ(L)(1 − L)ᵈY_t = c + Θ(L)ε_t, nella parametrizzazione indicata. d rappresenta il numero di differenze non stagionali, non un numero di ritardi autoregressivi. Un random walk è ARIMA(0,1,0); con c diverso da zero presenta drift. La differenza prima ha media c e il livello cresce in aspettativa di c per periodo. Il termine costante non ha la stessa interpretazione della media di una serie stazionaria in livelli.

Differenziare più del necessario può introdurre una componente MA vicina al confine di invertibilità e aumentare il rumore. Differenziare troppo poco lascia non stazionarietà e può invalidare le approssimazioni del modello ARMA. La scelta di d richiede grafici, ragionamento economico e test con ipotesi correttamente specificate. Non è opportuno confrontare meccanicamente criteri informativi di modelli stimati su esiti trasformati o campioni diversi senza assicurare verosimiglianze confrontabili.

Modelli stagionali

Un SARIMA(p,d,q)(P,D,Q)s include polinomi stagionali Φs(Lˢ) e Θs(Lˢ) e differenze stagionali (1 − Lˢ)ᴰ. Per dati mensili s può essere dodici; per trimestrali quattro, quando la periodicità è pertinente. Il prodotto fra polinomi stagionali e non stagionali genera anche termini incrociati. Un AR non stagionale di ordine uno combinato con un AR stagionale di ordine uno non equivale semplicemente a due coefficienti isolati senza considerare il loro prodotto al ritardo s + 1.

La stagionalità può anche essere rappresentata tramite indicatori o termini di Fourier, eventualmente con errori ARMA. La scelta dipende da stabilità del pattern, frequenza e lunghezza della serie. Con periodicità molto lunga rispetto al campione, un modello stagionale ricco può essere scarsamente identificato. Le procedure automatiche di selezione sono strumenti predittivi utili, ma non dimostrano che la struttura scelta sia il vero processo economico. La validazione temporale e i benchmark rimangono essenziali.

Diagnostica dei residui

Dopo la stima, i residui dovrebbero non contenere prevedibilità della media che il modello dichiara di aver rappresentato. Si esaminano andamento temporale, ACF, osservazioni anomale e stabilità. Il test di Ljung–Box aggrega autocorrelazioni fino a un certo ritardo; il riferimento asintotico e i gradi di libertà devono considerare i parametri stimati e la specificazione. Scegliere un ritardo dopo aver cercato quello che rifiuta o non rifiuta richiede cautela interpretativa.

Residui non autocorrelati nei livelli possono comunque essere eteroschedastici o dipendenti nei quadrati. Una distribuzione non normale può incidere su intervalli predittivi basati sulla normalità, anche quando la previsione della media è ragionevole. Il non rifiuto di un test non certifica il modello: può riflettere poca potenza o controllare soltanto una particolare forma di dipendenza. È utile confrontare anche la prestazione fuori campione e la sensibilità a periodi anomali o cambiamenti strutturali.

Previsione AR(1)

Per un AR(1) stazionario con media μ, la previsione a h passi è Ŷ_t+ₕ|_t = μ + ρ^h(Y_t − μ). L’errore di previsione, con parametri noti, è ∑_j=0^h-1ρʲε_t+ₕ_-j e ha varianza σε²∑_j=0^h-1ρ²ʲ = σε²(1 − ρ^2h)/(1 − ρ²). Al crescere di h, la previsione converge alla media e la varianza converge a quella incondizionata della serie. L’incertezza sui parametri può aggiungere ulteriore variabilità rispetto a questa formula ideale.

Con μ = 10, ρ = 0,8, Y_t = 15 e σε² = 4, la previsione a due passi è 10 + 0,64 × 5 = 13,2. La varianza dell’errore è 4(1 + 0,64) = 6,56 e la deviazione standard circa 2,561. Per un random walk con la stessa varianza delle innovazioni, la previsione senza drift rimane Y_t e la varianza a h passi è 4h, crescendo senza un limite finito. La diversa risposta dell’incertezza riflette la distinzione fra processo stazionario e trend stocastico.

Esercizio svolto: una previsione MA(1)

Si consideri Y_t = 5 + ε_t + 0,4ε_t-1, con innovazioni indipendenti di media zero e varianza nove. Se l’innovazione corrente ricostruita è ε_t = 2, la previsione a un passo è 5 + 0,4 × 2 = 5,8. A due o più passi, nessuna innovazione nota entra nel valore futuro e la previsione è cinque. La varianza dell’errore a un passo è nove; a due passi è 9(1 + 0,16) = 10,44. Il termine MA utilizza innovazioni, non valori passati dell’esito: sostituire ε_t con Y_t senza sottrarre la componente prevista produrrebbe un modello diverso.

Effetti che si sviluppano nel tempo

Una variazione economica può influenzare l’esito immediatamente e attraverso periodi successivi. Pubblicità, investimenti o variazioni dei costi possono avere effetti ritardati per contratti, abitudini e tempi di aggiustamento. Un modello a ritardi distribuiti finiti scrive y_t = α + β₀x_t + β₁x_t-1 + … + βq x_t-q + u_t. β_j descrive la relazione con una variazione di x avvenuta j periodi prima, condizionatamente agli altri termini. L’interpretazione causale richiede che la variazione utilizzata sia esogena rispetto agli errori pertinenti.

L’inclusione di ritardi non rende automaticamente causale un modello. Un valore passato di x può essere correlato con shock persistenti, anticipazioni o variabili omesse. L’ordine temporale è necessario per molti ragionamenti causali, ma non sufficiente. Inoltre, la frequenza dei dati determina il significato del ritardo: un trimestre e un mese non sono unità intercambiabili. Aggregare una dinamica mensile può produrre coefficienti trimestrali che non coincidono con una semplice somma di quelli originari.

Shock temporaneo e cambiamento permanente

Se x aumenta di una unità soltanto nel periodo t e poi torna al livello precedente, gli effetti nel modello distribuito sono β₀ al tempo t, β₁ al tempo t + 1 e così via fino a βq. Se invece x aumenta permanentemente di una unità da t in avanti, l’effetto iniziale è β₀, dopo un periodo è β₀ + β₁ e a regime è ∑_j=0qβ_j. Il medesimo modello produce quindi traiettorie diverse a seconda del tipo di variazione. La domanda deve specificare se si considera un impulso o un cambiamento permanente.

Con β₀ = 0,4, β₁ = 0,3 e β₂ = 0,1, uno shock temporaneo produce effetti 0,4, 0,3 e 0,1, poi zero. Un aumento permanente produce 0,4, poi 0,7 e infine 0,8. La somma 0,8 è il moltiplicatore cumulato del modello. Non va confusa con l’effetto del primo periodo. L’incertezza della somma richiede tutte le varianze e covarianze dei coefficienti, attraverso a′V̂a con a composto da uno nelle posizioni pertinenti.

Ritardi e collinearità

Quando x è persistente, valori contemporanei e ritardati sono fortemente correlati. I singoli β_j possono essere imprecisi anche se la somma è stimata meglio. Il modello può riconoscere che esiste un effetto complessivo senza distinguere con precisione in quale periodo si realizzi. Interpretare ogni coefficiente in base al suo p-value può dare una falsa impressione di assenza di effetto. Sono importanti test congiunti e intervalli dei moltiplicatori cumulati.

Aggiungere molti ritardi consuma gradi di libertà e può aumentare la variabilità. Omettere ritardi rilevanti può invece lasciare dinamica nell’errore e distorcere coefficienti se i regressori inclusi sono correlati con quelli omessi. La scelta dell’orizzonte può basarsi su teoria, frequenza, criteri informativi confrontabili e validazione temporale. Non dovrebbe essere effettuata cercando il numero di ritardi che rende significativo il coefficiente desiderato. L’incertezza dovuta alla selezione va considerata quando si formula inferenza confermativa.

Modello ardl

Un autoregressive distributed lag combina ritardi dell’esito e delle covariate:

I ritardi dell’esito rappresentano propagazione e aggiustamento, mentre quelli di x consentono una risposta distribuita. Se il modello è stabile e un equilibrio di lungo periodo è appropriato, il moltiplicatore di x è θ = (∑β_l)/(1 − ∑φ_j). L’effetto immediato rimane β₀. La formula nasce ponendo le variabili ai loro livelli costanti di equilibrio, non dall’interpretazione isolata di un coefficiente della tabella.

La stabilità richiede condizioni sul polinomio autoregressivo, non soltanto un denominatore positivo. Se i regressori sono integrati, l’interpretazione del livello di equilibrio richiede un quadro di cointegrazione appropriato. Un rapporto calcolabile non dimostra l’esistenza di una relazione di lungo periodo. Inoltre, se x è endogena rispetto a u, OLS può non identificare i parametri strutturali. La dinamica non sostituisce strumenti o restrizioni economiche quando la decisione su x risponde agli stessi shock dell’esito.

Moltiplicatori dinamici

In un ARDL(1,1), y_t = c + φy_t-1 + β₀x_t + β₁x_t-1 + u_t, la risposta a un impulso unitario di x è m₀ = β₀, m₁ = φβ₀ + β₁ e mₕ = φmₕ_-1 per h ≥ 2. La somma degli effetti, se |φ| < 1, è (β₀ + β₁)/(1 − φ). La risposta a un cambiamento permanente è la somma cumulata delle risposte agli impulsi. Questa rappresentazione rende più chiaro il contributo separato dell’effetto diretto ritardato e della propagazione attraverso y.

Con φ = 0,5, β₀ = 0,4 e β₁ = 0,2, la risposta a un impulso è 0,4, 0,4, 0,2, 0,1 e così via. La somma è 1,2. Un cambiamento permanente produce 0,4 nel primo periodo, 0,8 nel secondo, 1,0 nel terzo e converge a 1,2. Dire che l’effetto è 0,4 descrive soltanto l’impatto immediato; dire che è 1,2 descrive il confronto di lungo periodo sotto stabilità. Entrambi possono essere pertinenti, ma rispondono a orizzonti diversi.

Rappresentazione a correzione dell’errore

Lo stesso ARDL(1,1) può essere riscritto come Δy_t = c + (φ − 1)y_t-1 + (β₀ + β₁)x_t-1 + β₀Δx_t + u_t. Definendo λ = φ − 1, θ = (β₀ + β₁)/(1 − φ) e μ = c/(1 − φ), si ottiene:

Il termine fra parentesi è uno scostamento dalla relazione di equilibrio. Con λ negativo e condizioni di stabilità, un y sopra il livello coerente con x tende a essere corretto verso il basso. La riscrittura separa dinamica di breve periodo e relazione di livello. È un’identità algebrica del modello, ma l’interpretazione come error correction model con variabili integrate richiede che la combinazione di livello sia stazionaria e che i parametri siano identificati.

Nell’esempio φ = 0,5, λ = −0,5 e θ = 1,2. A covariata invariata, uno scostamento positivo di dieci unità dall’equilibrio produce una correzione prevista di −5 nel periodo successivo, prima di altri shock. La frase «si corregge il 50% dello squilibrio» è una descrizione del modello lineare a un ritardo, non una legge universale del processo economico. Con più ritardi la velocità di aggiustamento complessiva può avere una dinamica più complessa e includere oscillazioni.

Esogeneità e retroazioni

L’ortogonalità contemporanea E(x_tu_t) = 0 può non bastare per tutte le proprietà di un modello dinamico. Se x futuro reagisce a u corrente, la stretta esogeneità fallisce, anche se alcune stime possono restare consistenti sotto condizioni più deboli e una specificazione appropriata. La debole esogeneità è una nozione relativa all’inferenza su certi parametri in un sistema, non semplicemente sinonimo di regressore ritardato. La terminologia deve essere collegata alle condizioni del modello congiunto.

Se l’obiettivo è prevedere y e x è prevedibile con lo stesso insieme informativo, una regressione condizionata può essere utile anche senza interpretazione causale. Se l’obiettivo è simulare un intervento che modifica x, occorre che i parametri siano invarianti rispetto a quell’intervento o che il sistema rappresenti le retroazioni. Una relazione stimata durante un regime può cambiare quando cambiano incentivi e regole. La previsione condizionata e l’analisi strutturale di scenari non devono essere confuse.

Restrizioni sulla forma dei ritardi

Per ridurre il numero di parametri si possono imporre strutture ai coefficienti dei ritardi. Un polinomio di Almon rappresenta β_j come funzione polinomiale di j; ritardi geometrici assumono β_j = βλʲ. Queste restrizioni possono migliorare la precisione se plausibili, ma introducono bias se la vera risposta ha una forma diversa. Ordine del polinomio, lunghezza massima e vincoli agli estremi devono essere motivati. Un profilo liscio non è automaticamente economicamente corretto.

Nel modello a ritardi geometrici, una trasformazione di Koyck può introdurre y_t-1 e un errore u_t − λu_t-1. Il ritardo dell’esito è allora correlato con l’errore trasformato attraverso u_t-1, salvo strutture aggiuntive. Applicare OLS come se la trasformazione avesse eliminato ogni problema può essere sbagliato. L’equivalenza algebrica non garantisce l’esogeneità della nuova equazione. È un esempio importante di come semplificare la dinamica possa creare una correlazione che richiede strumenti o una stima coerente del sistema.

Shock, interventi e dummy dinamiche

Una dummy impulso vale uno in un solo periodo; una dummy gradino vale uno dalla data dell’intervento in avanti; un trend spezzato cambia pendenza dopo una data. Questi regressori rappresentano effetti diversi. Un impulso in un modello autoregressivo può propagarsi tramite i ritardi dell’esito; un gradino può produrre un cambiamento permanente con aggiustamento graduale. La scelta dovrebbe seguire il meccanismo e la definizione dell’intervento, non il profilo che meglio si adatta ex post.

Una data scelta osservando un’anomalia richiede cautela nell’inferenza, perché il test non è più quello di una data fissata indipendentemente dai dati. Shock concomitanti e cambiamenti di misura possono rendere ambiguo il coefficiente di una dummy. La regressione di intervento può descrivere una discontinuità temporale, ma non identifica automaticamente una causa senza un controfattuale credibile. Il tempo stesso contiene molti eventi e tendenze che possono coincidere con la data studiata.

Diagnostica e confronti di modelli

Residui serialmente correlati possono segnalare ritardi omessi, una componente MA o altre misspecificazioni. HAC può rendere più robusta l’inferenza su un modello correttamente identificato, ma non sostituisce una dinamica della media necessaria per la domanda. Se l’esito ritardato è correlato con l’errore, una covarianza HAC non corregge la distorsione. La diagnostica deve quindi stabilire se il problema riguarda solo la covarianza o anche le condizioni sui coefficienti.

Confronti fra modelli devono usare campioni coerenti, poiché aggiungere ritardi riduce le osservazioni iniziali utilizzabili. Per separare l’effetto della specificazione da quello del campione, si possono stimare le alternative sul medesimo intervallo. La validazione fuori campione deve rispettare l’ordine temporale e non usare covariate future non disponibili. Una regressione dinamica ben adattata nel campione non è necessariamente la migliore procedura previsiva né la migliore rappresentazione causale.

Esercizio svolto: intervallo del lungo periodo

Per θ = β/(1 − φ), il gradiente rispetto a (β,φ) è (1/(1 − φ), β/(1 − φ)²). Con β = 0,8 e φ = 0,6, il gradiente è (2,5; 5). Se Var(β̂) = 0,01, Var(φ̂) = 0,0025 e Cov(β̂,φ̂) = 0,001, la varianza delta di θ̂ è 2,5² × 0,01 + 5² × 0,0025 + 2 × 2,5 × 5 × 0,001 = 0,15. L’errore standard è circa 0,3873. Dividere soltanto l’errore standard di β̂ per 1 − φ ignorerebbe l’incertezza di φ e la covarianza.

L’insieme informativo del previsore

Una previsione formulata al tempo t deve utilizzare soltanto informazioni disponibili entro t. Questo include date di pubblicazione, ritardi di registrazione e versioni dei dati. Una variabile riferita al mese t può essere pubblicata nel mese t + 1 e non essere disponibile quando la previsione viene effettuata. Usare il valore definitivo rivisto mesi dopo può rendere la valutazione troppo ottimistica. L’orizzonte h e la data di origine devono essere registrati insieme a ogni previsione.

Il nowcasting stima un periodo corrente o appena concluso i cui dati non sono ancora completamente disponibili; il forecasting riguarda periodi futuri. Entrambi richiedono un calendario informativo coerente. Un modello può avere molti regressori, ma alla data di origine alcuni saranno mancanti per ritardo di pubblicazione. Il trattamento di questo ragged edge fa parte della procedura, non può essere risolto inserendo ex post informazioni non disponibili. La valutazione deve riprodurre il problema operativo reale.

Previsione puntuale e distributiva

Sotto perdita quadratica, la previsione puntuale ottimale è E(Y_t+ₕ|I_t), dove I_t è l’informazione disponibile. Una previsione distributiva specifica l’intera distribuzione condizionata, permettendo quantili, probabilità di superare soglie e intervalli. Due modelli con la stessa media possono avere rischi molto diversi nelle code. La scelta della quantità da prevedere deve essere collegata alla decisione: inventario, liquidità e capacità produttiva possono richiedere quantili o probabilità, non soltanto una media.

La previsione puntuale non è una promessa del valore futuro. Anche un modello correttamente specificato lascia innovazioni non prevedibili. La distanza fra previsione e realizzazione non dimostra da sola che il modello fosse irrazionale o sbagliato; va confrontata con la distribuzione dell’errore e con benchmark. Un singolo errore piccolo non dimostra superiorità. La valutazione richiede una sequenza di origini previsive e un criterio fissato in modo coerente.

Previsioni iterate e dirette

Una previsione iterata stima un modello a un passo e lo applica ricorsivamente per raggiungere h passi. Può sfruttare una struttura dinamica parsimoniosa, ma propaga eventuali misspecificazioni del modello. Una previsione diretta stima un’equazione separata di Y_t+ₕ sulle informazioni in t per ciascun h. Può essere più robusta a certe misspecificazioni, ma usa meno coppie osservabili per orizzonti lunghi e stima più parametri. Nessuna strategia domina universalmente.

Per un AR(1) correttamente specificato, l’iterazione usa la struttura geometrica e può essere efficiente. Se la dinamica vera è più complessa, una regressione diretta può approssimare meglio un particolare orizzonte. La scelta va valutata fuori campione, evitando di confrontare prestazioni ottenute su origini diverse senza chiarirlo. Orizzonti multipli generano errori sovrapposti e dipendenza che devono entrare nell’inferenza dei confronti.

Covariate future e scenari

Una regressione che prevede Y_t+ₕ usando X_t+ₕ richiede una previsione anche di X oppure un valore futuro noto. Inserire la realizzazione effettiva di X_t+ₕ produce una previsione condizionata a informazione futura, diversa da quella operativa. Gli errori di previsione delle covariate possono aumentare l’incertezza dell’esito e devono essere propagati attraverso simulazione o un modello congiunto. Trattare le covariate previste come certe può rendere gli intervalli troppo stretti.

Uno scenario fissa intenzionalmente un percorso di X e calcola cosa prevede il modello sotto quel percorso. Non assegna automaticamente una probabilità allo scenario e non è necessariamente una previsione incondizionata. Se lo scenario è un intervento causale, occorrono inoltre parametri strutturali o ipotesi di invariabilità adeguate. Una proiezione condizionata «se X seguisse questo percorso» deve essere distinta dall’affermazione «X seguirà questo percorso».

Finestre espandenti e mobili

Una finestra espandente usa tutte le osservazioni disponibili fino a ogni origine. Può migliorare precisione quando il processo è stabile. Una finestra mobile usa soltanto un numero fisso di periodi recenti, riducendo il peso di regimi lontani ma aumentando la varianza della stima. La lunghezza della finestra è un iperparametro da scegliere senza contaminare il test finale. Una valutazione che decide ex post la finestra migliore sullo stesso periodo di test sovrastima la prestazione della procedura selezionata.

La valutazione rolling-origin produce previsioni ripetute: si stima fino a t, si prevede t + h, si sposta l’origine e si ripete. Trasformazioni, selezione dei ritardi e standardizzazioni devono essere ricalcolate usando soltanto il training di ciascuna origine. Una destagionalizzazione o un filtro stimato sull’intera serie può trasferire informazione futura anche se la regressione finale usa soltanto ritardi. Il controllo del leakage deve comprendere tutto il flusso analitico.

Benchmark previsivi

Un benchmark semplice è indispensabile per capire se la complessità aggiunge valore. Per una serie persistente, la previsione naive usa l’ultimo valore; per una serie stagionale, la seasonal naive usa l’ultimo valore della stessa stagione; per una serie con crescita stabile si può considerare un drift stimato nel training. La media storica è pertinente per alcune serie stazionarie. Il benchmark deve essere plausibile per il problema, non deliberatamente debole per favorire il modello proposto.

Superare un benchmark su un breve periodo non garantisce un vantaggio stabile. Il risultato può dipendere da pochi eventi o da un regime particolare. È utile esaminare prestazioni per orizzonte, sottoperiodo e scala dell’errore, mantenendo trasparente il numero dei confronti. Il riferimento R3 offre una trattazione operativa della previsione temporale e dei benchmark. Il criterio centrale rimane la prestazione su informazioni realisticamente disponibili, non la sofisticazione del nome del modello.

Metriche scalate e asimmetriche

RMSE e MAE sono espressi nell’unità dell’esito. Per confrontare serie di scale diverse, MASE divide l’errore assoluto medio di test per un errore naive medio calcolato nel training, con lag stagionale quando pertinente. Il denominatore deve essere positivo e definito: una serie costante può renderlo nullo. MAPE è problematico con zeri e valori piccoli e non deve essere applicato senza valutare supporto e significato delle percentuali.

Se sottostimare costa più che sovrastimare, una perdita asimmetrica può essere più appropriata. La pinball loss per un quantile τ è ρτ(e) = e[τ − 1(e < 0)], con e = y − q̂τ. Un quantile alto riduce il rischio di sottostima al costo di più sovrastima. La scelta di τ dovrebbe riflettere i costi marginali della decisione. Il modello migliore sotto RMSE può non essere quello economicamente preferibile sotto una perdita asimmetrica.

Confronto di accuratezza e test diebold–mariano

Per due modelli A e B, si definisce d_t = L(eA,_t) − L(eB,_t). La nulla di uguale accuratezza media è E(d_t) = 0. Una statistica di Diebold–Mariano standardizza la media dei differenziali attraverso una stima della sua varianza di lungo periodo. Con errori previsivi sovrapposti o altra dipendenza, non basta la varianza campionaria i.i.d. di d_t. L’orizzonte e il procedimento di stima influenzano la struttura temporale del confronto.

L’approssimazione può essere scadente con poche previsioni, forte dipendenza o modelli annidati, per i quali la differenza di perdita può avere un comportamento particolare sotto la nulla. Esistono correzioni e test specifici, ma non è corretto applicare una formula universale a ogni confronto. Un non rifiuto non dimostra che i modelli siano equivalenti: può mancare potenza. La grandezza della differenza di errore e la sua rilevanza economica vanno riportate insieme all’incertezza.

Calibrazione delle previsioni

Una verifica descrittiva di calibrazione può regredire l’esito realizzato sulla previsione e testare intercetta zero e pendenza uno, con covarianza coerente con la dipendenza. La regressione di Mincer–Zarnowitz valuta certe implicazioni della previsione, ma non esaurisce ogni forma di efficienza rispetto all’informazione disponibile. Parametri stimati, orizzonti sovrapposti e selezione dei modelli possono influire sulla distribuzione del test. Una pendenza diversa da uno può indicare previsioni troppo variabili o troppo compresse, nel contesto del confronto.

Si può anche verificare se gli errori siano prevedibili attraverso informazioni note all’origine. Se una variabile disponibile spiega sistematicamente l’errore, il modello potrebbe non utilizzare pienamente l’informazione pertinente. Il test deve evitare di usare variabili note soltanto dopo la previsione. L’efficienza è sempre relativa a un insieme informativo e a una funzione di perdita. Non esiste una verifica che certifichi in generale la migliore previsione possibile rispetto a ogni informazione concepibile.

Intervalli previsivi e copertura

Un intervallo al 90% dovrebbe contenere la realizzazione con frequenza coerente con il livello nel quadro probabilistico specificato. La copertura marginale complessiva può nascondere problemi: il modello potrebbe coprire troppo nei periodi tranquilli e troppo poco in quelli turbolenti. Ampiezza e copertura vanno valutate insieme, perché intervalli enormi possono coprire bene senza essere utili. La valutazione di intervalli usa criteri che penalizzano sia larghezza sia mancate coperture, con pesi coerenti con il livello.

Gli intervalli devono includere innovazioni future e, quando rilevante, incertezza dei parametri e delle covariate. Una fan chart visualizza quantili diversi, non percorsi equiprobabili del futuro. Per variabili positive o logaritmiche, gli intervalli possono essere asimmetrici dopo ritrasformazione. La copertura di ogni singolo orizzonte non coincide con la probabilità che l’intera traiettoria rimanga contemporaneamente entro le bande. Questa distinzione è importante quando si pianifica su molti periodi.

Valutazione delle densità

Una previsione distributiva può essere valutata con log score o altri punteggi propri, che incentivano probabilità ben calibrate rispetto alla distribuzione vera nel quadro atteso. Il probability integral transform usa F̂_t(Y_t) per esiti continui: sotto una distribuzione condizionata corretta, questi valori hanno proprietà uniformi e, con condizioni informative appropriate, assenza di dipendenza prevedibile. Deviazioni possono segnalare bias, dispersione sbagliata o code mal rappresentate. Per esiti discreti occorrono adattamenti, non la stessa uniforme continua applicata meccanicamente.

Un modello può prevedere bene la media e male le code, oppure avere intervalli ben calibrati ma una media non ottimale per una perdita specifica. La valutazione dovrebbe riflettere l’uso: probabilità di carenza, superamento di limiti o esiti estremi richiedono attenzione alle regioni pertinenti della distribuzione. Se gli eventi estremi sono rari, la loro valutazione è necessariamente incerta. Molte simulazioni generate dal modello non sostituiscono molte realizzazioni indipendenti di eventi rari.

Combinare previsioni e gestire cambiamenti

Una combinazione semplice di previsioni può ridurre la variabilità dovuta alla scelta del modello, soprattutto quando gli errori non sono perfettamente correlati. Pesi stimati possono migliorare l’adattamento ma anche sovra-adattarsi a un periodo breve; una media semplice è un benchmark utile. La combinazione non elimina un bias condiviso da tutti i modelli né protegge automaticamente da un cambiamento strutturale. Diversità reale delle fonti informative conta più del numero di modelli quasi identici.

La prestazione dovrebbe essere monitorata con regole definite, distinguendo rumore ordinario e deterioramento persistente. Ristimare continuamente in risposta a ogni errore può introdurre instabilità; non aggiornare dopo un cambiamento può rendere il modello obsoleto. Il compromesso può essere studiato attraverso validazione temporale. Un’analisi riproducibile conserva previsioni formulate, versioni dei dati e decisioni di aggiornamento, evitando di sostituire retroattivamente le previsioni sbagliate con quelle ottenute usando informazione successiva.

Esercizio svolto: benchmark e perdita

In quattro origini, il modello A ha errori 2, −2, 2, −2 e il benchmark errori 1, −1, 4, −4. Il MSE di A è quattro; quello del benchmark è 8,5. Il rapporto è 4/8,5 ≈ 0,4706 e la riduzione relativa del MSE è circa 52,94%. Questo è un risultato descrittivo su quattro errori, non una prova di superiorità generale. Per inferenza servono una sequenza più informativa, la dipendenza dei differenziali e un confronto pianificato. La grandezza percentuale può sembrare notevole anche quando il campione di valutazione è troppo piccolo per una conclusione stabile.

Processi integrati

Una serie è integrata di ordine d, indicata I(d), quando richiede d differenze per ottenere un processo I(0) secondo la definizione e le condizioni adottate. Nel caso I(1), il livello contiene una componente stocastica persistente e la differenza prima è stazionaria. Un random walk è l’esempio elementare. Non tutte le serie con una tendenza visibile sono I(1): una tendenza deterministica con errori stazionari è un processo diverso. La distinzione influenza stima, distribuzioni dei test e previsione.

L’ordine di integrazione non è una caratteristica da assegnare automaticamente in base al nome della variabile. Prezzi, redditi e quantità possono avere comportamenti diversi secondo periodo, trasformazione e definizione. Le variazioni percentuali possono essere stabili in un intervallo e cambiare regime in un altro. Test, grafici e conoscenza del processo devono essere considerati insieme. Un non rifiuto della radice unitaria non dimostra che la serie sia esattamente un random walk.

Il test dickey–fuller

Partendo da Y_t = ρY_t-1 + ε_t, si riscrive ΔY_t = δY_t-1 + ε_t, con δ = ρ − 1. La nulla di radice unitaria è δ = 0; un’alternativa stazionaria semplice richiede δ < 0 e condizioni appropriate. La statistica che confronta δ̂ con zero ha una distribuzione non standard sotto la nulla, perché Y_t-1 è non stazionaria. Non si utilizzano automaticamente i quantili della t di Student. La presenza di intercetta o trend modifica la distribuzione di riferimento.

La scelta dei termini deterministici è sostanziale. Un test senza intercetta impone una struttura diversa da uno con drift o con trend lineare. Inserire un trend non necessario può ridurre la potenza; ometterne uno rilevante può rendere il test mal specificato. La decisione non dovrebbe essere presa soltanto cercando la versione che rifiuta. Occorre considerare il grafico, la teoria e il significato economico di una media o crescita deterministica nella serie.

Augmented dickey–fuller

Il test ADF aggiunge differenze ritardate per rappresentare la dipendenza seriale: ΔY_t = a + bt + δY_t-1 + ∑_j=1pγ_jΔY_t-j + ε_t. Il test su δ utilizza valori critici Dickey–Fuller appropriati, non quelli della regressione ordinaria. I ritardi devono rendere plausibile una struttura residua adeguata senza consumare eccessivamente l’informazione. Pochi ritardi possono lasciare autocorrelazione; troppi possono ridurre la potenza. La selezione può usare criteri e controlli diagnostici coerenti.

La potenza può essere bassa contro alternative molto persistenti. Una serie con coefficiente 0,98 può essere difficile da distinguere da una radice unitaria in un campione breve. La conclusione dovrebbe quindi esprimere l’evidenza e l’incertezza, non attribuire con certezza un ordine di integrazione sulla base di un solo p-value. Rotture, stagionalità, eteroschedasticità e outlier possono influenzare il comportamento del test. L’analisi preliminare non è sostituibile con l’esecuzione automatica di ADF.

Test con nulla differente

Il test Phillips–Perron affronta certe forme di dipendenza ed eteroschedasticità attraverso correzioni non parametriche della statistica, sotto condizioni specifiche. Il test KPSS adotta invece una nulla di stazionarietà attorno a una costante o a un trend, secondo la versione. Usare test con nulle diverse può aiutare a comprendere l’incertezza: non rifiutare ADF e non rifiutare KPSS può indicare scarsa informazione; rifiutare entrambi può segnalare incompatibilità con le semplici alternative considerate, per esempio rotture o altra misspecificazione.

Non esiste una regola logica secondo cui il risultato di due test elimini ogni ambiguità. Ogni procedura ha potenza, livello e condizioni proprie. Una tabella dovrebbe specificare termini deterministici, ritardi o banda e periodo del campione. Con variabili stagionali possono essere necessari test di radici stagionali; con rotture note o ignote, procedure che le rappresentino. L’ordine di integrazione è una componente del modello da sostenere, non un certificato ottenuto una volta per tutte.

Regressioni spurie

Due serie I(1) indipendenti possono produrre una regressione in livelli con R² elevato e statistiche convenzionali apparentemente significative. Le tendenze stocastiche generano persistenza e le approssimazioni usuali della regressione stazionaria non valgono. Il risultato è detto regressione spuria. La significatività non dimostra una relazione economica: può riflettere la struttura temporale non stazionaria. Anche una lunga sequenza di residui autocorrelati può segnalare che la regressione non ha eliminato il trend stocastico.

Usare errori standard HAC non risolve automaticamente una regressione spuria fra livelli non cointegrati. HAC presuppone condizioni di dipendenza e momenti che non rappresentano la non stazionarietà di una radice unitaria. Differenziare può produrre una regressione fra variazioni stazionarie, ma cambia l’oggetto dal livello al cambiamento e può perdere una relazione di lungo periodo se esiste cointegrazione. La risposta corretta dipende dalla struttura congiunta delle serie, non da una correzione universale degli errori standard.

Cointegrazione

Due serie Y_t e X_t I(1) sono cointegrate se esiste una combinazione Y_t − α − βX_t che è I(0), con β non banale nella definizione pertinente. Ciascuna serie può allontanarsi persistentemente dal proprio livello, ma la loro differenza di equilibrio rimane stabile. La cointegrazione descrive una relazione di lungo periodo che limita la divergenza fra trend stocastici. Non implica che ogni scostamento venga corretto da una sola variabile né dimostra una direzione causale.

Un esempio è X_t random walk e Y_t = 3 + 2X_t + v_t, con v_t stazionario. Y e X sono I(1), ma Y_t − 3 − 2X_t = v_t è stazionario. Regressare i livelli può quindi avere un significato diverso dalla regressione di due random walk indipendenti. Occorre verificare che la combinazione residua elimini il trend stocastico e usare inferenza appropriata. Un R² elevato non distingue da solo cointegrazione e regressione spuria.

Procedura engle–granger

La procedura a due passi stima una relazione di livello e verifica se i residui stimati sono stazionari. Nel secondo passo non si usano automaticamente i valori critici ADF ordinari, perché i residui dipendono da coefficienti stimati nel primo passo. La distribuzione del test di cointegrazione dipende anche dai termini deterministici e dal numero di regressori. Il riferimento R23 riporta il contributo di Engle e Granger sulla rappresentazione e la stima dei sistemi cointegrati.

La normalizzazione della relazione può incidere sul comportamento finito di un procedimento a singola equazione. Con più variabili possono esistere più relazioni di cointegrazione, che il metodo a due variabili non rappresenta completamente. La scelta della variabile a sinistra dovrebbe essere motivata dall’obiettivo e dalle condizioni del sistema. Un test che non rifiuta assenza di cointegrazione può avere poca potenza; un rifiuto richiede comunque di discutere stabilità, rotture e plausibilità economica della relazione.

Superconsistenza e inferenza

In una regressione cointegrante correttamente specificata, OLS può convergere al coefficiente di lungo periodo più rapidamente della consueta velocità √T, sotto condizioni appropriate. Questa proprietà è detta superconsistenza. Non rende automaticamente valide le statistiche t convenzionali: endogeneità di lungo periodo e correlazione seriale possono influenzare la distribuzione limite. Una stima puntuale molto accurata asintoticamente può avere inferenza standard inadeguata se si ignorano questi elementi.

DOLS aggiunge anticipi e ritardi delle differenze dei regressori nella relazione cointegrante per gestire certe componenti di endogeneità e dipendenza, sotto il quadro teorico appropriato. FMOLS utilizza correzioni basate su covarianze di lungo periodo. Queste procedure non sono semplici abbellimenti della regressione OLS: mirano a una distribuzione inferenziale adeguata del parametro di lungo periodo. La selezione dei ritardi, la banda e la struttura dei termini deterministici devono essere documentate.

Modello a correzione dell’errore

Se esiste una relazione cointegrante e valgono le condizioni della rappresentazione, la dinamica può essere scritta attraverso variazioni e uno scostamento di equilibrio ritardato. Un’equazione illustrativa è ΔY_t = λ(Y_t-1 − α − βX_t-1) + γΔX_t + altri ritardi + u_t. λ descrive come Y reagisce a uno squilibrio precedente. Con la normalizzazione indicata, λ negativo rappresenta una correzione di Y quando è sopra il livello di equilibrio, ma l’intero sistema può prevedere aggiustamenti anche di X.

Un λ significativo non dimostra da solo una causalità strutturale da X a Y. Può descrivere prevedibilità e aggiustamento all’interno di un sistema. Se X è endogena contemporaneamente, l’equazione richiede un trattamento appropriato. La relazione di lungo periodo e la dinamica di breve periodo devono essere coerenti; eliminare il termine di correzione quando le variabili sono cointegrate può omettere informazione utile. Al contrario, inserirlo senza una relazione stazionaria verificata può produrre una specificazione ingiustificata.

Più serie e rango di cointegrazione

Con K variabili I(1), possono esistere r relazioni di cointegrazione indipendenti, con 0 ≤ r < K nel caso usuale in cui rimangono trend stocastici. Se r = 0, non vi sono combinazioni stazionarie non banali; se r > 0, il sistema contiene restrizioni di lungo periodo. Il metodo di Johansen studia il rango in un VECM, con distribuzioni dei test che dipendono da specificazione e termini deterministici. Il rango non va scelto usando soglie ordinarie di una regressione statica.

Lag insufficienti, campioni piccoli e rotture possono influenzare la scelta. Le relazioni stimate sono identificate come uno spazio: per interpretare singoli vettori occorrono normalizzazioni e talvolta restrizioni economiche. Una matrice di coefficienti stampata dal software non fornisce automaticamente equazioni strutturali uniche. Occorre distinguere lo spazio cointegrante dalle interpretazioni causali attribuite alle sue singole combinazioni.

Ardl, bounds e limiti delle procedure

Approcci ARDL con test bounds possono considerare combinazioni di regressori I(0) e I(1) sotto le condizioni previste, ma non sono validi automaticamente in presenza di variabili I(2). Il confronto utilizza limiti critici specifici e può risultare inconcludente quando la statistica cade fra essi. Termini deterministici, dimensione del campione e specificazione dinamica contano. Non è una procedura che evita ogni analisi preliminare dell’integrazione o identifica causalità di lungo periodo senza ulteriori ipotesi.

Rotture nella relazione cointegrante possono rendere una combinazione stabile in un regime e instabile nell’intero campione. Un coefficiente medio di lungo periodo può allora essere fuorviante. La sensibilità a periodi, cambiamenti di definizione e date plausibili è importante. Le conclusioni dovrebbero separare evidenza di una relazione statistica stabile, precisione dei coefficienti e interpretazione economica. Non ogni relazione di lungo periodo è una legge invariabile rispetto a cambiamenti del contesto.

Esercizio svolto: cointegrazione o semplice correlazione?

Sia X_t = X_t-1 + ε_t e sia Y_t = 5 + 3X_t + v_t, dove v_t = 0,4v_t-1 + η_t è stazionario sotto le condizioni usuali. La combinazione Y_t − 5 − 3X_t è v_t e quindi I(0): esiste cointegrazione con coefficiente tre. Se invece Y_t fosse un random walk indipendente da X_t, una regressione in livelli potrebbe comunque avere un alto R² in un campione, ma nessuna combinazione fissa eliminerebbe in generale entrambi i trend indipendenti. La differenza essenziale è la stazionarietà della combinazione, non la grandezza della correlazione osservata.

Un sistema dinamico di variabili

Un vector autoregression, VAR(p), descrive un vettore Y_t di K variabili attraverso i suoi ritardi: Y_t = c + A₁Y_t-1 + … + ApY_t-p + u_t. Ogni equazione contiene ritardi di tutte le variabili, salvo restrizioni. Il sistema può rappresentare interazioni dinamiche senza imporre immediatamente una struttura contemporanea causale. Le innovazioni ridotte u_t possono essere correlate fra equazioni, perché condividono shock o combinazioni di shock strutturali.

Con gli stessi regressori in ogni equazione e condizioni di esogeneità temporale appropriate, OLS equazione per equazione è una procedura naturale per i coefficienti ridotti. La correlazione contemporanea degli errori non richiede automaticamente SUR per modificare le pendenze quando gli spazi dei regressori coincidono. Il problema principale per una lettura causale è distinguere le innovazioni ridotte dagli shock economici di interesse. Il VAR ridotto, da solo, identifica una distribuzione dinamica condizionata, non una struttura causale unica.

Stabilità e rappresentazione companion

La stabilità di un VAR dipende dagli autovalori della matrice companion, che devono essere interni al cerchio unitario per la soluzione stazionaria causale usuale. Equivalentemente, le radici del polinomio det(I − A₁z − … − Apzᵖ) devono essere esterne al cerchio unitario. Le due affermazioni usano oggetti diversi e non sono in contraddizione. Verificare separatamente che ogni coefficiente sia piccolo non basta a garantire stabilità del sistema.

In un VAR stabile, la media è μ = (I − A₁ − … − Ap)^-1c, quando l’inversa esiste. Il sistema ammette una rappresentazione a media mobile infinita Y_t − μ = ∑ₕ₌₀∞Ψₕu_t-ₕ, con Ψ₀ = I e coefficienti ricavati ricorsivamente. Le matrici Ψₕ descrivono come innovazioni ridotte si propagano nel sistema. La loro interpretazione strutturale richiede un’ulteriore mappa fra u_t e shock identificati.

Dimensione e scelta dei ritardi

Ogni equazione di un VAR non ristretto contiene circa Kp coefficienti dinamici, oltre ai termini deterministici. Il numero complessivo cresce rapidamente con K e p. Campioni limitati possono produrre stime instabili e previsioni deboli. Criteri informativi, test di restrizioni e validazione temporale aiutano a scegliere la complessità, ma devono usare campioni comparabili. Aggiungere variabili perché disponibili non garantisce un miglioramento del sistema.

VAR bayesiani, penalizzati o fattoriali possono ridurre la variabilità imponendo struttura o shrinkage. Il vantaggio dipende dalla pertinenza delle restrizioni. La selezione delle variabili dovrebbe partire dall’insieme informativo e dalla domanda economica, non soltanto da una ricerca di risposte impulsive interessanti. Anche termini deterministici, stagionalità e rotture devono essere rappresentati. Un VAR stabile su un periodo può non restare valido dopo un cambiamento del meccanismo.

Causalità di granger

X non causa Y nel senso di Granger, rispetto a un insieme informativo e a un modello specificati, se i ritardi di X non migliorano la previsione di Y oltre le altre informazioni incluse. In un VAR lineare, si può testare congiuntamente che i coefficienti dei ritardi di X nell’equazione di Y siano nulli. Il risultato riguarda prevedibilità temporale. Non dimostra un effetto causale di un intervento su X, perché variabili omesse, anticipazioni e shock comuni possono generare precedenza informativa.

Il significato dipende dall’insieme informativo. Aggiungere una variabile che anticipa entrambe le serie può modificare il test. Frequenza e aggregazione possono alterare quale variabile sembri precedere l’altra. Con variabili integrate o cointegrate, la procedura inferenziale deve essere appropriata alla struttura del sistema; test ordinari non sono automaticamente validi. La parola «causalità» in questo contesto va accompagnata dalla qualificazione predittiva, per evitare una conclusione più forte di quella identificata.

Innovazioni ridotte e shock strutturali

Si può scrivere u_t = Bε_t, con E(ε_tε_t′) = I e Σu = BB′. La matrice di covarianza ridotta non identifica B in modo unico: rotazioni ortogonali possono produrre la stessa Σu. Servono restrizioni aggiuntive. Una decomposizione di Cholesky sceglie B triangolare e incorpora un ordinamento ricorsivo contemporaneo. L’ordinamento stabilisce quali variabili possono reagire immediatamente ad altre e quali no. Non è una scelta neutra di visualizzazione.

Per K shock normalizzati, B contiene K² elementi mentre Σu fornisce K(K + 1)/2 momenti distinti; occorrono restrizioni aggiuntive per separare gli shock nella formulazione standard. Restrizioni di breve periodo, lungo periodo, segno o strumenti esterni offrono strategie diverse. Ciascuna deve essere motivata economicamente e può identificare un punto oppure un insieme di risposte. Una risposta impulsiva strutturale è credibile solo quanto le restrizioni che definiscono lo shock.

Risposte impulsive

La risposta al tempo h a uno shock strutturale unitario j è la colonna j di ΨₕB. È necessario specificare la scala: uno shock di una deviazione standard, di una unità della variabile o normalizzato per produrre un certo impatto iniziale. Risposte in livelli, logaritmi o differenze hanno interpretazioni diverse; per ottenere un effetto cumulato da una variabile differenziata occorre sommare le risposte con una procedura inferenziale coerente. La scala non può essere dedotta dal solo grafico.

Una risposta positiva a h = 2 non significa che la probabilità dell’evento sia aumentata né che l’effetto sia precisamente distinto da zero. Occorrono intervalli e una discussione dell’incertezza di stima e identificazione. Bande puntuali non garantiscono copertura simultanea dell’intera traiettoria. Bootstrap o metodi asintotici devono rispettare stabilità, dipendenza e procedura di identificazione. Se l’identificazione è debole, l’approssimazione convenzionale può essere inadeguata.

Restrizioni di segno e strumenti esterni

Restrizioni di segno impongono che alcune variabili reagiscano in una certa direzione per orizzonti specificati. Possono lasciare un insieme di matrici B compatibili con i dati e le restrizioni. Presentare un’unica curva senza chiarire come è stata scelta può nascondere l’incertezza identificante. Il segno imposto non è un risultato empirico scoperto dal modello: è un’ipotesi usata per selezionare gli shock. Le risposte non vincolate possono invece contenere informazione da valutare.

Uno strumento esterno per uno shock deve essere correlato con quello shock e ortogonale agli altri shock strutturali pertinenti, sotto la strategia specifica. La rilevanza e l’esclusione sono analoghe nella logica a IV, ma riguardano innovazioni del sistema. Una misura narrativa o un indicatore ad alta frequenza non è valido soltanto per il suo nome: occorre verificare quali informazioni contiene e quali canali può rappresentare. Strumenti deboli possono rendere fragili risposte impulsive e intervalli.

Scomposizione della varianza previsiva

La forecast error variance decomposition attribuisce la varianza dell’errore di previsione di una variabile ai diversi shock identificati, a un certo orizzonte. La quota dipende dalle matrici di propagazione e dalla normalizzazione degli shock. Non è una scomposizione causale universale indipendente dall’identificazione. Cambiare ordinamento di Cholesky o restrizioni può modificare le quote. L’orizzonte conta: uno shock può spiegare poco nel breve e molto nel lungo periodo.

Una quota elevata non implica che un intervento osservabile possa controllare quella componente con la stessa facilità. Lo shock è definito nel modello e può rappresentare una combinazione di eventi. La scomposizione descrive la variabilità prevista sotto la struttura stimata, non un’attribuzione storica automatica di responsabilità. Anche le historical decompositions richiedono la stessa identificazione e una gestione delle condizioni iniziali. La lettura economica deve restare proporzionata a ciò che il sistema identifica.

VECM e cointegrazione

Un VAR in livelli può essere riscritto come ΔY_t = c + ΠY_t-1 + ∑_j=1p−1Γ_jΔY_t-j + u_t. Se le variabili sono I(1) e il rango di Π è r con 0 < r < K, si può fattorizzare Π = αβ′. Le colonne di β definiscono relazioni cointegranti; α contiene coefficienti di aggiustamento. Il modello è un vector error correction model, VECM. Se r = 0 non vi è termine di correzione del livello; un rango pieno corrisponde a una struttura diversa da un sistema interamente I(1) con trend comuni.

Le matrici α e β non sono uniche senza normalizzazione: trasformazioni invertibili nello spazio cointegrante possono lasciare invariato Π. L’interpretazione di singole equazioni richiede quindi vincoli e convenzioni. Un elemento di α vicino a zero può suggerire che una variabile non aggiusti a una relazione, ma test e interpretazione di debole esogeneità richiedono il quadro completo. Non basta guardare un coefficiente isolato per assegnare una direzione causale al sistema.

Proiezioni locali

Le local projections stimano per ciascun orizzonte h una regressione dell’esito futuro sulla misura dello shock e sui controlli appropriati, per esempio Y_t+ₕ = aₕ + bₕShock_t + controlli temporali + errore_t+ₕ. bₕ descrive direttamente la risposta all’orizzonte h sotto le condizioni di identificazione dello shock. Il metodo evita di imporre che tutta la traiettoria derivi dall’iterazione di un unico VAR parametrico. Il contributo originario di Jordà è indicato nel riferimento R24.

La flessibilità può aumentare la varianza e produrre traiettorie meno lisce. Gli errori delle regressioni a più passi possono essere serialmente correlati, richiedendo inferenza coerente con sovrapposizione e disegno. Aggiungere molti ritardi può ridurre bias ma consumare informazione. Local projections non rendono automaticamente esogeno uno shock osservato: strumenti, controlli o un disegno credibile rimangono necessari. Una LP-IV combina proiezioni locali e identificazione strumentale, ereditandone anche i problemi di forza ed esclusione.

VAR e proiezioni locali a confronto

Un VAR correttamente specificato può sfruttare restrizioni dinamiche per ottenere maggiore precisione; una proiezione locale può essere più flessibile rispetto a certe misspecificazioni della dinamica. Il confronto non si risolve dichiarando un metodo sempre superiore. Contano lunghezza del campione, orizzonte, numero di variabili e credibilità delle restrizioni. Entrambi richiedono la stessa chiarezza sulla definizione dello shock quando si desidera un’interpretazione causale.

È utile confrontare traiettorie, intervalli e sensibilità a ritardi e campioni comuni. Differenze possono derivare da parametrizzazione, trattamento dei trend, normalizzazione dello shock o osservazioni disponibili ai diversi orizzonti. Prima di attribuirle a una contraddizione economica, occorre uniformare questi elementi. La comunicazione dovrebbe separare identificazione dello shock, stima della propagazione e inferenza, che sono tre passaggi distinti.

Esercizio svolto: propagazione in un VAR(1)

Un VAR(1) centrato ha A = [[0,5; 0,2], [0; 0,4]] e si considera un’innovazione ridotta iniziale (0,1)′. L’impatto è (0,1)′; dopo un periodo la risposta è A(0,1)′ = (0,2; 0,4)′; dopo due è A(0,2; 0,4)′ = (0,18; 0,16)′. La prima variabile reagisce attraverso il collegamento dalla seconda. Questo calcolo riguarda una specifica innovazione ridotta. Per chiamarla uno shock strutturale identificato occorre spiegare perché tale innovazione rappresenti il meccanismo economico di interesse e come siano trattate le correlazioni contemporanee.

Modellare la varianza nel tempo

Una serie può essere poco prevedibile nella media e molto prevedibile nella dispersione. Periodi con grandi scarti possono essere seguiti da altri periodi turbolenti, anche quando il segno degli scarti è difficile da prevedere. Questo fenomeno motiva modelli della varianza condizionata. Si scrive y_t = μ_t + ε_t, con ε_t = σ_tz_t, dove z_t ha media condizionata zero e varianza condizionata uno nel modello. σ_t² è la varianza dell’innovazione data l’informazione precedente.

La volatilità condizionata non coincide con il valore assoluto del rendimento osservato né con una media mobile calcolata senza modello. È una quantità non direttamente osservata che viene stimata attraverso la distribuzione delle innovazioni e la dinamica della scala. Un grande errore realizzato può verificarsi anche in un periodo di bassa varianza prevista. L’analisi deve distinguere previsione della dispersione, realizzazione dello shock e incertezza della stima dei parametri.

ARCH

Un ARCH(q) specifica σ_t² = ω + ∑_j=1qα_jε_t-j², con ω > 0 e coefficienti non negativi come condizioni sufficienti elementari per la positività. Errori passati grandi, indipendentemente dal segno nella versione simmetrica, aumentano la varianza prevista. Il modello descrive dipendenza nei quadrati pur potendo mantenere E(ε_t|I_t-1) = 0. Il contributo originario di Engle è indicato nel riferimento R25. La media e la varianza sono componenti diverse da specificare e diagnosticare.

Per ARCH(1), σ_t² = ω + αε_t-1². Se α < 1 e valgono le condizioni per una varianza finita, E(ε_t²) = ω/(1 − α). La varianza condizionata cambia ogni periodo, mentre quella incondizionata può essere costante. Questo mostra che eteroschedasticità condizionata e stazionarietà debole possono coesistere. Non bisogna concludere che una serie sia non stazionaria soltanto perché la sua volatilità prevista varia nel tempo.

Diagnostica di effetti ARCH

Dopo aver specificato la media, si possono esaminare ACF dei residui al quadrato e una regressione ausiliaria di û_t² sui suoi ritardi. Un test LM di effetti ARCH utilizza una statistica del tipo TR² con riferimento asintotico chi-quadrato sotto le condizioni pertinenti. Il numero dei ritardi definisce l’alternativa verificata. La procedura non dimostra che il modello ARCH scelto sia la vera dinamica, ma può indicare prevedibilità della varianza non rappresentata da un modello omoschedastico.

Una media mal specificata, outlier o rotture strutturali possono produrre pattern nei residui al quadrato. È quindi importante controllare prima e insieme la dinamica della media. Un cambiamento permanente della scala non è necessariamente ben descritto da una lenta persistenza GARCH. La diagnosi dovrebbe considerare grafici, calendario e qualità dei dati. L’assenza di un rifiuto può riflettere poca potenza e non certifica varianza costante in ogni contesto.

GARCH(1,1)

Il GARCH estende ARCH includendo ritardi della varianza stessa. La forma più comune è σ_t² = ω + αε_t-1² + βσ_t-1². Con ω > 0, α ≥ 0 e β ≥ 0 si mantiene positività nella costruzione usuale. α misura la risposta immediata a nuove innovazioni al quadrato; β rappresenta persistenza della varianza precedente. La somma α + β è importante per il decadimento della previsione della varianza nel modello regolare, ma i coefficienti hanno ruoli distinti.

Sotto condizioni appropriate, α + β < 1 garantisce una varianza incondizionata finita pari a ω/(1 − α − β). Il modello è stato introdotto da Bollerslev, riferimento R26. La stazionarietà stretta può essere studiata attraverso condizioni differenti, come un’aspettativa logaritmica sul coefficiente casuale della ricorsione; non coincide sempre con la condizione di secondo momento finito. Una serie può avere una soluzione strettamente stazionaria senza la varianza finita richiesta da molte formule convenzionali.

Esempio di aggiornamento della varianza

Si considerino ω = 0,1, α = 0,1 e β = 0,8. La somma è 0,9 e la varianza incondizionata è 0,1/0,1 = 1. Se ε_t² = 4 e σ_t² = 1, la varianza prevista per il periodo successivo è 0,1 + 0,1 × 4 + 0,8 × 1 = 1,3. Il grande shock osservato aumenta la previsione rispetto al livello di lungo periodo. Non significa che il prossimo errore avrà necessariamente valore assoluto √1,3: questa è una scala probabilistica.

Se non arrivassero ulteriori informazioni oltre a quelle disponibili in t, la previsione della varianza a due passi sarebbe 1 + 0,9(1,3 − 1) = 1,27. A tre passi sarebbe 1 + 0,9² × 0,3 = 1,243. Le previsioni convergono a uno. La velocità di ritorno dipende da α + β, mentre la prima reazione allo shock dipende anche dalla separazione fra α e β. Due modelli con la stessa persistenza possono reagire diversamente a una nuova osservazione estrema.

Previsioni a più passi

Per h ≥ 1, nel GARCH(1,1) con varianza finita, E_t(σ_t+ₕ²) = σ̄² + (α + β)^h-1[σ_t+1² − σ̄²], dove σ̄² = ω/(1 − α − β). Il primo passo è noto dalla ricorsione condizionatamente ai dati e ai parametri; i passi successivi integrano le innovazioni future. L’incertezza dei parametri non è inclusa automaticamente in questa formula. Con stime vicine al confine, gli intervalli della volatilità possono essere molto asimmetrici o sensibili alla parametrizzazione.

Per una somma di rendimenti futuri con innovazioni a media condizionata zero e condizioni che annullano le covarianze pertinenti, la varianza può essere ottenuta sommando le varianze condizionate previste. La regola della radice quadrata del tempo richiede ulteriori ipotesi di scala costante o una specifica aggregazione; non va applicata automaticamente a volatilità variabile e dipendenza. La frequenza della serie e l’orizzonte della decisione devono essere mantenuti coerenti.

Verosimiglianza e distribuzione delle innovazioni

Con innovazioni condizionalmente normali, il contributo alla log-verosimiglianza è −0,5[ln(2π) + ln(σ_t²) + ε_t²/σ_t²]. La ricorsione della varianza dipende dai parametri e dalle condizioni iniziali. La stima richiede vincoli e ottimizzazione numerica. Una quasi-verosimiglianza normale può essere utile sotto condizioni che identificano correttamente media e varianza anche con innovazioni non normali, ma la covarianza dei parametri deve essere adeguata e richiede momenti e regolarità specifici.

Distribuzioni t standardizzate possono rappresentare code più pesanti. Una t con ν gradi di libertà ha varianza finita soltanto per ν > 2; per usarla come z con varianza uno occorre una standardizzazione coerente. L’esistenza del quarto momento richiede ulteriori condizioni e può incidere sull’inferenza. Scegliere una t non risolve automaticamente ogni valore estremo o rottura. La distribuzione condizionata deve essere valutata attraverso residui standardizzati, code e prestazione previsiva.

Persistenza e momenti superiori

Una somma α + β vicina a uno implica lento decadimento della previsione della varianza nel modello, ma può anche riflettere cambiamenti strutturali non modellati. La condizione per un quarto momento finito è più restrittiva di quella per il secondo. Nel GARCH(1,1) con z indipendenti standardizzati, una condizione pertinente coinvolge E[(αz² + β)²] < 1. Con z normale, E(z⁴) = 3 e l’espressione diventa 3α² + 2αβ + β². Un secondo momento finito non garantisce quindi tutte le approssimazioni basate su momenti superiori.

Il caso α + β = 1 è spesso chiamato IGARCH nella parametrizzazione standard e non possiede la stessa varianza incondizionata finita ottenuta dividendo per 1 − α − β. Non si deve inserire il denominatore zero in una formula e interpretare il risultato come una previsione numerica ordinaria. La vicinanza a questo confine richiede cautela nell’inferenza e nella stima del livello di lungo periodo. La stabilità numerica dell’algoritmo non risolve l’incertezza econometrica sul confine.

Asimmetrie: gjr ed egarch

Un GJR-GARCH può includere γ1(ε_t-1 < 0)ε_t-1², consentendo reazioni diverse a innovazioni positive e negative. La positività richiede restrizioni appropriate, per esempio α ≥ 0 e α + γ ≥ 0 oltre alle altre condizioni della specificazione. Con innovazioni simmetriche standardizzate, la componente media aggiuntiva coinvolge γ/2 nella condizione di secondo momento; con distribuzioni asimmetriche occorre usare il momento pertinente e non sostituire automaticamente un mezzo.

Un EGARCH modella ln(σ_t²) come funzione di log-varianze passate e innovazioni standardizzate, per esempio ω + βln(σ_t-1²) + α(|z_t-1| − E|z|) + γz_t-1. La positività della varianza segue dall’esponenziale, ma stazionarietà e momenti richiedono comunque condizioni. Un γ negativo può rappresentare una risposta maggiore a innovazioni negative nella convenzione indicata. I segni dipendono dalla formula esatta: non vanno letti isolatamente dal modello.

Residui standardizzati e verifica

I residui standardizzati sono ẑ_t = ε̂_t/σ̂_t. Se media e varianza sono ben rappresentate, non dovrebbero conservare prevedibilità della media o dei quadrati incompatibile con il modello. Si possono esaminare ACF, test di dipendenza, distribuzione e quantili. Una buona eliminazione degli effetti ARCH non dimostra che le code siano corrette. Un modello può rappresentare bene la varianza e sottostimare probabilità di eventi estremi.

La valutazione fuori campione della volatilità è complicata dal fatto che la varianza vera non è osservata. Il quadrato dell’errore realizzato è un indicatore molto rumoroso; misure di volatilità realizzata richiedono dati e ipotesi ulteriori. Funzioni di perdita appropriate possono confrontare previsioni con proxy imperfette, ma la scelta e le condizioni devono essere esplicite. Non è corretto valutare la previsione della varianza come se fosse una quantità osservata senza errore in ogni periodo.

Quantili di perdita e limiti dell’interpretazione

Una distribuzione condizionata stimata consente di calcolare quantili delle perdite e medie di coda. Il Value at Risk a livello q è un quantile della distribuzione della perdita, non la perdita massima possibile. L’Expected Shortfall considera la coda oltre il quantile nella definizione appropriata. Queste quantità dipendono da distribuzione, orizzonte, media e volatilità, e possono essere molto sensibili alle code. Il modello GARCH da solo non specifica automaticamente tutti questi elementi.

Un quantile al 99% non significa che una perdita superiore sia impossibile né che la procedura sia calibrata perché produce un numero. La validazione deve considerare frequenza e dipendenza dei superamenti, qualità dei dati e cambiamenti di regime. Gli esempi del capitolo illustrano strumenti statistici, non una raccomandazione di investimento o una garanzia di controllo del rischio. L’incertezza del modello e la scarsità di eventi estremi rimangono componenti sostanziali dell’analisi.

Esercizio svolto: due nozioni di varianza

In un GARCH(1,1), ω = 0,02, α = 0,08 e β = 0,90. La varianza incondizionata, quando esiste nelle condizioni del modello, è 0,02/(1 − 0,98) = 1. Una varianza condizionata corrente pari a quattro è compatibile con questo livello di lungo periodo: il processo può trovarsi temporaneamente in una fase molto turbolenta. La previsione ritorna lentamente verso uno perché la persistenza è 0,98. La deviazione standard corrente è due, mentre quella incondizionata è uno. Confondere varianza e deviazione standard o livello condizionato e incondizionato produce errori di scala e interpretazione.

Oltre la media condizionata

La media non descrive tutta la distribuzione dell’esito. Una covariata può modificare soprattutto la parte bassa, la parte alta o la dispersione. Il quantile condizionato Qτ(Y|X = x) è un valore che delimita una quota τ della distribuzione condizionata, con la definizione appropriata quando esistono masse discrete. La mediana corrisponde a τ = 0,5. Studiare quantili permette di descrivere eterogeneità distributiva senza ridurre ogni relazione a una variazione media.

La differenza fra quantili condizionati non è automaticamente un effetto individuale per una persona che occupa sempre la stessa posizione nella distribuzione. Le identità e i ranghi possono cambiare fra condizioni. Anche un effetto causale su un quantile della distribuzione potenziale richiede un estimando e ipotesi distinti da quelli di una regressione descrittiva. Non si dovrebbe dire che un coefficiente al novantesimo percentile rappresenta necessariamente «l’effetto sullo stesso individuo ricco» o su un gruppo fisso di unità.

Perdita check e regressione quantilica

La regressione quantilica lineare specifica Qτ(Y|X) = X′βτ e minimizza ∑_iρτ(y_i − x_i′βτ), dove ρτ(u) = u[τ − 1(u < 0)]. La perdita penalizza in modo diverso residui positivi e negativi. Per τ = 0,5 equivale, a un fattore costante, alla somma dei valori assoluti e produce la regressione mediana. Il criterio non minimizza quadrati e può essere meno sensibile a grandi scarti verticali, pur non essendo immune a osservazioni con leverage elevato.

Con sola intercetta, la minimizzazione restituisce un quantile campionario. Con regressori, la soluzione è un problema di ottimizzazione convessa, spesso trattato tramite programmazione lineare o metodi dedicati. Il contributo di Koenker e Bassett è indicato nel riferimento R27. La linearità riguarda il quantile nei parametri; si possono includere trasformazioni e interazioni come in altre regressioni, ma gli effetti marginali devono essere ricostruiti rispetto alle variabili originarie.

Interpretazione dei coefficienti

Se βτ,_j = 2, una unità aggiuntiva di x_j è associata a due unità in più del quantile condizionato τ, mantenendo fisse le altre covariate nella specificazione. Il coefficiente può variare con τ. La differenza fra β0,9 e β0,1 descrive una variazione della forma condizionata della distribuzione, ma non va testata confrontando informalmente due significatività. Serve la covarianza congiunta delle stime dei quantili, ottenuta con una procedura adeguata.

Consideriamo Y = 1 + 2X + (1 + 0,5X)ε, con X ≥ 0 e ε normale standard. Il quantile τ è 1 + zτ + (2 + 0,5zτ)X. La pendenza mediana è due; al quantile 0,9 è circa 2,6408. La maggiore pendenza nella coda alta deriva dalla dispersione crescente con X. Non dimostra che individui permanentemente collocati nella coda alta abbiano un effetto causale individuale maggiore. L’esempio distingue una relazione distributiva da un’interpretazione sui ranghi delle persone.

Inferenza quantilica

La distribuzione asintotica dipende dalla densità condizionata dell’esito nel quantile, oltre che dalla distribuzione dei regressori. In un modello lineare del quantile correttamente specificato, una matrice rilevante è A = E[fY|X(X′βτ|X)XX′], mentre la variabilità dello score contiene τ(1 − τ)E(XX′) nel caso indipendente. La covarianza ha una forma sandwich. La densità nel quantile non è osservata e deve essere stimata o gestita attraverso una procedura di ricampionamento valida.

Quantili estremi possono essere poco informativi perché dipendono da poche osservazioni e richiedono condizioni diverse dalle approssimazioni centrali quando τ si avvicina ai bordi con n. Clustering e dipendenza temporale devono essere considerati nella covarianza o nel bootstrap. Una regressione quantilica non rende i dati indipendenti né elimina endogeneità. Strumenti per quantili richiedono modelli e condizioni specifiche, non la semplice sostituzione di una covariata con la previsione OLS del primo stadio.

Incrocio dei quantili

Stime separate per diversi τ possono produrre curve che si incrociano: un quantile alto stimato può risultare inferiore a uno basso in certi valori di X. Questo viola l’ordinamento di una distribuzione, ma può accadere per rumore e misspecificazione. Vincoli congiunti, riordinamento o modelli distributivi possono imporre coerenza. Tali operazioni modificano la procedura e devono essere descritte. L’incrocio può anche segnalare extrapolazione in regioni con scarso supporto.

La scelta dei quantili dovrebbe essere motivata dalla domanda e dalla numerosità, non dalla ricerca di quello con il coefficiente più significativo. Un grafico di coefficienti lungo τ dovrebbe includere incertezza e chiarire se le bande sono puntuali o simultanee. Il confronto fra molte posizioni della distribuzione è un problema di inferenza multipla. La descrizione delle code può essere preziosa, ma deve restare proporzionata alla quantità di informazione disponibile.

Regressione non parametrica

Una regressione non parametrica cerca di stimare m(x) = E(Y|X = x) senza imporre una forma globale finito-dimensionale come una retta o un quadratico. Non significa assenza di ipotesi: servono regolarità, supporto, momenti e una scelta di complessità. L’idea è usare osservazioni vicine a x per informare sulla media locale. La vicinanza deve essere definita rispetto alla scala e alla dimensione delle covariate. Con molte dimensioni, pochi punti possono essere realmente vicini.

Lo stimatore Nadaraya–Watson è m̂(x) = ∑_iK[(X_i − x)/h]Y_i / ∑_iK[(X_i − x)/h], quando il denominatore è positivo. K è un kernel e h una banda. Il fattore 1/h, se incluso in entrambi i pesi, si cancella nel rapporto. La stima è una media locale ponderata, non una regressione lineare globale. Una banda grande produce una curva più liscia; una piccola segue maggiormente i dati e può avere grande variabilità.

Regressione locale lineare

La regressione locale lineare sceglie a e b per minimizzare ∑_iK[(X_i − x)/h][Y_i − a − b(X_i − x)]². La stima di m(x) è â. Consentire una pendenza locale può ridurre il bias, soprattutto ai bordi, rispetto a una media locale costante. I pesi equivalenti della stima possono essere negativi in alcune regioni: ciò non è necessariamente un errore, ma deriva dall’aggiustamento locale della pendenza. La stabilità richiede comunque sufficiente informazione vicino al punto.

Il modello viene ristimato per ogni x di interesse. Il coefficiente b locale può approssimare una derivata, ma la sua inferenza richiede condizioni e scala appropriate. Un grafico liscio non dimostra che la curva sia precisamente stimata. È importante mostrare dove sono presenti dati e limitare interpretazioni ai bordi o fuori dal supporto. La regressione non parametrica non elimina extrapolazione: semplicemente rende più visibile il bisogno di osservazioni vicine.

Compromesso distorsione-varianza

In un problema univariato regolare con funzione sufficientemente liscia, il bias di una stima locale appropriata può essere di ordine h² e la varianza di ordine 1/(nh), nell’interno del supporto. Bilanciare bias quadratico e varianza conduce a una banda di ordine n^-1/⁵ e a un MSE di ordine n^-4/⁵ in questo quadro. Sono tassi teorici condizionati a regolarità e tipo di stimatore, non formule universali per ogni distribuzione o punto di frontiera.

Con d covariate e regolarità analoga, la varianza coinvolge circa 1/(nhᵈ) e il tasso peggiora con d. Questa è una manifestazione della maledizione della dimensionalità. Aumentare il numero delle covariate può rendere molto difficile trovare confronti locali informativi. Strutture additive, riduzione dimensionale o modelli semiparametrici possono aiutare imponendo restrizioni. La flessibilità completa non è gratuita: richiede dati molto più ricchi.

Scelta della banda e inferenza

La cross-validation può scegliere h per una perdita predittiva, ma la banda ottimale per previsione non garantisce che il bias sia trascurabile rispetto all’errore standard in un intervallo inferenziale. Undersmoothing o correzioni del bias possono essere necessari per inferenza puntuale valida sotto condizioni specifiche. Ignorare il bias e usare soltanto una deviazione standard può produrre intervalli troppo ottimistici, anche con una curva apparentemente ben adattata.

La validazione deve rispettare clustering e ordine temporale. Una divisione casuale delle righe in una serie fortemente dipendente può favorire bande troppo piccole attraverso informazione vicina condivisa fra training e test. La scelta del kernel è spesso meno decisiva della banda, ma supporto limitato e asimmetria possono rendere rilevanti correzioni ai bordi. Le decisioni devono essere motivate e non selezionate per produrre una particolare forma della curva.

Densità kernel

Una densità può essere stimata con f̂(x) = (nh)^-1∑_iK[(x − X_i)/h], con un kernel che integri a uno e condizioni appropriate. A differenza della regressione kernel, qui il fattore 1/h è necessario per la normalizzazione della densità. La banda controlla il compromesso fra picchi rumorosi e eccessiva lisciatura. Un istogramma è un’altra rappresentazione non parametrica, sensibile a larghezza e origine degli intervalli.

Per variabili non negative, un kernel simmetrico può attribuire densità a valori impossibili sotto zero. Correzioni ai bordi, trasformazioni o kernel adatti possono essere considerate, con le rispettive implicazioni. Una densità stimata non dimostra l’esistenza di gruppi latenti solo perché mostra più picchi: la forma può dipendere dalla banda e dal campione. È utile verificare stabilità delle caratteristiche sostanziali attraverso scelte ragionevoli e considerare la qualità della misurazione.

Serie, spline e modelli semiparametrici

Metodi a serie approssimano m(x) con una combinazione di funzioni base, come polinomi o spline, aumentando la dimensione con la ricchezza dei dati. La scelta del numero di basi determina flessibilità e variabilità. Un modello additivo scrive m(x) = α + ∑_jm_j(x_j), riducendo la dimensionalità ma imponendo assenza di interazioni non rappresentate. Le restrizioni possono essere utili se economicamente plausibili, ma non vanno confuse con una stima completamente libera della funzione multivariata.

Un modello parzialmente lineare Y = Dθ + g(X) + u conserva un parametro lineare di interesse e lascia flessibile la relazione con X. Sottrarre E(Y|X) ed E(D|X) produce una relazione fra residui che può identificare θ sotto le condizioni appropriate. Questa idea collega regressione semiparametrica e metodi moderni di ortogonalizzazione. La flessibilità delle funzioni ausiliarie non elimina l’ipotesi che l’errore sia ortogonale alla variazione residua di D.

Esercizio svolto: media locale

Per stimare m(5), tre osservazioni hanno X pari a 4, 5 e 6 ed esiti 8, 12 e 10. Con banda h = 2 e kernel triangolare, i pesi proporzionali sono 0,5, 1 e 0,5. La media locale è (0,5 × 8 + 1 × 12 + 0,5 × 10)/(0,5 + 1 + 0,5) = 21/2 = 10,5. Non è la media semplice, pari a dieci, perché il punto centrale riceve più peso. Il calcolo descrive una stima locale; per attribuirle precisione e interpretazione servono numerosità, supporto e condizioni sul processo generatore.

Molti regressori e complessità

Quando il numero dei regressori è grande rispetto al campione, OLS può avere alta varianza o non essere identificato se le colonne superano il rango disponibile. Anche con n maggiore di k, molte variabili correlate possono adattarsi al rumore. La regolarizzazione introduce una penalità o una restrizione per limitare la complessità. Il compromesso è una possibile distorsione in cambio di minore variabilità e migliore previsione. La scelta non è una correzione automatica dell’endogeneità né una garanzia di validità dei coefficienti causali.

È necessario distinguere obiettivo predittivo e inferenziale. Un algoritmo può prevedere bene sfruttando variabili correlate, proxy o conseguenze dell’esito che non hanno un’interpretazione causale. Per inferenza su un trattamento, la selezione delle covariate deve rispettare il disegno e il ruolo temporale. Eliminare un confondente perché poco utile a prevedere l’esito in un particolare campione può introdurre distorsione. La complessità statistica non sostituisce la definizione dell’estimando.

Ridge

Con regressori centrati e una costante trattata separatamente, ridge minimizza RSS/(2n) + (λ/2)∑_jβ_j². La soluzione è β̂ridge = (X′X + nλI)^-1X′y nella parametrizzazione indicata. La penalità rende più stabile l’inversione nelle direzioni con poca informazione e riduce i coefficienti verso zero. Per λ = 0 si recupera OLS quando definito; aumentando λ cresce lo shrinkage. La costante non viene normalmente penalizzata nello stesso modo, perché il livello medio non dovrebbe dipendere dalla scala arbitraria delle covariate.

Ridge non produce generalmente coefficienti esattamente nulli, ma può gestire bene gruppi di regressori correlati per fini predittivi. La standardizzazione è importante: una penalità sulla grandezza numerica dei coefficienti dipende dalle unità delle variabili. Medie e scale devono essere stimate nel training e applicate a validation e test. Standardizzare sull’intero campione prima della validazione può trasferire informazione e rendere la prestazione troppo favorevole.

LASSO

Lasso minimizza RSS/(2n) + λ∑_j|β_j|. La penalità L1 può porre alcuni coefficienti esattamente a zero e quindi effettuare selezione di variabili. Il contributo di Tibshirani è indicato nel riferimento R28. La sparsità ottenuta è una proprietà del criterio e del parametro λ, non una dimostrazione che le variabili escluse siano economicamente irrilevanti. Con regressori fortemente correlati, lasso può selezionare uno fra diversi sostituti e la scelta può essere instabile.

Nel caso semplificato X′X/n = I, definendo z = X′y/n, la soluzione è β̂_j = sign(z_j)max(|z_j| − λ,0). È una sogliatura morbida: riduce la grandezza e annulla coefficienti abbastanza piccoli. Nella stessa parametrizzazione ridge produce z_j/(1 + λ). Le due penalità trattano quindi diversamente le direzioni dei coefficienti. Con X non ortogonale, la soluzione lasso non si ottiene applicando indipendentemente la formula ai coefficienti OLS.

Elastic net e scelta della penalità

Elastic net combina componenti L1 e L2, permettendo sparsità e una gestione più stabile di gruppi correlati. La scelta dei pesi e di λ può essere effettuata tramite cross-validation, rispettando gruppi e tempo. La penalità che minimizza la perdita di validazione può produrre un modello più complesso di una regola che sceglie una soluzione più semplice entro un margine di incertezza della perdita. Entrambe sono decisioni predittive da dichiarare, non test di ipotesi sui singoli coefficienti.

Tutto il procedimento, compresa selezione della penalità, deve essere valutato su dati non usati per sceglierlo. Riportare la migliore prestazione fra molte penalità sul test set trasforma il test in parte dell’addestramento. La stabilità delle variabili selezionate può essere esplorata, ma non sostituisce inferenza post-selezione. Una variabile selezionata frequentemente può essere una proxy predittiva e non una causa. Una variabile causalmente importante può non essere selezionata se il suo effetto è piccolo o correlato con altri regressori.

Alberi e foreste

Un albero di regressione divide lo spazio delle covariate in regioni e assegna previsioni locali, spesso medie. Può rappresentare interazioni e non linearità senza specificarle manualmente, ma un singolo albero può essere instabile. Le random forests aggregano molti alberi costruiti con casualità nel campionamento e nella scelta delle variabili, riducendo la variabilità in contesti appropriati. Profondità, dimensione delle foglie e altre scelte influenzano il compromesso fra flessibilità e rumore.

Gli alberi possono prevedere male fuori dal supporto rispetto a modelli che extrapolano una tendenza parametrica, perché le previsioni sono legate alle regioni osservate. La gestione delle categorie rare e dei dati mancanti dipende dall’implementazione. Importanza delle variabili e riduzione della perdita non hanno automaticamente significato causale. Covariate correlate possono condividere o scambiarsi l’importanza, e una variabile con molti possibili split può essere favorita da certe misure. La lettura deve essere collegata alla metrica e al procedimento specifico.

Boosting e modelli flessibili

Il boosting costruisce un modello sequenzialmente, aggiungendo componenti che migliorano il criterio rispetto agli errori rimasti. Learning rate, numero di iterazioni e complessità dei componenti controllano la regolarizzazione. Un elevato numero di iterazioni può sovra-adattare se non viene gestito con validazione e arresto appropriato. Modelli complessi possono catturare relazioni utili, ma rendono ancora più importante separare dati di scelta e valutazione e verificare cambiamenti di distribuzione.

La flessibilità non elimina la necessità di controlli elementari: unità, duplicati, informazione futura e campioni non rappresentativi possono produrre eccellenti metriche apparenti. Un algoritmo che usa un codice amministrativo correlato con l’esito può fallire quando cambia il sistema di codifica. La prestazione dovrebbe essere valutata nel contesto di utilizzo e su sottogruppi pertinenti, senza confondere una spiegazione del modello con una spiegazione causale del fenomeno.

Perché l’inferenza dopo selezione è difficile

Se si selezionano variabili in base agli stessi dati e poi si applicano errori standard OLS ordinari al modello scelto, si ignora l’incertezza della selezione. La distribuzione dei coefficienti è condizionata a un procedimento che ha favorito certi risultati. P-value e intervalli convenzionali possono essere troppo ottimistici. La difficoltà non scompare perché il software produce una tabella familiare. La procedura completa, non soltanto la regressione finale, determina la distribuzione campionaria.

Metodi di inferenza selettiva, desparsificazione, sample splitting o procedure ortogonali possono affrontare aspetti del problema sotto condizioni specifiche. Possono richiedere sparsità, condizioni di identificazione della matrice dei regressori e controllo degli errori dei modelli ausiliari. Non sono validi automaticamente con qualsiasi numero di variabili e qualunque dipendenza. È preferibile distinguere chiaramente un modello predittivo selezionato da una stima causale accompagnata da una giustificazione inferenziale.

Modello parzialmente lineare

Consideriamo Y = θ₀D + g₀(X) + u, con E(u|D,X) = 0 nella formulazione causale appropriata, e D = m₀(X) + v, con E(v|X) = 0. Ponendo ℓ₀(X) = E(Y|X), si ha Y − ℓ₀(X) = θ₀[D − m₀(X)] + u. Il parametro θ₀ può essere identificato dalla covariazione fra i residui dell’esito e del trattamento rispetto a X, purché esista variazione residua di D e valgano le condizioni del modello.

La relazione ricorda FWL, ma le funzioni ausiliarie possono essere non lineari e stimate con apprendimento automatico. Se gli effetti sono eterogenei e il modello a coefficiente costante non rappresenta l’ATE desiderato, la regressione residualizzata può identificare una particolare media ponderata. Non si deve chiamare automaticamente ATE ogni coefficiente DML. Per un ATE eterogeneo si può usare un momento appropriato, come quello AIPW con modelli distinti dell’esito e propensity score.

Ortogonalità di neyman

Un momento per il modello parzialmente lineare è ψ(W;θ,ℓ,m) = [D − m(X)]{Y − ℓ(X) − θ[D − m(X)]}. L’ortogonalità di Neyman significa che, al valore vero e nelle direzioni pertinenti, piccole perturbazioni delle funzioni ausiliarie hanno effetto di primo ordine nullo sull’aspettativa del momento. Gli errori delle funzioni entrano quindi soprattutto attraverso termini di ordine superiore. Questo rende possibile usare stime flessibili senza trasferire tutta la loro distorsione di regolarizzazione direttamente al parametro di interesse.

L’ortogonalità non elimina ogni errore: servono tassi sufficienti delle funzioni ausiliarie, momenti, supporto e identificazione. Nel caso della residualizzazione parzialmente lineare, compaiono prodotti e quadrati degli errori di m e ℓ; condizioni che li rendano trascurabili rispetto a n^-1/² sono importanti. Tassi vicini a n^-1/⁴ per ciascuna componente sono una guida in quadri regolari, ma non una garanzia universale. Il riferimento R7 presenta il quadro double/debiased machine learning.

Cross-fitting

Si divide il campione in fold. Per ciascun fold si stimano m e ℓ usando le altre osservazioni e si producono previsioni fuori campione per le unità escluse. Si combinano poi i residui e si stima θ, per esempio come ∑v̂_iỹ_i/∑v̂_i² nel modello parzialmente lineare. Ogni osservazione contribuisce al momento con funzioni stimate senza usare il proprio esito nel training pertinente. Il cross-fitting riduce il legame da overfitting fra errori ausiliari e momento finale.

La divisione deve rispettare le unità indipendenti: in un panel, fold per righe possono trasferire informazione della stessa unità; in serie storiche, divisioni casuali possono usare il futuro. Estensioni per dipendenza richiedono condizioni e procedure specifiche. Anche la scelta degli iperparametri deve restare all’interno dei campioni di training appropriati. Il cross-fitting non rende esogeno D, non crea sovrapposizione e non corregge un trattamento definito male.

Inferenza dml e trasparenza

La varianza può essere costruita dai contributi del momento ortogonale, con una normalizzazione legata alla variazione residua di D. Nel modello semplice, il denominatore coinvolge E(v²), che deve essere positivo e sufficientemente informativo. Con clustering, i contributi devono essere aggregati coerentemente. La ripetizione di diverse suddivisioni può valutare sensibilità alla casualità computazionale, ma non sostituisce la variabilità campionaria né autorizza a scegliere il seme che produce il risultato preferito.

Una relazione completa dovrebbe riportare estimando, funzioni ausiliarie, algoritmi, schema di cross-fitting, tuning e covarianza. Non basta scrivere «machine learning» come garanzia di flessibilità. I principali limiti causali, come confondimento non osservato e positività debole, devono essere discussi come in un’analisi tradizionale. Il contributo dell’apprendimento automatico è stimare componenti complesse; l’identificazione resta una questione di disegno e ipotesi.

Esercizio svolto: shrinkage ortogonale

In un problema standardizzato con X′X/n = I, i coefficienti non penalizzati sintetici sono z = (0,8; 0,2; −0,1) e λ = 0,3. Lasso produce (0,5; 0; 0), applicando la soglia morbida. Ridge nella parametrizzazione del capitolo produce circa (0,6154; 0,1538; −0,0769). Lasso seleziona una sola variabile, ridge le mantiene tutte ridotte. Questo non dimostra che soltanto la prima abbia un effetto economico: descrive il risultato dei due criteri sullo stesso segnale campionario e con quella penalità.

Parametri, dati e distribuzione a posteriori

L’inferenza bayesiana combina una verosimiglianza p(y|θ) e una distribuzione a priori p(θ), ottenendo p(θ|y) = p(y|θ)p(θ)/p(y). Il denominatore p(y) = ∫p(y|θ)p(θ)dθ normalizza la distribuzione ed è la verosimiglianza marginale del modello. La distribuzione a posteriori rappresenta l’incertezza sul parametro condizionata a dati, modello e prior. Non elimina la dipendenza dalle ipotesi: la rende esplicita in una formulazione probabilistica.

La prior può rappresentare informazione precedente, regolarizzazione o vincoli sostanziali. Non dovrebbe essere scelta dopo aver visto i risultati soltanto per ottenere una conclusione desiderata. Anche una prior definita «non informativa» incorpora scelte di scala e parametrizzazione. Una distribuzione uniforme in θ non è uniforme in una trasformazione non lineare di θ. È utile valutare quali valori dell’esito il modello con la prior rende plausibili prima di osservare i dati, attraverso controlli predittivi a priori.

Esempio beta-binomiale

Per n prove Bernoulli con s successi, una prior Beta(a,b) produce una posterior Beta(a + s,b + n − s). La media a posteriori è (a + s)/(a + b + n). Può essere interpretata come una combinazione dell’informazione iniziale e della frequenza campionaria, nella struttura coniugata. La previsione della probabilità di successo della prossima prova coincide con la media a posteriori quando il modello assume lo stesso parametro comune.

Con prior Beta(2,2), sette successi su dieci prove producono Beta(9,5). La media a posteriori è 9/14 ≈ 0,6429, mentre la frequenza campionaria è 0,7. Il risultato è ridotto verso la media prior 0,5. La moda a posteriori, quando i parametri sono maggiori di uno, è (9 − 1)/(9 + 5 − 2) = 2/3. Media, moda e mediana posteriori non devono coincidere. Un intervallo credibile si ottiene dai quantili della Beta, non trattando automaticamente la media come una normale in ogni campione.

Modello normale con varianza nota

Supponiamo Y_i indipendenti normali con media μ e varianza nota σ², e prior μ ∼ N(m₀,s₀²). La posterior è normale con varianza s_n² = (1/s₀² + n/σ²)^-1 e media m_n = s_n²(m₀/s₀² + nȳ/σ²). Le precisioni, inverse delle varianze, si sommano. Una prior molto precisa pesa di più; un campione numeroso o poco rumoroso attribuisce maggiore peso alla media osservata. La formula rende trasparente il compromesso informativo.

Con m₀ = 0, s₀² = 4, n = 9, σ² = 9 e ȳ = 3, la precisione posterior è 0,25 + 1 = 1,25. La varianza è 0,8 e la media è 2,4. Un intervallo credibile centrale al 95% è circa 2,4 ± 1,96√0,8, cioè [0,647; 4,153]. L’intervallo riguarda la distribuzione di μ condizionata al modello e alla prior. Non è automaticamente un intervallo con copertura frequentista esatta del 95% per ogni possibile valore vero e ogni prior.

Intervalli credibili e di confidenza

Un intervallo credibile al 95% contiene il 95% della probabilità a posteriori, secondo la procedura scelta. Un intervallo di confidenza frequentista è costruito da un procedimento con una proprietà di copertura in campioni ripetuti. In alcuni modelli e con certe prior i due possono coincidere numericamente o avere approssimazioni simili, ma le interpretazioni rimangono diverse. Non è corretto trasferire automaticamente la frase probabilistica bayesiana a un intervallo frequentista o viceversa.

Un intervallo a code uguali e una regione di massima densità posteriore possono differire per distribuzioni asimmetriche. Una regione di massima densità può non essere un singolo intervallo in una posterior multimodale. Le trasformazioni preservano naturalmente probabilità di insiemi trasformati, ma non tutte le proprietà geometriche degli intervalli. La scelta dovrebbe essere dichiarata e collegata alla forma della distribuzione e alla domanda. Riportare soltanto una media può nascondere asimmetria o più regioni plausibili.

Regressione bayesiana e ridge

Nel modello y|β ∼ N(Xβ,σ²I) con σ² nota e prior β ∼ N(b₀,V₀), la posterior ha V_n = (V₀^-1 + X′X/σ²)^-1 e b_n = V_n(V₀^-1b₀ + X′y/σ²). La prior introduce precisione aggiuntiva nelle direzioni dei coefficienti. Con b₀ = 0 e V₀ = τ²I, la media posterior è (X′X + σ²I/τ²)^-1X′y, collegata a ridge. Nella normalizzazione del capitolo precedente, nλ corrisponde a σ²/τ².

Una prior Laplace indipendente sui coefficienti produce una moda a posteriori collegata alla penalità lasso, sotto il modello gaussiano e una parametrizzazione coerente. La media a posteriori non coincide generalmente con la soluzione lasso e non deve essere presentata come identica. Il collegamento fra penalizzazione e prior riguarda un criterio specifico, non rende automaticamente frequentista e bayesiana la stessa inferenza. La prior consente anche di quantificare l’incertezza, che dipende dalla distribuzione completa e non soltanto dal punto di massimo.

Prior debolmente informative e scala

Una prior debolmente informativa può escludere valori implausibili senza concentrare troppo la distribuzione. La sua interpretazione dipende dalle unità delle covariate e dell’esito. Un coefficiente con deviazione standard prior pari a dieci ha significato molto diverso se X è misurata in euro oppure in milioni di euro. Standardizzare può facilitare una scelta coerente, ma la trasformazione deve essere documentata e le conclusioni riportate nella scala economica quando utile.

Prior improprie non integrano a uno. Possono produrre posterior proprie in alcuni modelli, ma occorre verificarlo; non possono essere utilizzate indiscriminatamente per confronti tramite verosimiglianze marginali. Parametri di varianza, correlazioni e componenti gerarchiche richiedono prior che rispettino il supporto e non introducano comportamenti indesiderati. Controlli predittivi a priori aiutano a vedere se la combinazione di prior genera esiti assurdi, anche quando ogni prior individuale sembra vaga.

Modelli gerarchici e pooling parziale

Un modello gerarchico può assumere θ_j ∼ N(μ,τ²) per effetti di gruppo e osservazioni con media θ_j. Le stime dei gruppi vengono parzialmente ridotte verso una media comune, con intensità che dipende dalla precisione interna e dall’eterogeneità fra gruppi. Gruppi piccoli tendono a ricevere più shrinkage; gruppi informativi possono mantenere stime più vicine ai propri dati. Il modello si colloca fra pooling completo e stime completamente separate.

Con media di gruppo ȳ_j di varianza σ²/n_j e iperparametri noti, la media posterior è w_jȳ_j + (1 − w_j)μ, con w_j = τ²/(τ² + σ²/n_j). Se τ² è grande, i gruppi sono considerati molto eterogenei e il pooling diminuisce. Se n_j è grande, i dati del gruppo prevalgono. Quando gli iperparametri sono stimati, la loro incertezza deve essere propagata. Il pooling parziale non corregge automaticamente una relazione misspecificata fra effetti di gruppo e regressori.

Simulazione dalla posterior

Molti modelli non hanno formule coniugate. Metodi Monte Carlo e MCMC generano campioni dalla distribuzione a posteriori o da un’approssimazione controllata. Metropolis–Hastings accetta o rifiuta proposte secondo un rapporto che preserva la distribuzione obiettivo; Gibbs campiona da distribuzioni condizionate; metodi Hamiltoniani utilizzano geometria e gradienti per esplorare spazi complessi. La scelta dipende dal modello e dalla struttura della posterior. L’esistenza di molte iterazioni non garantisce che la catena abbia esplorato tutte le regioni rilevanti.

La fase iniziale, le correlazioni fra campioni e i problemi di geometria possono influire sulla qualità computazionale. Catene inizializzate in punti diversi, diagnostiche di convergenza e controlli delle traiettorie sono importanti. Un indice di convergenza vicino a uno è una diagnostica, non una prova assoluta. In modelli con più modi separati, tutte le catene possono rimanere nella stessa regione. La validità statistica del modello e la qualità dell’approssimazione numerica sono due verifiche distinte.

Numerosità effettiva e errore monte carlo

La numerosità effettiva MCMC misura quanta informazione indipendente equivalente contengono i campioni simulati per una quantità, considerando l’autocorrelazione della catena. Non è la numerosità effettiva dei dati osservati. Aumentare le iterazioni riduce l’errore Monte Carlo della descrizione della posterior, ma non riduce l’incertezza sostanziale della posterior come farebbero nuovi dati informativi. Confondere le due quantità può produrre una falsa impressione di precisione scientifica.

È utile verificare che l’errore numerico sia piccolo rispetto all’incertezza che si vuole comunicare. Quantili estremi e probabilità di coda possono richiedere più campioni di una media. Le diagnostiche devono essere riferite alle quantità di interesse, non soltanto ai parametri più facili da campionare. Una simulazione stabile di un modello sbagliato produce una descrizione accurata di una posterior inadeguata: il controllo computazionale non sostituisce la verifica del modello.

Distribuzione predittiva a posteriori

La previsione bayesiana integra l’incertezza dei parametri: p(y nuovo|y) = ∫p(y nuovo|θ)p(θ|y)dθ. La dispersione comprende sia variabilità futura condizionata ai parametri sia incertezza sui parametri. Nel modello normale con media ignota e varianza nota, la varianza predittiva è σ² + s_n². Non coincide con la sola varianza posterior della media. La distinzione è l’analogo bayesiano della differenza fra intervallo della media e previsione individuale.

Controlli predittivi a posteriori confrontano caratteristiche dei dati osservati con dati replicati dal modello. Possono mettere in evidenza code, zeri, dipendenza o eterogeneità non rappresentati. Un modello che riproduce la media ma non la dispersione può essere inadeguato per decisioni sulle code. Questi controlli non sono una prova che il modello sia vero e le probabilità ottenute non hanno automaticamente l’interpretazione di p-value frequentisti uniformi sotto la nulla. Servono a comprendere quali aspetti del fenomeno siano rappresentati.

Confronto fra modelli e sensibilità

Le odds posteriori fra modelli sono odds prior moltiplicate per un Bayes factor, rapporto delle verosimiglianze marginali. Il confronto dipende dalle prior dei parametri, soprattutto da quanta massa attribuiscono a regioni poco sostenute dai dati. Una prior molto diffusa non è necessariamente neutra per il Bayes factor. Per un’ipotesi puntuale con probabilità positiva occorre una formulazione che le attribuisca massa, per esempio un confronto fra modelli; una prior continua assegna probabilità zero a un singolo valore esatto.

Per finalità predittive, validazione fuori campione e criteri basati sulla densità predittiva possono essere più direttamente pertinenti. Le approssimazioni a leave-one-out richiedono diagnostiche proprie e non devono essere accettate automaticamente in presenza di osservazioni influenti. Sensibilità a prior plausibili è essenziale quando i dati sono poco informativi. L’inferenza bayesiana non rende causale una regressione endogena: anche la posterior di un effetto causale richiede un modello identificato o una chiara rappresentazione dell’incertezza identificante.

Esercizio svolto: incertezza della media e del futuro

Nel modello normale del capitolo, la posterior della media ha varianza 0,8 e media 2,4, mentre la varianza di una nuova osservazione condizionata alla media è nove. La varianza predittiva è 9 + 0,8 = 9,8 e la deviazione standard circa 3,1305. Un intervallo predittivo normale centrale al 95% è circa 2,4 ± 6,136, molto più ampio dell’intervallo della media. Più dati possono ridurre la componente 0,8, ma non eliminano automaticamente il rumore individuale nove. La distinzione evita di presentare precisione sul parametro come certezza sull’esito futuro.

Dalla domanda all’estimando

Un’analisi econometrica inizia definendo una domanda alla quale i dati possano rispondere. «Studiare i salari» è un tema, non ancora una domanda operativa. Occorre precisare popolazione, periodo, esito, unità di misura, confronto e obiettivo. Prevedere il salario di un nuovo lavoratore, descrivere una differenza condizionata fra gruppi e stimare l’effetto di un anno di istruzione sono problemi differenti. Possono utilizzare dati simili, ma richiedono criteri di successo e ipotesi diversi. La scelta dello stimatore viene dopo questa definizione.

L’estimando deve essere scritto prima della specificazione. Può essere una media, un’elasticità, un ATE, un ATT, un effetto locale o una previsione a un certo orizzonte. Si deve poi spiegare quale caratteristica osservabile lo identifica e sotto quali ipotesi. Questa separazione impedisce di attribuire retroattivamente al coefficiente ottenuto la domanda che sembra più favorevole. Una stima precisa di un oggetto diverso da quello desiderato non è una risposta corretta soltanto perché il metodo è sofisticato.

Disegno, cronologia e informazione

Per una domanda causale, una cronologia delle decisioni aiuta a distinguere covariate antecedenti, trattamento, mediatori ed esiti. Un diagramma causale può rendere espliciti confondenti, collider e percorsi che si desidera mantenere o bloccare. Il diagramma rappresenta ipotesi, non fatti dimostrati dalle correlazioni. Deve essere costruito attraverso conoscenza del processo e discusso insieme a possibili spiegazioni alternative. Il numero dei controlli non è una misura della credibilità del disegno.

Per una domanda predittiva, si definisce invece l’informazione realmente disponibile alla data di origine. Ogni variabile deve avere una data di disponibilità, non soltanto una data economica di riferimento. Il piano di validazione deve riprodurre nuove unità, nuovi periodi o nuovi contesti secondo l’utilizzo previsto. Un modello valutato su persone già presenti nel training risponde a una domanda diversa da uno valutato su persone completamente nuove. La struttura della divisione dei dati è parte dell’analisi, non un dettaglio del software.

Dati originali e trasformazioni

I dati originali devono essere conservati senza modifiche manuali irreversibili. Pulizia, ricodifica, costruzione delle variabili e selezione del campione dovrebbero essere realizzate attraverso istruzioni ripetibili. Una correzione documentata di un errore è diversa da una trasformazione di un valore autentico. Winsorizzazione, eliminazione di osservazioni e imputazione modificano l’informazione utilizzata e devono essere registrate con motivazione e regola. Una cartella denominata «dati puliti» non spiega da sola che cosa sia accaduto ai dati.

Per ogni variabile è utile un dizionario che specifichi definizione, unità, valori ammessi, codici di mancanza, fonte e trasformazioni. Uno zero può significare assenza dell’evento, dato non disponibile o valore censurato: non sono casi equivalenti. Una percentuale memorizzata come 25 e una proporzione memorizzata come 0,25 richiedono scale diverse. Il controllo delle unità deve precedere la stima, perché molti errori numerici sono in realtà errori di definizione.

Chiavi, duplicati e unione degli archivi

Prima di unire archivi si definisce la granularità di ciascuno: una riga per persona, contratto, impresa-anno o transazione. La chiave deve essere unica quando la struttura lo richiede. Un’unione uno-a-molti può essere corretta; un’unione molti-a-molti non prevista può moltiplicare righe e importi senza un messaggio evidente. Occorre controllare conteggi prima e dopo, percentuale di corrispondenze e duplicazioni introdotte. La qualità di una regressione non può compensare un campione costruito contando più volte le stesse osservazioni.

I controlli dovrebbero includere intervalli plausibili, date impossibili, ordini temporali, categorie nuove e somme di quadratura. Nei panel si verifica l’unicità della coppia unità-periodo e la presenza di intervalli mancanti; nelle serie temporali si distingue un ritardo di calendario da una semplice riga precedente. Le verifiche possono essere espresse come assert o condizioni che interrompono l’esecuzione quando una proprietà necessaria non è soddisfatta. Un errore esplicito è preferibile a un risultato numerico silenziosamente sbagliato.

Campione analitico e dati mancanti

La numerosità deve essere ricostruibile attraverso ogni passaggio. Si parte dalle unità iniziali e si registra quante vengono escluse per criteri di popolazione, periodo, duplicati, dati mancanti o altre regole. Confrontare modelli su campioni differenti può confondere l’effetto di una covariata con un cambiamento della composizione. Una stima del modello semplice anche sul campione del modello completo aiuta a separare questi meccanismi. Il campione finale non dovrebbe comparire come un numero inspiegato nella tabella.

La gestione dei dati mancanti dipende dal meccanismo plausibile e dall’estimando. Complete cases, imputazione e ponderazione non sono procedure equivalenti. Una singola imputazione trattata come dato certo può sottostimare l’incertezza; una imputazione multipla richiede un modello e una combinazione corretta delle stime. Il codice deve distinguere i valori osservati da quelli ricostruiti. Analisi di sensibilità sono importanti quando la mancanza dipende da informazioni non osservate che i dati disponibili non identificano.

Piano di analisi e flessibilità

È utile definire esito principale, specificazione centrale, covariate antecedenti, regola del campione, inferenza e analisi di sensibilità prima di esaminare i risultati finali. La pianificazione riduce il rischio di selezionare soltanto ciò che produce significatività. Non impedisce esplorazioni aggiuntive: richiede di distinguerle dalle analisi confermative. Un risultato scoperto esplorando può essere interessante, ma non deve essere presentato come la conferma di un’ipotesi formulata indipendentemente dai dati.

Una sensibilità ben progettata mette alla prova minacce sostanziali: supporto, covariate omesse plausibili, finestre temporali, gruppi di confronto, misurazione o inferenza con pochi cluster. Non consiste nel produrre molte regressioni quasi identiche. Ogni alternativa dovrebbe avere una ragione e un risultato da interpretare, anche quando contraddice la specificazione principale. La robustezza è una proprietà rispetto a variazioni motivate, non la quantità di tabelle che confermano lo stesso segno.

Codice, versioni e ambiente

Un flusso riproducibile separa importazione, pulizia, costruzione del campione, stima, diagnostica e produzione di tabelle. Percorsi relativi e nomi chiari rendono il progetto trasferibile. Versioni del linguaggio e dei pacchetti devono essere registrate, soprattutto quando convenzioni o algoritmi possono cambiare. Il seme casuale rende replicabili simulazioni e divisioni dei campioni, ma non è una fonte di validità statistica. Non si deve scegliere il seme in base al risultato ottenuto.

Tabelle e grafici dovrebbero essere generati dagli oggetti stimati, evitando trascrizioni manuali dei coefficienti. Un cambiamento dei dati deve propagarsi automaticamente a campioni, stime e risultati. Controlli incrociati semplici, come ricostruire OLS dalla formula matriciale o verificare che le probabilità sommino a uno, aiutano a individuare errori. La riproducibilità non dimostra che l’analisi sia corretta: consente ad altri di ricostruire e verificare con precisione il procedimento.

Tabelle di risultati

Una tabella deve riportare nome dell’esito, scala, regressori, effetti assorbiti, campione, osservazioni e tipo di covarianza. Con clustering si indica il livello e il numero dei gruppi; con IV si descrivono strumenti e diagnostiche pertinenti; con metodi locali si riportano banda e supporto. Coefficienti, errori standard o intervalli devono avere cifre coerenti con la precisione. Molte cifre decimali non rendono una stima più accurata.

Le stelle di significatività non sostituiscono l’interpretazione. Una differenza di probabilità va espressa in punti percentuali; un odds ratio non va presentato come rapporto di probabilità; un coefficiente logaritmico richiede la trasformazione pertinente. Gli effetti marginali devono essere accompagnati dalla popolazione o dal profilo su cui sono calcolati. La tabella dovrebbe permettere al lettore di capire il confronto senza ricostruire ipotesi nascoste dal nome abbreviato del comando.

Testo, incertezza e rilevanza economica

Il commento parte dalla quantità stimata, dalla sua unità e dall’intervallo compatibile con i dati e le ipotesi. «Il coefficiente è positivo e significativo» è incompleto. Occorre spiegare quanto cambia l’esito, rispetto a quale livello e se la grandezza è economicamente rilevante. Un risultato non significativo può essere informativo quando esclude effetti grandi; può essere poco informativo quando l’intervallo è molto ampio. L’assenza di rifiuto non equivale a dimostrazione di assenza.

Si devono distinguere incertezza campionaria, sensibilità alla specificazione e incertezza identificante. Un intervallo stretto non incorpora automaticamente confondenti non osservati o una violazione dell’esclusione. Le conclusioni causali devono essere condizionate al disegno; quelle predittive al contesto di validazione. La formulazione non dovrebbe essere più forte dell’evidenza: una associazione condizionata rimane tale quando non esiste una strategia credibile per attribuirla a un intervento.

Riservatezza e condivisione

Riproducibilità non significa pubblicare indiscriminatamente dati personali o riservati. Si possono condividere codice, metadati, schemi e dati sintetici, mantenendo controllato l’accesso ai dati sensibili secondo le autorizzazioni applicabili. La sostituzione dei nomi con identificativi non elimina necessariamente il rischio di riconoscimento attraverso combinazioni di caratteristiche. La progettazione dovrebbe limitare le informazioni non necessarie e separare identificativi diretti dai dati analitici.

Un dataset sintetico deve essere dichiarato come tale e non presentato come evidenza empirica su una popolazione reale. Può essere molto utile per verificare il codice, mostrare formule e studiare il comportamento degli stimatori sotto un processo noto. Non dimostra che quel processo rappresenti il mondo osservato. La trasparenza sulla natura dei dati è parte della correttezza scientifica tanto quanto una formula di varianza appropriata.

Esercizio svolto: una conclusione da correggere

Un rapporto scrive: «Il corso aumenta il reddito del 10%, perché il coefficiente della partecipazione è 0,10 e p < 0,05». Mancano almeno quattro passaggi. Bisogna sapere se l’esito è un livello o un logaritmo; nel secondo caso la variazione della componente esponenziale è exp(0,10) − 1, circa 10,52%. Occorre specificare intervallo, popolazione e covariate. Infine, la partecipazione può essere selezionata: senza un disegno causale, il risultato è un’associazione condizionata e non una dimostrazione dell’effetto del corso. Una frase breve può quindi essere numericamente plausibile ma concettualmente sbagliata.

Convenzioni

n indica la numerosità del campione; k il numero complessivo dei parametri lineari stimati, compresa l’intercetta; X la matrice n × k dei regressori; y il vettore degli esiti; β il vettore dei coefficienti. RSS indica la somma dei residui al quadrato, TSS la somma totale degli scarti dalla media ed ESS la somma spiegata. Le lettere possono assumere ruoli locali diversi quando dichiarato, per esempio T come lunghezza di una serie. Una formula di stima, una formula di covarianza e un’interpretazione causale richiedono condizioni differenti: vanno controllate separatamente.

A1 — aspettativa, varianza e condizionamento

E(Y) = E[E(Y|X)]. Var(Y) = E[Var(Y|X)] + Var[E(Y|X)]. Cov(X,Y) = E[(X − E(X))(Y − E(Y))]. Per costanti a e b, Var(aX + b) = a²Var(X), mentre Var(aX + bY) = a²Var(X) + b²Var(Y) + 2abCov(X,Y). La covarianza non può essere eliminata senza una condizione che la renda nulla. Le formule richiedono l’esistenza dei momenti pertinenti. Una covarianza nulla non implica indipendenza in generale, mentre indipendenza e momenti finiti implicano covarianza nulla.

A2 — media campionaria e limite centrale

Con osservazioni i.i.d. di media μ e varianza σ² finita, E(X̄) = μ e Var(X̄) = σ²/n. Il limite centrale classico dà √n(X̄ − μ) →d N(0,σ²). Con dipendenza temporale, la varianza limite può essere Ω = ∑h∈Zγ(h), sotto condizioni di convergenza e dipendenza appropriate. La varianza della media è allora approssimativamente Ω/n. Sostituire σ²/n in una serie autocorrelata ignora i termini incrociati. La legge dei grandi numeri giustifica la convergenza della media, ma non fornisce da sola il tasso e la distribuzione del suo errore.

A3 — OLS e geometria

β̂ = (X′X)^-1X′y, se X ha rango k. ŷ = PXy con PX = X(X′X)^-1X′; û = MXy con MX = I − PX. Le condizioni normali sono X′û = 0. L’ortogonalità è una proprietà campionaria del procedimento e non dimostra E(X′u) = 0 per l’errore strutturale. Nella regressione semplice con intercetta, β̂₁ = Sxy/Sxx e β̂₀ = ȳ − β̂₁x̄. L’inversa non esiste con collinearità perfetta; soluzioni numeriche generalizzate non restituiscono automaticamente parametri strutturali separatamente identificati.

A4 — adattamento e varianza classica

Con intercetta, TSS = ESS + RSS e R² = 1 − RSS/TSS, quando TSS > 0. La varianza residua classica è s² = RSS/(n − k). Sotto Var(u|X) = σ²I, Var(β̂|X) = σ²(X′X)^-1, stimata con s²(X′X)^-1. La normalità non serve per calcolare OLS, ma consente le distribuzioni t e F esatte insieme alle altre ipotesi. R² misura adattamento alla variazione campionaria dell’esito nella scala utilizzata, non esogeneità, causalità o accuratezza fuori campione.

A5 — covarianze robuste

HC0 è (X′X)^-1[∑_iû_i²x_ix_i′](X′X)^-1. HC1 applica una correzione globale, comunemente n/(n − k). HC2 sostituisce û_i² con û_i²/(1 − h_ii), HC3 con û_i²/(1 − h_ii)². La covarianza cluster di base sostituisce il centro con ∑gXg′ûgûg′Xg. HAC aggiunge prodotti ritardati dei contributi x_tû_t con pesi e banda appropriati. Queste procedure consentono strutture differenti della covarianza: HC non copre automaticamente dipendenza, clustering non è una correzione universale per pochi gruppi e nessuna di esse elimina endogeneità dei coefficienti.

A6 — test e combinazioni lineari

Per H₀: β_j = b, t = (β̂_j − b)/SE(β̂_j). Per θ = a′β, θ̂ = a′β̂ e Var stimata è a′V̂a. Per H₀: Rβ = r con q restrizioni indipendenti, W = (Rβ̂ − r)′(RV̂R′)^-1(Rβ̂ − r), con riferimento asintotico chi-quadrato q sotto le condizioni pertinenti. Nel modello classico normale, la F parziale è [(RSSR − RSSU)/q]/[RSSU/(n − kU)]. Il riferimento esatto F e quello asintotico robusto non sono intercambiabili senza considerare ipotesi e correzioni.

A7 — variabile omessa e frisch–waugh–lovell

Nel modello Y = α + βX + γZ + u, la pendenza corta è β + γδ, dove δ è la pendenza della proiezione di Z su X e costante, sotto le condizioni del modello completo. Con regressori divisi in X₁ e X₂, β̂₂ = (X₂′M₁X₂)^-1X₂′M₁y, dove M₁ elimina la proiezione su X₁. FWL mostra che il coefficiente parziale utilizza soltanto la variazione residua rispetto agli altri regressori. Non stabilisce quali covariate sia causalmente corretto controllare: confondenti, mediatori e collider hanno ruoli differenti.

A8 — logaritmi, polinomi e interazioni

In ln(Y) = α + βX + u, un incremento Δx cambia la componente esponenziale del fattore exp(βΔx). In un log-log, il rapporto è (Xnuovo/Xvecchio)^β. In Y = α + β₁X + β₂X² + u, l’effetto marginale è β₁ + 2β₂X e il punto stazionario è −β₁/(2β₂), se β₂ ≠ 0. Con D e DX, la differenza fra gruppi è βD + βDX X. Ritrasformazione della media, supporto del punto stazionario e covarianze degli effetti derivati devono essere controllati. I coefficienti isolati non rappresentano sempre l’effetto sostanziale richiesto.

A9 — minimi quadrati ponderati

Se Var(u_i|X) = σ²h_i con h_i > 0 noto, WLS usa wi = 1/h_i e β̂WLS = (X′WX)^-1X′Wy. La trasformazione moltiplica ogni riga di y e X, compresa la costante, per √wi. Il peso nel criterio è wi, non la trasformazione stessa. Se i pesi sono stimati o il modello della varianza è errato, occorrono condizioni e covarianze appropriate. Quando la media lineare è una proiezione approssimata, cambiare pesi può cambiare anche l’estimando, non soltanto l’efficienza.

A10 — variabili strumentali

Nel caso semplice, βIV = Cov(Z,Y)/Cov(Z,X), con denominatore non nullo ed esogeneità dello strumento rispetto all’errore strutturale. Nel caso generale, β̂2SLS = (X′PZX)^-1X′PZy. I residui strutturali sono y − Xβ̂2SLS. Con strumento e trattamento binari, il rapporto di Wald divide l’effetto dello strumento sull’esito per quello sul trattamento. L’interpretazione LATE richiede indipendenza, esclusione, monotonicità, rilevanza e le altre condizioni del disegno. Strumenti deboli possono invalidare l’approssimazione normale convenzionale anche quando la formula è calcolabile.

A11 — GMM e massima verosimiglianza

GMM minimizza ḡ(θ)′Wḡ(θ). Con D = E[∂g/∂θ′] e S covarianza limite di √nḡ, la covarianza asintotica è (D′WD)^-1D′WSWD(D′WD)^-1/n. Con W = S^-1 si semplifica in (D′S^-1D)^-1/n. ML massimizza ∑ln f(y_i|x_i;θ); in un modello regolare corretto la covarianza è l’inversa dell’informazione totale. Sotto misspecificazione, la sandwich separa curvatura del criterio e variabilità dello score. Parametri sulla frontiera, identificazione debole e dipendenza richiedono adattamenti ulteriori.

A12 — risposte binarie

Nel logit p = Λ(X′β) e, per una covariata lineare continua, ∂p/∂x_j = p(1 − p)β_j. Nel probit p = Φ(X′β) e ∂p/∂x_j = φ(X′β)β_j. Una dummy richiede normalmente una differenza discreta fra due probabilità. Nel logit exp(β_j) è un odds ratio nella specificazione semplice, non un rapporto di probabilità. L’AME media effetti individualmente calcolati; l’effetto alla media valuta un unico profilo. Interazioni e trasformazioni richiedono di derivare l’intero indice e l’intera funzione di risposta.

A13 — conteggi e censura

Con media esponenziale μ = t exp(X′β), ln(t) è l’offset di esposizione e exp(β_j) un rapporto di medie o tassi nel confronto pertinente. PPML può identificare una media corretta senza distribuzione Poisson completa, sotto regolarità. Nel Tobit Y = max(0,μ + u), con u normale omoschedastico e z = μ/σ, E(Y|X) = μΦ(z) + σφ(z) e la derivata è β_jΦ(z). Un modello a due parti usa invece P(Y > 0|X)E(Y|Y > 0,X), consentendo due meccanismi distinti. Un valore zero autentico non è necessariamente una censura.

A14 — durate

S(t) = P(T > t), h(t) = f(t)/S(t), H(t) = ∫₀^th(s)ds e S(t) = exp[−H(t)]. Con censura indipendente pertinente, un contributo è f(t)ᵟS(t)^1-ᵟ. Nel modello Cox h(t|X) = h₀(t)exp(X′β): exp(β_j) è un hazard ratio, non un rapporto di probabilità cumulative. In un AFT ln(T) = X′β + σε, exp(β_j) moltiplica la scala temporale dei quantili. Rischi competitivi richiedono l’incidenza cumulativa ∫S(s)λk(s)ds, non una trasformazione isolata dell’hazard specifico che ignori gli altri eventi.

A15 — panel

Il within sottrae medie individuali: ỹ_it = y_it − ȳ_i e x̃_it = x_it − x̄_i. Elimina componenti costanti nel tempo e richiede rango nella variazione interna. Nel RE elementare, θ = 1 − √[σu²/(σu² + Tσa²)] determina il quasi-demeaning. Mundlak aggiunge le medie individuali dei regressori per rappresentare una forma di correlazione dell’eterogeneità permanente. Con esito ritardato e T fisso, il within dinamico presenta distorsione in generale. Strumenti interni e GMM richiedono condizioni temporali e iniziali esplicite, non soltanto la presenza di molti ritardi.

A16 — effetti causali e ponderazione

ATE = E[Y(1) − Y(0)], ATT = E[Y(1) − Y(0)|D = 1]. Sotto ignorabilità e positività, ATE = E[m₁(X) − m₀(X)] = E[DY/e(X) − (1 − D)Y/(1 − e(X))]. Per ATT, i controlli possono essere ponderati con e(X)/(1 − e(X)), mentre i trattati ricevono peso uno, con normalizzazione coerente. Cambiare la popolazione di mediazione o tagliare regioni di supporto cambia il target. L’equilibrio delle covariate osservate non dimostra assenza di confondenti non osservati.

A17 — differenze nelle differenze e RD

La DiD elementare è (ȳT,post − ȳT,pre) − (ȳC,post − ȳC,pre), causale sotto parallelismo controfattuale e le altre condizioni. Con adozione scaglionata ed effetti eterogenei occorrono confronti e aggregazioni appropriati. Lo sharp RD identifica il salto dei limiti della media alla soglia sotto continuità degli esiti potenziali; il fuzzy RD divide il salto dell’esito per quello del trattamento. Le ipotesi riguardano tempi, supporto, anticipazione e canali della regola. Un buon adattamento locale o un pre-trend non significativo non sostituiscono tali condizioni.

A18 — processi temporali

Per AR(1), Y_t = c + ρY_t-1 + ε_t, con |ρ| < 1, μ = c/(1 − ρ), Var(Y) = σε²/(1 − ρ²) e ACF(h) = ρ|h|. Per MA(1), Y_t − μ = ε_t + θε_t-1, Var(Y) = σε²(1 + θ²) e ACF(1) = θ/(1 + θ²). La stazionarietà causale AR richiede radici del polinomio autoregressivo esterne al cerchio unitario; l’invertibilità richiede la condizione analoga per il polinomio MA nella convenzione dei segni dichiarata. Stazionarietà e invertibilità sono proprietà differenti.

A19 — previsione e moltiplicatori

Nel modello AR(1) a parametri noti, Ŷ_t+ₕ|_t = μ + ρ^h(Y_t − μ) e Var dell’errore = σε²∑_j=0^h-1ρ²ʲ. In un ARDL stabile, il moltiplicatore di lungo periodo è ∑β_l/(1 − ∑φ_j). Intervalli di questi rapporti devono incorporare tutte le covarianze dei parametri. Una previsione con covariate future osservate ex post non è una previsione operativa ex ante. RMSE = √mean(e²) e MAE = mean(|e|) rappresentano perdite diverse. La validazione deve rispettare la disponibilità temporale di ogni trasformazione e informazione.

A20 — cointegrazione e sistemi

Serie I(1) sono cointegrate quando una combinazione non banale dei livelli è I(0). Nel VECM, ΔY_t = c + ΠY_t-1 + ∑Γ_jΔY_t-j + u_t, con Π = αβ′ di rango ridotto. β descrive lo spazio cointegrante e α l’aggiustamento nella normalizzazione adottata. In un VAR strutturale u_t = Bε_t e Σu = BB′, la covarianza ridotta non identifica B senza restrizioni aggiuntive. Le risposte impulsive sono ΨₕB. Prevedibilità di Granger, cointegrazione e identificazione di shock causali sono nozioni distinte.

A21 — GARCH

Nel GARCH(1,1), σ_t² = ω + αε_t-1² + βσ_t-1². Con condizioni di positività e secondo momento, α + β < 1 dà σ̄² = ω/(1 − α − β). La previsione a h passi è σ̄² + (α + β)^h-1(σ_t+1² − σ̄²). La varianza condizionata può cambiare pur esistendo una varianza incondizionata costante. Il quarto momento richiede condizioni ulteriori; con innovazioni normali, una condizione pertinente è 3α² + 2αβ + β² < 1. La radice quadrata della varianza è la volatilità nella stessa unità dell’innovazione.

A22 — quantili e regolarizzazione

La regressione quantilica minimizza ∑ρτ(y_i − x_i′βτ), con ρτ(u) = u[τ − 1(u < 0)]. Ridge minimizza RSS/(2n) + λ∑β_j²/2 e produce (X′X + nλI)^-1X′y per coefficienti penalizzati nella parametrizzazione centrata. Lasso sostituisce la penalità quadratica con λ∑|β_j| e può produrre zeri esatti. Selezione predittiva non equivale a verifica causale di irrilevanza. L’inferenza dopo selezione deve considerare l’intero procedimento, non soltanto la regressione finale scelta dai dati.

A23 — posterior bayesiana

p(θ|y) è proporzionale a p(y|θ)p(θ). Con prior Beta(a,b) e s successi su n prove Bernoulli, la posterior è Beta(a + s,b + n − s). Con media normale e varianza nota, s_n² = (1/s₀² + n/σ²)^-1 e m_n = s_n²(m₀/s₀² + nȳ/σ²). La varianza predittiva di una nuova osservazione è σ² + s_n². Un intervallo credibile rappresenta probabilità a posteriori condizionata a modello e prior; non è automaticamente un intervallo frequentista con la stessa copertura in ogni popolazione.

A24 — distinguere tre incertezze

L’incertezza campionaria descrive variazione dello stimatore nel disegno probabilistico adottato. L’incertezza del modello riguarda specificazione, distribuzione, stabilità e scelte analitiche. L’incertezza identificante riguarda ipotesi che collegano quantità osservate ed estimando, come esclusione o assenza di confondimento non osservato. Non esiste una formula di errore standard che incorpori automaticamente tutte e tre. Un intervallo convenzionale può essere stretto anche quando la principale minaccia è una violazione dell’identificazione. L’interpretazione finale deve dichiarare quale incertezza viene effettivamente quantificata.

Glossario

Adattamento. Capacità del modello di rappresentare i dati usati per stimarlo. Un buon adattamento non implica automaticamente buona previsione futura né identificazione causale.

AME. Effetto marginale medio, ottenuto calcolando un effetto per ciascun profilo di covariate e facendo la media sulla popolazione di riferimento. Non coincide in generale con l’effetto calcolato alle covariate medie.

Asintotica. Studio del comportamento di uno stimatore o test quando cresce una dimensione informativa, come n, N o T. La dimensione che cresce e quelle mantenute fisse devono essere specificate.

ATE. Effetto medio del trattamento nella popolazione obiettivo, E[Y(1) − Y(0)]. Può differire dall’effetto sui partecipanti e da effetti locali identificati tramite strumenti o soglie.

ATT. Effetto medio del trattamento sui trattati. Richiede il controfattuale senza trattamento per la popolazione che ha effettivamente ricevuto l’intervento.

Autocorrelazione. Correlazione lineare fra valori di una serie separati da un certo ritardo. La sua assenza non implica indipendenza né assenza di prevedibilità della varianza.

Bias. Differenza fra valore atteso di uno stimatore e parametro obiettivo. Una distorsione asintotica non scompare automaticamente aumentando il campione.

Bootstrap. Ricampionamento utilizzato per approssimare una distribuzione campionaria. La procedura deve riprodurre la fonte di variabilità e la dipendenza pertinenti allo stimatore.

Calibrazione. Coerenza fra probabilità o previsioni dichiarate e frequenze o valori osservati nel quadro di valutazione. È distinta dalla sola capacità di ordinare le unità per rischio.

Censura. Osservazione di un limite o intervallo anziché del valore esatto dell’esito, mantenendo l’unità nel campione. Non coincide con l’assenza completa delle unità troncate.

Cluster. Gruppo entro cui gli errori possono essere dipendenti. L’inferenza deve considerare il numero e la struttura dei gruppi indipendenti, non soltanto le righe.

Cointegrazione. Esistenza di una combinazione stazionaria di serie non stazionarie, nel quadro di integrazione specificato. Descrive un vincolo di lungo periodo, non una direzione causale automatica.

Collider. Variabile influenzata da due o più cause nel diagramma causale. Condizionarvi può aprire un’associazione fra cause che non sarebbe presente nel confronto non condizionato.

Compliers. Unità il cui trattamento cambia nella direzione indotta dallo strumento. Sotto le condizioni LATE, l’effetto IV binario riguarda questa popolazione locale.

Confondente. Variabile che crea un percorso non causale fra trattamento ed esito nel modello causale considerato. Il suo ruolo dipende dalla struttura delle relazioni, non soltanto dalla correlazione.

Consistenza. Convergenza in probabilità dello stimatore al parametro obiettivo. In inferenza causale, la stessa parola indica anche il collegamento fra trattamento osservato ed esito potenziale corrispondente: il contesto distingue i significati.

Controfattuale. Esito che si sarebbe verificato sotto una condizione alternativa a quella osservata. La sua ricostruzione richiede un disegno e ipotesi esplicite.

Copertura. Frequenza con cui un procedimento di intervallo include l’oggetto vero nel quadro probabilistico pertinente. Copertura marginale, condizionata e simultanea sono proprietà differenti.

Cross-fitting. Stima delle funzioni ausiliarie su osservazioni diverse da quelle usate per calcolare il relativo momento finale, con rotazione dei fold. Non sostituisce le ipotesi di identificazione.

Cross-validation. Valutazione ripetuta fuori dal campione di stima per scegliere complessità o iperparametri. Le divisioni devono rispettare dipendenza, gruppi e ordine temporale.

Data leakage. Uso diretto o indiretto di informazione che non sarebbe disponibile nella situazione di previsione o valutazione. Può entrare anche attraverso imputazione, standardizzazione e selezione preliminare.

Differenza martingala. Innovazione con media condizionata nulla rispetto all’informazione passata specificata. Può avere varianza condizionata variabile e non essere indipendente.

Doppia robustezza. Proprietà di certe procedure che mantengono consistenza quando una fra due componenti ausiliarie è corretta, sotto le altre condizioni. Non protegge se entrambe sono sbagliate o manca identificazione causale.

Effetto fisso. Componente specifica di unità o periodo assorbita dal modello. Gli effetti individuali lineari eliminano eterogeneità costante, non ogni determinante non osservato variabile nel tempo.

Efficienza. Precisione relativa di uno stimatore entro una classe e sotto determinate ipotesi. Uno stimatore efficiente sotto un modello può essere distorto quando quel modello è errato.

Elasticità. Derivata percentuale locale, ∂ln(Y)/∂ln(X), per la funzione considerata. L’approssimazione percentuale locale non coincide sempre con una variazione finita esatta.

Endogeneità. Violazione delle condizioni di ortogonalità fra un regressore e l’errore rispetto al parametro obiettivo. È relativa all’equazione e alla domanda, non un’etichetta immutabile della variabile.

Errore standard. Stima della deviazione standard campionaria di uno stimatore. Non coincide con la deviazione standard dell’esito né incorpora automaticamente misspecificazione e incertezza causale.

Esogeneità stretta. Condizione che rende l’errore ortogonale all’intera storia dei regressori nella formulazione pertinente. È più forte dell’ortogonalità contemporanea e può escludere retroazioni verso regressori futuri.

Estimando. Quantità di popolazione o del disegno che si desidera conoscere. Va distinta dallo stimatore, che è la regola applicata ai dati, e dalla stima, che è il risultato numerico.

Eteroschedasticità. Varianza condizionata dell’errore non costante. Può alterare precisione e inferenza senza necessariamente invalidare una media lineare corretta ed esogena.

FDR. False discovery rate, quota attesa di falsi rifiuti fra le scoperte con la convenzione appropriata in assenza di rifiuti. È un criterio diverso dalla probabilità di almeno un falso rifiuto.

FWER. Family-wise error rate, probabilità di almeno un falso rifiuto nella famiglia di test. Bonferroni e Holm mirano a controllarla nelle rispettive condizioni.

GMM. Metodo generalizzato dei momenti, che stima parametri rendendo piccole restrizioni campionarie di aspettativa mediante una ponderazione. Validità e forza dei momenti sono essenziali.

Hazard. Intensità istantanea di evento condizionata alla permanenza a rischio. È un tasso per unità di tempo, non una probabilità cumulativa.

Identificazione. Possibilità di distinguere il parametro desiderato attraverso distribuzione osservata e ipotesi mantenute. Non coincide con precisione campionaria o convergenza numerica.

Ignorabilità. Condizione di indipendenza del trattamento dagli esiti potenziali dato un insieme di covariate, nella formulazione causale pertinente. Non è dimostrata da un modello predittivo ben adattato.

Interferenza. Dipendenza dell’esito di una unità dal trattamento di altre unità. Richiede di ridefinire esposizioni, esiti potenziali e confronti quando incompatibile con il modello semplice.

Intervallo credibile. Insieme che contiene una quota specificata della probabilità a posteriori. L’interpretazione è condizionata a dati, verosimiglianza e prior.

ITT. Intention to treat, effetto dell’assegnazione o offerta di trattamento. Non coincide necessariamente con l’effetto del trattamento ricevuto in presenza di non adesione.

Leverage. Posizione di un’osservazione nello spazio dei regressori, misurata in OLS dalla diagonale della matrice di proiezione. Un leverage alto non implica necessariamente un residuo grande.

Likelihood. Verosimiglianza, funzione del parametro costruita dalla probabilità o densità dei dati osservati. Non è, da sola, una distribuzione di probabilità del parametro.

MAE. Media degli errori assoluti di previsione. Attribuisce una penalità lineare alla grandezza degli scarti e può ordinare modelli diversamente da RMSE.

Mediatore. Variabile situata lungo un percorso attraverso cui il trattamento influenza l’esito. Controllarla può cambiare l’oggetto da effetto totale a un confronto diverso, che richiede ulteriori ipotesi.

Multicollinearità. Forte dipendenza lineare fra regressori. La collinearità perfetta impedisce l’identificazione separata; quella elevata può rendere imprecisi singoli coefficienti senza invalidare automaticamente la previsione.

Offset. Termine con coefficiente fissato, spesso il logaritmo dell’esposizione nei modelli per conteggi. Non è un regressore ordinario il cui coefficiente viene stimato liberamente.

Odds. Rapporto p/(1 − p). Un odds ratio moltiplica questo rapporto, non direttamente la probabilità p.

Ortogonalità di Neyman. Insensibilità di primo ordine dell’aspettativa di un momento a perturbazioni delle funzioni ausiliarie nel punto vero. Facilita inferenza con stime flessibili sotto condizioni sui loro errori.

Overfitting. Adattamento a caratteristiche casuali del campione che non si generalizzano. Un basso errore di training non dimostra un basso rischio predittivo futuro.

Parametro pseudo-vero. Valore che ottimizza il criterio medio nella distribuzione effettiva quando il modello è misspecificato. Può essere un’approssimazione utile ma non l’oggetto strutturale desiderato.

Positività. Disponibilità di probabilità non nulle delle condizioni confrontate nel supporto rilevante. Probabilità molto estreme possono rendere instabili le stime anche senza una violazione esatta.

Potenza. Probabilità di rifiutare una nulla falsa sotto un’alternativa specificata. Dipende da grandezza dell’effetto, variabilità, disegno e numerosità.

Propensity score. Probabilità di trattamento condizionata alle covariate. Il suo uso causale richiede ignorabilità, supporto e stima coerente con la procedura di confronto.

P-value. Probabilità, sotto la nulla e il modello di riferimento, di una statistica almeno altrettanto incompatibile con la nulla secondo il criterio scelto. Non è la probabilità che la nulla sia vera.

Radice unitaria. Radice del polinomio autoregressivo sul cerchio unitario, nel caso usuale associata a una componente stocastica non stazionaria. Le distribuzioni inferenziali convenzionali possono non valere.

Regolarizzazione. Restrizione o penalizzazione della complessità per gestire variabilità e previsione. Introduce un compromesso con la distorsione e non elimina automaticamente endogeneità.

Rilevanza strumentale. Capacità degli strumenti di fornire variazione identificante dei regressori endogeni. Non implica esclusione né esogeneità degli strumenti.

RMSE. Radice dell’errore quadratico medio di previsione. È nella stessa unità dell’esito e penalizza maggiormente gli errori grandi rispetto a MAE.

Sovraidentificazione. Presenza di più restrizioni di momento indipendenti che parametri. Consente test di compatibilità congiunta sotto regolarità, non una certificazione della validità di ogni singolo strumento.

Stazionarietà. Stabilità temporale di distribuzioni o momenti secondo la nozione adottata. Non equivale a una realizzazione piatta né garantisce, da sola, ergodicità.

Supporto comune. Regione delle covariate nella quale esistono confronti fra condizioni. Extrapolare oltre tale regione richiede ipotesi aggiuntive e può cambiare la credibilità dell’estimando.

Troncamento. Assenza dal campione di unità oltre un limite o fuori da una regione. La distribuzione osservata è condizionata alla regola di inclusione.

Domande da esame con risposta ragionata

1 — perché una regressione significativa può non dimostrare causalità?

La significatività riguarda incompatibilità dei dati con una restrizione sul parametro nel modello statistico. La causalità richiede che quel parametro rappresenti un confronto fra esiti potenziali o un effetto strutturale identificato. Variabili omesse, simultaneità, selezione e misurazione possono generare un coefficiente preciso ma non causale. Occorre definire l’estimando, spiegare la fonte di variazione e sostenere le condizioni che eliminano percorsi alternativi. Un p-value piccolo non verifica queste condizioni.

2 — quali ipotesi servono per gauss–markov e quali per i test esatti?

Nel quadro lineare a regressori condizionati, rango pieno, esogeneità della media e covarianza sferica σ²I sostengono la proprietà BLUE di OLS fra stimatori lineari corretti. La normalità non è necessaria per questa proprietà. Aggiungere normalità condizionata permette le distribuzioni t e F esatte nel modello classico. Con eteroschedasticità, OLS può rimanere corretto ma perde in generale la stessa efficienza e la covarianza classica non è valida. L’inferenza robusta è normalmente asintotica.

3 — perché i residui OLS ortogonali non provano esogeneità?

OLS sceglie i coefficienti proprio in modo che X′û = 0, quando il problema è a rango pieno. Questa identità vale anche se il regressore è correlato con l’errore strutturale non osservato. Il residuo stimato è costruito dopo aver adattato la regressione, mentre l’errore strutturale dipende dall’equazione economica e dal parametro desiderato. Confondere i due trasformerebbe una proprietà dell’algoritmo in una prova dell’ipotesi che dovrebbe giustificarne l’interpretazione.

4 — in che senso aggiungere controlli può peggiorare un’analisi causale?

Un confondente antecedente può rendere il confronto più credibile; un mediatore può eliminare una parte dell’effetto totale; un collider può aprire un percorso non causale. Aggiungere variabili può anche ridurre supporto, precisione e campione per dati mancanti. Il criterio non è il numero di controlli, ma il loro ruolo nel processo. La specificazione deve seguire cronologia e struttura causale, non una ricerca del modello con più variabili o con il coefficiente più significativo.

5 — perché gli errori standard robusti non risolvono l’endogeneità?

La covarianza robusta modifica la stima della variabilità dello stimatore sotto una classe più ampia di strutture dell’errore. Non modifica la correlazione di popolazione fra regressori ed errore strutturale né, in generale, il limite del coefficiente. Uno stimatore può essere precisamente distribuito attorno a un parametro diverso da quello desiderato. L’endogeneità richiede una strategia identificante, come randomizzazione, strumenti validi o un disegno causale appropriato, non soltanto una diversa formula dell’errore standard.

6 — come si interpreta un coefficiente logaritmico senza commettere errori?

Bisogna sapere quale variabile è trasformata, quale variazione viene considerata e quale media interessa. In un log-livello, β è una variazione locale del logaritmo per unità di X; una variazione finita usa exp(βΔx) − 1. In un log-log, β è un’elasticità locale e il rapporto finito usa il rapporto di X elevato a β. Per trasferire il risultato alla media aritmetica di Y occorre considerare il fattore di ritrasformazione dell’errore, che può dipendere da X.

7 — che cosa distingue rilevanza ed esclusione di uno strumento?

La rilevanza riguarda la relazione dello strumento con il regressore endogeno dopo i controlli. L’esclusione richiede che lo strumento non influenzi l’esito attraverso canali incompatibili con l’equazione strutturale. Occorre anche esogeneità rispetto ai determinanti non osservati. Un primo stadio forte non dimostra le altre condizioni. Uno strumento debole rende l’inferenza convenzionale fragile e può amplificare gli effetti di piccole violazioni. Il test di sovraidentificazione non sostituisce l’argomentazione economica.

8 — perché l’effetto IV può differire dall’ATE anche con uno strumento valido?

Con effetti eterogenei, uno strumento può modificare il trattamento soltanto per alcune unità. Nel quadro binario con monotonicità ed esclusione, il rapporto identifica LATE per i compliers. Queste unità possono avere benefici diversi dalla media della popolazione. Strumenti differenti possono muovere margini di partecipazione differenti e identificare effetti locali diversi. Per confrontare stime bisogna quindi verificare popolazione, trattamento e pesi impliciti, non presumere un unico coefficiente causale universale.

9 — quale problema risolvono gli effetti fissi e quale lasciano aperto?

Eliminano componenti individuali costanti nel tempo attraverso confronti della stessa unità con sé stessa. Consentono che tali componenti siano correlate con i regressori. Non eliminano shock non osservati variabili nel tempo, simultaneità o errori di misura. Inoltre, l’esogeneità stretta del modello statico può fallire quando decisioni future reagiscono agli shock correnti. Le variabili invarianti vengono assorbite e non sono separatamente identificate. Nel panel dinamico con T piccolo emerge un’ulteriore distorsione dovuta all’esito ritardato.

10 — perché non basta un pre-trend non significativo per validare una DID?

Il parallelismo riguarda il cambiamento controfattuale dopo il trattamento, non osservabile per i trattati. Un test precedente può avere poca potenza e non esclude deviazioni economicamente rilevanti. Anche un andamento precedente simile può essere seguito da uno shock concomitante differenziale. Occorrono cronologia, assenza di anticipazione, composizione coerente e un gruppo di confronto plausibile. Con molte date e adozione scaglionata, bisogna anche assicurare che gli stimatori e i coefficienti dinamici rappresentino confronti causali appropriati.

11 — perché un disegno RD è locale?

L’identificazione sfrutta continuità dei controfattuali e discontinuità dell’assegnazione proprio alla soglia. Unità lontane possono avere caratteristiche e risposte differenti. Per estendere l’effetto servono ulteriori ipotesi sull’eterogeneità o nuove fonti di variazione. Una banda più ampia non amplia automaticamente la popolazione per cui l’effetto è causalmente identificato: introduce un’approssimazione locale su più dati. La lettura deve specificare soglia, supporto, eventuale non adesione e popolazione locale interessata.

12 — che cosa significa doppia robustezza e che cosa non significa?

Significa che, sotto identificazione e regolarità, certe procedure rimangono consistenti quando è corretta una delle due componenti previste, come propensity score oppure entrambe le funzioni dell’esito. Non significa che qualunque errore sia tollerato né che l’inferenza sia automaticamente valida con qualsiasi algoritmo. Se entrambe le componenti sono sbagliate, può esserci distorsione. Confondimento non osservato e mancanza di supporto rimangono problemi. Cross-fitting e momenti ortogonali aiutano la stima, non creano causalità.

13 — perché odds ratio e hazard ratio non sono rapporti di probabilità?

Le odds sono p/(1 − p), mentre l’hazard è un tasso istantaneo condizionato alla permanenza a rischio. Moltiplicare queste quantità non moltiplica direttamente la probabilità dell’evento. Nel logit occorre riconvertire le odds; nella sopravvivenza occorre integrare il rischio e usare la funzione di sopravvivenza. La variazione assoluta dipende dal livello iniziale e, nelle durate, dall’orizzonte. Presentare un rapporto pari a due come raddoppio universale della probabilità è quindi scorretto.

14 — perché un modello poisson può essere utile anche senza equidispersione?

Il criterio Poisson produce condizioni di score basate sulla differenza fra esito e media esponenziale. Se la media è corretta e valgono le regolarità, i coefficienti possono essere consistenti anche con varianza diversa dalla media, usando inferenza appropriata. Questa proprietà riguarda la media, non l’intera distribuzione. Probabilità di zero, code e intervalli distributivi Poisson non sono automaticamente validi. Endogeneità e forma sbagliata della media non vengono eliminate dalla covarianza sandwich.

15 — qual è la differenza fra trend deterministico e radice unitaria?

Nel primo caso una componente prevedibile del tempo può essere rimossa lasciando scarti stazionari. Nel secondo gli shock alimentano una componente stocastica persistente e la varianza del livello può crescere nel tempo. Detrending e differenziazione non sono operazioni equivalenti. La distinzione modifica previsioni e distribuzioni dei test. Un grafico crescente non basta a decidere: servono ragionamento sul processo, specificazione dei termini deterministici e verifiche con limiti di potenza e possibili rotture.

16 — perché la cointegrazione non autorizza test t ordinari senza controlli?

La regressione di lungo periodo può avere proprietà di convergenza particolari, anche molto rapide, ma la distribuzione delle stime dipende da non stazionarietà, endogeneità di lungo periodo e correlazione seriale. I test sui residui cointegranti usano valori critici specifici perché i residui sono stimati. Superconsistenza del coefficiente non equivale a validità della covarianza OLS ordinaria. Occorrono un modello dinamico e un’inferenza coerenti, eventualmente tramite DOLS, FMOLS o un sistema VECM appropriato.

17 — che cosa manca a un VAR ridotto per identificare uno shock economico?

Le innovazioni ridotte possono essere combinazioni correlate di shock diversi. La matrice di covarianza identifica BB′ ma non una matrice B unica. Servono restrizioni contemporanee, di lungo periodo, di segno o strumenti esterni, con giustificazione economica. L’ordinamento di Cholesky è già una restrizione, non una scelta neutrale. Le risposte impulsive ereditano queste ipotesi. La causalità di Granger riguarda invece prevedibilità condizionata all’informazione inclusa e non risolve l’identificazione strutturale contemporanea.

18 — come può una serie avere media poco prevedibile e volatilità prevedibile?

Una differenza martingala può avere media condizionata zero e varianza che dipende dal passato. Gli scarti positivi e negativi possono compensarsi nella media mentre la loro grandezza presenta persistenza. ARCH e GARCH modellano proprio questa componente. Residui non autocorrelati nei livelli possono avere quadrati autocorrelati. È necessario verificare separatamente media, varianza e distribuzione delle innovazioni. Una buona previsione della volatilità non implica capacità di prevedere il segno del prossimo movimento.

19 — perché il modello con errore di training minore può prevedere peggio?

La stima utilizza gli stessi dati per scegliere parametri e misurare adattamento, favorendo i modelli flessibili. Questi possono rappresentare rumore non ripetibile invece di relazioni stabili. La prestazione deve essere valutata fuori campione con una divisione coerente e senza contaminazione da scelta di variabili, tuning o trasformazioni. Anche il test perde indipendenza se viene consultato ripetutamente per modificare il modello. La regolarizzazione accetta una possibile distorsione per ridurre la variabilità e migliorare la generalizzazione.

20 — qual è la distinzione fondamentale fra inferenza frequentista e bayesiana?

Nell’inferenza frequentista il parametro è fisso e l’incertezza delle procedure viene studiata attraverso campioni ripetuti o il disegno di assegnazione. Nell’inferenza bayesiana si aggiorna una distribuzione sui parametri attraverso prior e verosimiglianza. Un intervallo credibile e uno di confidenza possono coincidere numericamente in alcuni casi, ma hanno interpretazioni diverse. Entrambi dipendono da ipotesi sul modello e sull’identificazione. Nessun approccio rende automaticamente causale una regressione endogena o trasforma dati poco informativi in certezza.