Politiche_Pubbliche_Valutazione_3.pdf

Fedra Negri, fedra.negri@unimi.it III LEZIONE  Dobbiamo rispondere a 2 domande:  Effetto di cosa?  Effetto su cosa?  Dobbiamo ricostruire in modo plausibile la situazione contro-fattuale  Non facile, perché non è mail osservabile!  Possiamo confrontare tratti e non trattati  Ma dobbiamo stare attenti alla distorsione da selezione!  Possiamo confrontare i trattati, pre e post implementazione della PP  Ma dobbiamo stare attenti alla distorsione da dinamica spontanea!  Riscriviamo la differenza trattati-non trattati come semplice identità:  E(Y1| T=1) - E(Y0| T=0) = E(Y1| T=1) - E(Y0| T=0)  Aggiungiamo e sottraiamo al lato destro dell’identità la stessa quantità (il nostro controfattuale):  E(Y0| T=1)  Otteniamo:  E(Y1| T=1) - E(Y0| T=0) = E(Y1| T=1) - E(Y0| T=1) + E(Y0| T=1) - E(Y0| T=0)  Raggruppando i termini, si ottiene:  E(Y1| T=1) - E(Y0| T=0) = E(Y1-Y0| T=1) + [E(Y0| T=1) - E(Y0| T=0)] Differenza trattati-non trattati Effetto Distorsione da selezione  Introduciamo la dimensione temporale  Condizioniamo tutto |T=1 (ma non lo scriviamo)  3 differenze:  E(Y1t+1) - E(Y0t-1) Differenza osservata pre-post  E(Y1t+1) - E(Y0t+1) Fattuale – Controfattuale: Effetto medio sui trattati  E(Y0t+1) - E(Y0t-1) Dinamica spontanea  È facile dimostrare che:  E(Y1t+1) - E(Y0t-1) = E(Y1t+1) - E(Y0t+1) + E(Y0t+1) - E(Y0t-1) Differenza osservata pre-post Effetto medio sui trattati Distorsione da dinamica spontanea  Il modello di Rubin è l’argomento meno intuitivo e più formalizzato che incontrerete in tutto il corso. Di conseguenza, il peggio è passato!  Punto di riferimento metodologico  Discende dalla sperimentazione in campo medico  Clinical trials:  Pazienti affetti dalla stessa patologia sono suddivisi con un sorteggio (randomizzazione) in due gruppi: il gruppo sperimentale assume il farmaco, il gruppo di controllo assume un placebo  Perché non basta osservare il gruppo sperimentale prima e dopo la somministrazione del farmaco?  In medina, doppio cieco: né il medico, né i pazienti sanno chi ha preso il farmaco e chi ha preso il placebo.  Nel campo delle PP, la condizione del doppio cieco non è riproducibile.  Randomized Controlled Trials (RCT)  ‘Controlled’ perché il valutatore controlla/manipola il processo di assegnazione (a caso, ma non a ‘casaccio’)  Randomizzare è il modo (quasi) ideale di riprodurre la situazione controfattuale, rappresentata dal gruppo di controllo  Dalla popolazione d’interesse vengono selezionati casualmente i soggetti da sottoporre al trattamento  La randomizzazione garantisce che il gruppo sperimentale e il gruppo di controllo siano statisticamente equivalenti sia nelle caratteristiche osservabili che nelle caratteristiche non osservabili. I due gruppi:  Non sono formati da individui identici tra loro  Non sono perfettamente uguali nelle caratteristiche osservabili e non osservabili  Però, hanno la stessa distribuzione di tutte le caratteristiche (i.e., media, varianza, quantili) con un errore casuale (sempre più piccolo all’aumentare di N).  La randomizzazione elimina/previene la distorsione da selezione: garantisce che la media del risultato potenziale da non tratto nei due gruppi sia la stessa:  E(Y0| T=1) = E(Y0| T=0)  Riprendiamo l’equazione relativa alla differenza trattati-non trattati:  E(Y1| T=1) - E(Y0| T=0) = E(Y1-Y0| T=1) + [E(Y0| T=1) - E(Y0| T=0)] Differenza trattati-non trattati Effetto medio sui trattati Distorsione da selezione  Con la randomizzazione, E(Y0| T=1) = E(Y0| T=0)  Quindi possiamo annullare la seconda differenza a destra  E(Y1| T=1) - E(Y0| T=0) = E(Y1-Y0| T=1) Differenza tra il gruppo sperimentale e il gruppo di controllo Effetto medio sui trattati "Benché il disegno sperimentale sia contemplato in tutta la letteratura metodologica, non ci si può nascondere la sua sostanziale irrealizzabilità di fatto quando si lavora nell'ambito delle scienze sociali, ovvero la sua pressoché totale inutilità laddove si dovesse ad ogni costo realizzarlo. I disegni sperimentali sono essenzialmente dei modelli di studio, realizzati probabilmente in ambiente universitario, e non dei modelli operativi realizzati da committenti impegnati in un programma reale" Caudio Bezzi*, Il disegno della ricerca valutativa, Franco Angeli, 2001, p. 325 *Valutatore e consulente per amministrazioni pubbliche, ha fondato la Rassegna Italiana di Valutazione e l'Associazione Italiana di Valutazione. “L'esperimento con randomizzazione è il più solido disegno di ricerca per valutare l'impatto netto degli interventi. Gli esperimenti con randomizzazione hanno limiti di applicazione, tra cui quello di essere utilizzabili solo per programmi a copertura parziale. Inoltre, il loro uso è ulteriormente limitato da problemi pratici relativi all'ottenimento della collaborazione tra i vari attori e a i tempi e ai costi necessari a condurli.” Rossi, Freeman e Lipsey*, Evaluation: A Systematic Approach, Sage, p. 279 *Mark W. Lipsey is the Director of the Center for Evaluation Research and Methodology and a Senior Research Associate at the Vanderbilt Institute for Public Policy Studies (Ph.D. in Psychology from The Johns Hopkins University in 1972). His professional interests are in the areas of public policy, program evaluation research, social intervention, field research methodology, and research synthesis (meta-analysis). He is a recipient of the American Evaluation Association’s Paul Lazarsfeld Award.  Applicabilità limitata alle politiche non universali  Ostacoli all’implementazione dell’esperimento:  Etici  Legali  Politici  Avversione degli operatori  I vincoli più deboli nel caso di interventi pilota:  Scopo valutativo  In loro assenza, nessuno sarebbe trattato  Due buone ragioni per sapere cosa sono gli esperimenti sociali:  A livello didattico, aiutano a toccare con mano cosa significa stimare l’effetto di una politica con un approccio “controfattuale”  Ad un livello più metodologico, è utile sapere che la disponibilità di stime sperimentali degli effetti offre un benchmark agli studiosi impegnati nello sviluppo di nuovi metodi non-sperimentali  NATIONAL SUPPORTED WORK DEMONSTRATION (1974-79)  Primo caso di valutazione su ampia scala attraverso il metodo sperimentale negi USA  Supported Work = lavoro protetto: inserimento lavorativo in una cooperativa sociale, già utilizzato per i disabili.  All’inizio degli anni ’70, viene proposta l’estensione del supported work ad altre categorie di soggetti emarginati dal mercato del lavoro regolare (ex-detenuti, ex-tossicodipendenti, donne beneficiarie di sussidi di povertà, giovani drop-out della scuola dell’obbligo).  Ci sono forti dubbi sull’efficacia di questo intervento + i costi sono elevati (5000-8000$ per partecipante)  Si preferisce valutare l’efficacia su scala ridotta.  Prima di generalizzare a livello nazionale il “supported work”, ci si chiede:  Questo strumento è efficace nel migliorare le possibilità di reinserimento lavorativo di queste tipologie di soggetti?  Per alcune più che per altre?  Domanda di valutazione: far partecipare un soggetto svantaggiato ad un’esperienza di lavoro protetto per un periodo limitato di tempo, ne migliora le possibilità di reinserimento nel lavoro regolare?  In 14 località degli USA, altrettante organizzazioni non-profit vengono finanziate per organizzare laboratori di lavoro protetto per svolgere attività quali:  pulizia di edifici  sorveglianza negli asili nido  piccolo artigianato  edilizia  I potenziali soggetti da “inserire in cooperativa” sono inviati a questi laboratori da assistenti sociali, centri di disintossicazione, istituzioni carcerarie e altre strutture di assistenza.  Tuttavia, in 10 delle 14 località, una % di persone che i servizi sociali avrebbero voluto invitare alla partecipazione ai laboratori è esclusa dalla partecipazione mediante sorteggio (GRUPPO DI CONTROLLO).  Tra il marzo 1975 e il dicembre 1978, circa10,000 persone sono impiegate nei 14 laboratori di lavoro protetto  Nelle 10 località con gruppo di controllo, circa 6600 persone sono impiegate per la valutazione, di cui 3200 assegnate al gruppo sperimentale e 3400 al gruppo di controllo.  Quindi, solo 1/3 dei 10000 partecipanti totali ai laboratori viene effettivamente usato per la valutazione d’impatto (per contenere i costi).  La durata massima della permanenza in cooperativa è di 12 mesi, con punte occasionali fino a 18 mesi. La permanenza media in cooperativa è di 6,7 mesi  Dopo la conclusione dell’esperienza di SW, i partecipanti sono aiutati a trovare un lavoro regolare al di fuori della cooperativa  I partecipanti al gruppo sperimentale e al gruppo di controllo sono intervistati 4-5 volte: una volta prima della randomizzazione, le restanti ogni 9 mesi.  Le interviste hanno lo scopo di registrare i cambiamenti nel tempo delle seguenti grandezze (outcomes variables):  La partecipazione al lavoro  Il reddito da lavoro (noi ci concentreremo su questa Y)  Lo stato di povertà  La percezione di sussidi  L’uso di stupefacenti  Problemi con la giustizia penale  Concentriamoci sue due categorie di soggetti svantaggiati: le madri single e i giovani drop-out.  Categoria: madri single che ricevono il sussidio di povertà da almeno 3 anni Reddito medio mensile in $  Variabile risultato: reddito da lavoro mensile Gruppo sperimentale Gruppo di controllo  Se guardassimo solo al gruppo delle madri single trattate (|T=1):  E(Y1t+1) - E(Y0t-1)= 250-50=200  (200/50)*100=400%  L’esperienza del lavoro protetto ha avuto un effetto positivo: ha aumentato del 400% il loro reddito iniziale!  Ci fidiamo?  NO! Questo risultato è distorto dalla dinamica spontanea! Reddito medio mensile in $  Per fortuna, abbiamo il gruppo di controllo. Gruppo sperimentale Gruppo di controllo  Non ci dobbiamo preoccupare delle distorsione da selezione perché abbiamo randomizzato: E(Y1| T=1) - E(Y0| T=0) = E(Y1-Y0| T=1)  250-170=80$ (bene, ma non sono certo i +200$ di prima!) Reddito medio mensile in $  (80/170)*100= +47% Gruppo sperimentale Gruppo di controllo  Categoria: giovani che abbandonano la scuola dopo il 10°anno di istruzione (in II superiore) Reddito medio mensile in $  Variabile risultato: reddito da lavoro mensile Gruppo di controllo Gruppo sperimentale  Se guardassimo solo al gruppo dei giovani trattati (|T=1):  E(Y1t+1) - E(Y0t-1)= 290-100=190  L’esperienza del lavoro protetto ha avuto un effetto positivo: ha quasi raddoppiato il loro reddito!  (190/100)*100=190%  Ci fidiamo?  NO! Questo risultato è distorto dalla dinamica spontanea! Reddito medio mensile in $  Per fortuna, abbiamo il gruppo di controllo. Gruppo di controllo Gruppo sperimentale  Non ci dobbiamo preoccupare delle distorsione da selezione:  E(Y1| T=1) - E(Y0| T=0) = E(Y1-Y0| T=1)  290-330=-40$ (bene, ma non sono certo i +200$ di prima!) Reddito medio mensile in $  (-40/330)*100= -12% Gruppo di controllo Gruppo sperimentale  Il lavoro protetto ha avuto un effetto positivo sul gruppo delle madri single in condizione di povertà.  Al contrario, il lavoro protetto non ha avuto un effetto positivo (e quindi non serve) per i giovani drop-out.  Valutazione dell’impatto di interventi-pilota (pilot programs o demonstrations):  più facili da gestire, quindi più solidi dal punto di vista della validità interna,  ma più deboli dal punto di vista della validità esterna (generalizzabilità)  Valutazione dell’impatto di interventi a regime (ongoing programs):  più difficili da gestire,  risultati più validi  James Heckman (Premio Nobel per l'economia nel 2000), “Assessing the Case for Social Experiments” Journal of Economic Perspectives, Spring 1995 (con Jeffrey Smith).  La randomizzazione crea una situazione artificiale che altera incentivi e comportamenti, quindi produce risultati validi sotto l’assunto (non verificabile) che tali distorsioni nei comportamenti non si verifichino  La randomizzazione può avvenire solo ad uno stadio del processo di erogazione del servizio, ma normalmente i processi di erogazione sono multi-stadio, quindi non tutto il trattamento è randomizzabile  L'evidenza che il metodo sperimentale può produrre è limitata alla differenza tra comportamenti medi nei due gruppi, ma ci sono altre cose che vorremmo sapere (ad esempio: per quale frazione di beneficiari l'impatto è positivo?) per cui dobbiamo comunque ricorrere alla modellazione econometrica  Occorre mantenere l’integrità del disegno sperimentale:  Il gruppo dei trattati deve essere composto di soggetti che ricevono davvero il trattamento  Il gruppo di controllo deve essere composto di soggetti che non ricevono alcun trattamento  Questo è difficile quando la partecipazione è volontaria ed esistono altre opportunità di trattamento  Perché il metodo sperimentale non è quasi mai usato al di fuori degli Stati Uniti?  Difficoltà pratiche, mancanza di esperienza, maggiori sensibilità etiche etc…Ma c’è un’altra ragione di fondo…  Ragione di natura culturale  L’adozione del metodo sperimentale è un sintomo di una propensione a “sperimentare”, nel senso di:  mettersi in discussione  non dare nulla per scontato  apprendere per “trial and error”  Più spesso, in Italia ed in Europa, si valutano le PP per una motivazione di “accountability”= rendere conto.  Es. Valutazione del Fondo Sociale Europeo richiede di rendere conto:  Dei fondi utilizzati  Dei progetti finanziati  Degli utenti/beneficiari coinvolti  Quella che NON emerge è un’autentica volontà di mettere in discussione, di sperimentare.  Tuttavia, qualcosa, lentamente, sta cambiando:  https://www.youtube.com/watch?v=IQCiDohFaB0  Martini, Alberto, e Marco Sisti (2009), Valutare il successo delle politiche pubbliche.  Cap. 8  Pp. 168-169: il reddito delle madri single trattate prima e dopo l’intervento quintuplica (passa da 50 a 250 $. L’aumento, però, è pari a 200$, cioè al 400% del salario iniziale).  Saltare la sotto-sezione 3.2. ‘Disegni sperimentali complessi’, 3.3. ‘Quanti soggetti vanno coinvolti in un esperimento sociale’, 3.4. ‘Randomizzazione di gruppi e di aree geografiche’. fedra.negri@unimi.it