Valutazione di impatto: cos’è, a cosa serve, a che punto siamo in Italia. L’approfondimento con Valentina Battiloro, Direttrice di ASVAPP

Valutazione di impatto: cos’è, a cosa serve, a che punto siamo in Italia. L’approfondimento con Valentina Battiloro, Direttrice di ASVAPP

ASVAPP lavora per promuovere la cultura e la pratica della valutazione rigorosa, di impatto e non solo. Puoi spiegarci brevemente cosa si intende per “valutazione rigorosa”, in termini di senso e metodi? 

Perché sia rigorosa la valutazione deve avere due caratteristiche: partire da domande sensate e utilizzare gli approcci più corretti per darvi risposta. Parlo di domande sensate perché non sempre è possibile chiedersi tutto. Penso in particolare alla valutazione di impatto, evocata spesso (e spesso a sproposito). E’ una attività che restituisce informazioni utili a produrre conoscenza, ma non è sempre possibile realizzarla. Nel caso di interventi poco definiti negli obiettivi o nella struttura, in cui non è chiaro DI cosa si voglia stimare l’impatto e SU che cosa, bisognerebbe fare un passo indietro. Meglio sarebbe chiedere alla valutazione di produrre informazioni puntuali su cosa è stato realizzato, per chi e in che modo (quello che si chiama rendicontare le realizzazioni o analizzare l’implementazione).

Poi c’è una questione di approccio (o metodo) rigoroso. Anche in questo caso l’esempio più eclatante riguarda la valutazione di impatto che nasce e si diffonde a partire dalla cultura anglosassone e poggia sul metodo controfattuale, prima applicato all’ambito clinico e poi trasposto a quello delle scienze sociali. Non si tratta quindi di “scegliere” un approccio, cosa a tratti suggerita per giustificare l’utilizzo di metodi più o meno fantasiosi. La valutazione di impatto è di tipo controfattuale, il resto sono altre attività a cui bisognerebbe dare nomi diversi. Più in generale è utile porre attenzione a chi realizza le valutazioni. Esistono professionisti “formati” alla valutazione e professionisti “prestati” alla valutazione. Nel secondo caso di rigoroso c’è poco.

 

Puoi inquadrare lo stato della valutazione di impatto in Italia per quanto riguarda le politiche governative e il settore non profit? Quanto davvero è diffusa la valutazione rigorosa e quanto, invece, si declina su altre logiche? Siamo lontani rispetto ad altri Paesi?

La valutazione in Italia ha una storia relativamente recente. A livello nazionale e regionale si diffonde con l’utilizzo dei fondi strutturali: l’Unione Europea ci chiede di dar conto di come vengono utilizzate le risorse destinate al nostro Paese (quanto abbiamo speso e per fare cosa, in un’ottica di accounting), più raramente la domanda si allarga al tentativo di descrivere i modelli di realizzazione e  i cambiamenti prodotti grazie agli interventi realizzati (in un’ottica di accountability). La mia idea è che anche nel caso di PNRR il grosso della valutazione che verrà condotta sarà più accounting che accountability. 

Anche a livello legislativo la valutazione ha una storia recente. Una ventina di anni fa il progetto CAPIRe (http://www.capire.org/) ha introdotto le clausole valutative, degli articoli di legge che pongono specifici quesiti sul funzionamento e sulle ricadute di una legge, definendo la funzione di controllo e valutazione in capo alle Assemblee legislative (dopo vent’anni gli articoli di legge sono numerosi, le risposte a questi articoli ancora poche e poco sistematizzate). 

Ultima in ordine di apparizione è la valutazione per il settore non profit: dopo la riforma del terzo settore il decreto del 2019 ha introdotto le linee guida per la realizzazione della valutazione dell’ “impatto socialedelle attività svolte dagli Enti del Terzo Settore. Diciamo che la differenza con altri Paesi è evidente: da noi il più delle volte si fa valutazione perché si deve, altrove perché si vuole apprendere. Non è un caso che l’informazione su cosa funzioni e per chi (quello che si impara dalla valutazione) da noi sia poco accessibile. In molti Paesi, soprattutto di matrice anglosassone, esistono luoghi fisici o virtuali in cui è possibile accedere a questa informazione (penso ad esempio all’esperienza del What Works UK e della Clearinghouse statunitense). In Italia anche laddove esista conoscenza prodotta dalla valutazione utile ad una programmazione evidence-based è difficile accedervi. Un tentativo in questa direzione lo abbiamo fatto avviando il progetto IPSEE (Inventario dei Problemi, delle Soluzioni e dell’Evidenza sull’Efficacia, https://www.ipsee.info/)

 

VIS: un passo avanti in chiave di accountability per il Terzo Settore o una distorsione che deforma senso e opportunità della valutazione? Cosa sta succedendo a tuo avviso? 

L’anello debole sta tutto in questo “sociale” aggiunto alla parola impatto. Va molto di moda (ormai non solo per il terzo settore) ed è il vero rischio in corso. A volte con il termine “sociale” si fa riferimento al tipo di intervento (una politica di contrasto alla povertà è appunto di tipo sociale), altre (e qui il rischio è decisamente più alto) la parola sociale è un rafforzativo per la parola impatto. L’idea è che non basti misurare in maniera credibile (come si può fare con l’approccio controfattuale) i cambiamenti prodotti su uno specifico problema collettivo da uno specifico intervento, ma che l’osservazione si debba necessariamente allargare ad altro, agli effetti prodotti più in generale sulla società. La valutazione di impatto diventa quindi il tentativo di misurare il cambiamento prodotto da uno specifico intervento su tutto (o quasi). Il problema sta in questo eccesso di ambizione che trasforma delle domande credibili in incredibili esercizi di fantasia, legittimando in virtù di questo, l’utilizzo di metodi poco rigorosi anche nei casi in cui l’applicazione dei metodi controfattuali sarebbe possibile. La vera differenza con altri Paesi sta in questo. Siamo partiti dopo nello sviluppo della cultura della valutazione e nel tentativo di colmare questo gap facciamo esercizio di creatività che fa perdere di credibilità (e quindi di utilità) all’attività di valutazione.

 

Filantropia e valutazione: quale ruolo e quali oneri potrebbero (dovrebbero?) assumersi i soggetti erogativi? Cosa dovrebbero evitare? Puoi citarci qualche esempio?

Il mondo della filantropia ha un grosso vantaggio: può sperimentare, con grandi margini di flessibilità, interventi innovativi e testarne l’efficacia. La valutazione di questi interventi consegnerebbe alla collettività (in primis agli attori pubblici) buone prassi da replicare su larga scala (o da non ripetere in caso di fallimento). Di buone prassi ce ne sono. Cito la Fondazione Compagnia di San Paolo perché è di casa (è tra i soci fondatori dell’ASVAPP). Ha una specifica Direzione (si chiama Pianificazione, studi e valutazione) che affianca le varie aree di intervento della Fondazione per accompagnare le progettazioni con specifiche attività di valutazione. Molti dei lavori di valutazione condotti vengono poi resi accessibili sul sito della Fondazione in una specifica sezione (https://www.compagniadisanpaolo.it/it/biblioteca-valutazione/). Stesso discorso per la Fondazione Cariplo che cura una collana di pubblicazioni che hanno l’obiettivo di divulgare i risultati delle ricerche prodotte dal proprio Osservatorio (https://www.fondazionecariplo.it/it/strategia/osservatorio/i-quaderni-dell-osservatorio.html). Non cito gli esempi non virtuosi per diplomazia, posso però dire cosa non fare: spendere senza porsi domande, non condividere la conoscenza acquisita, vergognarsi dei fallimenti.

 

Una delle critiche rivolte agli studi randomizzati controllati (RCT), golden standard della valutazione, è che danno conto degli effetti medi di un intervento su una popolazione di beneficiari con certe caratteristiche. Ma in molti ambiti di attività del Terzo Settore (pensiamo ad esempio alla psicologia clinica) si è interessati all’efficacia su individui specifici…

Le critiche rivolte agli RCT sono tante: non sono equi, restituiscono evidenza credibile solo su microcontesti, costano troppo… Per ognuna di queste ci sono altrettante repliche (anzi di più). Alcune abbiamo provato a sintetizzarle in un blog creato con dei colleghi (https://studirandomizzati.wordpress.com/per parlare di RCT. Il problema dell’efficacia su singoli individui però non ha tanto a che fare con i limiti degli RCT quanto con la valutazione in generale. La valutazione controfattuale richiede gruppi per condurre analisi statistiche, non si concentra su singoli soggetti. Se non si tratta di un rifiuto pregiudiziale del metodo, l’interesse per certe sottocategorie può essere affrontato facendo analisi per specifici sottogruppi. Se invece il caso da trattare è assolutamente unico, la valutazione controfattuale non ha senso (in generale, non solo gli RCT), perché non bastano neppure le analisi per sottogruppi. Ma in questo caso entriamo appunto più nell’ambito clinico. 

 

Nel 2019 il premio Nobel per l’economia viene assegnato a Banerjee, Duflo e Kremer per l’utilizzo di metodi sperimentali (RCT) per la lotta alla povertà. Nel 2021 è la volta di Card, Angrist e Imbens per la loro analisi dei meccanismi causa-effetto sul mercato del lavoro visti attraverso gli esperimenti naturali. In sostanza, 6 premi Nobel in due anni per la valutazione di impatto controfattuale. Questo cosa ci dice a tuo avviso?

Che la valutazione di impatto è solo di tipo controfattuale, che il mondo dell’economia e della scienza non riconoscono altri approcci “creativi” e che dalla valutazione si può imparare molto.

 

Una provocazione per concludere… Quale spazio hanno gli enti di valutazione rigorosa come ASVAPP all’interno dello storytelling e dei media del terzo settore italiano – e perché? 

Quando c’è bisogno di un grillo parlante ci chiamano spesso. In caso di scorciatoie molto meno. Ma questo non ci dispiace.

 

Per maggiori informazioni http://asvapp.org/


N.d.R. In seguito alla pubblicazione dell’intervista, si è aperto un interessante dibattito, fotografato dal Blog Studi Randomizzati (qui) e disponibile su LinkedIn (qui)


VALENTINA BATTILORO

Laureata in Economia e Commercio presso l’Università di Torino, ha successivamente conseguito il Master in Analisi delle Politiche Pubbliche del COREP. Dal 2001 è ricercatrice dell’ASVAPP, di cui è direttrice dal 2016. È inoltre responsabile del Progetto CAPIRe. Ha una pluriennale esperienza nel disegno e nell’analisi di politiche attive del lavoro, ed è autore di varie pubblicazioni sul tema. Ha tenuto corsi di analisi e valutazione delle politiche pubbliche nell’ambito di master post universitari, per conto di numerosi Consigli Regionali e per l’Associazione delle Casse di Risparmio Italiane. È docente di metodi di analisi dell’implementazione presso l’università Bicocca e in precedenza presso il Master in Valutazione e Analisi di Politiche Pubbliche del Senato della Repubblica. Ha competenze nell’ambito dell’analisi quantitativa ed è esperta nel disegno e utilizzo di strumenti di indagine qualitativa. Ha collaborato alla predisposizione di disegni sperimentali di analisi per la DG Employment dell’Unione Europea.

Leave a Reply

Your email address will not be published.