Imparare a valutare: l'esperienza di EVAL FORM

EVAL FORM è la scuola di valutazione promossa da Roberto Cagliero e Francesco Basset (CREA-PB) e da Vincenzo Fucilli (Università di Bari Aldo Moro), nata per rafforzare le competenze teoriche e metodologiche di ricercatori e funzionari regionali e ministeriali coinvolti nella valutazione delle politiche PAC, in un contesto che richiede alle amministrazioni di misurare non solo la spesa ma l'efficacia reale degli interventi sui territori. 

La formazione ha un approccio fortemente laboratoriale: i partecipanti simulano il lavoro di una società di valutazione incaricata da un'Autorità di Gestione di rispondere a un quesito valutativo reale, costruendo l'intero processo, dalla domanda di valutazione alla scelta del metodo e degli strumenti, fino alle raccomandazioni operative e al piano di comunicazione.

La scuola di valutazione EVAL FORM ha preso avvio dall'illustrazione dei principi e dei concetti fondamentali su cui si fonda la valutazione. La scelta di partire dalle basi rispondeva alla forte eterogeneità dei partecipanti, che comprendevano responsabili del monitoraggio e della valutazione, funzionari regionali, ricercatori e tecnologi con livelli differenti di esperienza e familiarità rispetto alle tematiche affrontate. L'obiettivo è stato quindi quello di costruire una base teorica comune e di fornire a tutti i partecipanti un linguaggio condiviso, necessario per affrontare in modo consapevole le successive fasi del percorso formativo.

I temi affrontati hanno riguardato, in primo luogo, il ruolo della valutazione nell'ambito delle politiche pubbliche, intese come l'insieme di azioni e interventi messi in campo per affrontare e contribuire alla soluzione di problemi di natura collettiva. In questa prospettiva, la valutazione non è stata presentata come una disciplina rigidamente definita, né come una semplice attività di misurazione degli effetti di un intervento, ma piuttosto come un modo di pensare e di interrogare le politiche, finalizzato a produrre conoscenza utile a orientare le decisioni. Particolare attenzione è stata quindi dedicata alla definizione della domanda valutativa, intesa non come un passaggio meramente preliminare, ma come un vero e proprio processo di costruzione, confronto e progressivo arricchimento delle esigenze conoscitive dei diversi soggetti coinvolti. La formulazione della domanda rappresenta, infatti, uno degli elementi centrali del processo valutativo, poiché consente di chiarire cosa si vuole conoscere, per quale finalità e a supporto di quali decisioni.

In questo senso, la valutazione è stata presentata come un'attività che richiede capacità di analisi, confronto e interpretazione e che assume significato soprattutto quando riesce a mettere in relazione evidenze, contesti e bisogni decisionali. Il "kit teorico" del valutatore comprende dunque non soltanto strumenti e metodi, ma anche un insieme di principi e di atteggiamenti che permettono di interrogare criticamente una politica pubblica, riconoscerne la complessità e individuare le domande conoscitive più rilevanti. La valutazione si configura così come un processo di apprendimento e di supporto alla decisione, nel quale la produzione di evidenze non costituisce il punto di arrivo, ma uno degli elementi attraverso cui alimentare il confronto e migliorare la capacità di progettare, attuare e orientare le politiche pubbliche.

EVAL FORM ci spiega come funziona il processo di valutazione, passo dopo passo. Si parte dalla progettazione, dove si mette a punto l'impianto della valutazione: le domande a cui si vuole rispondere, i metodi e le tecniche da usare, e il piano complessivo. Da qui si passa all'attuazione, il cuore del lavoro, che si muove in tre momenti: prima l'osservazione, cioè la raccolta dei dati sul campo e da fonti documentali; poi l'analisi, dove i dati vengono elaborati; infine il giudizio, quando i risultati dell'analisi vengono interpretati e trasformati nei prodotti della valutazione. L'ultimo passaggio è la diffusione, ovvero la condivisione dei risultati, che porta anche a costruire un partenariato istituzionale e socio-economico più solido. E infatti tutto il percorso è accompagnato, dall'inizio alla fine, dal coinvolgimento diretto di questo partenariato: attraverso le indagini di campo si raccolgono spunti utili, gli esiti dell'analisi vengono condivisi con chi è coinvolto, e questo confronto continuo aiuta a rendere i giudizi finali più solidi e approfonditi.

In Fig. 1 è possibile osservare una roadmap del processo valutativo, con i vari passaggi appena descritti.

La scuola ha previsto una fase laboratoriale in cui i partecipanti si sono messi alla prova attraverso un esercizio pratico di valutazione. Assimilabile ad un esempio di  role playing i partecipanti si sono suddivisi in gruppi di lavoro al fine di simulare il lavoro di un'agenzia di valutazione. In particolare, ciascun partecipante ha avuto la possibilità di selezionare un intervento della PAC 2023-2027 afferente al pilastro dello sviluppo rurale. I partecipanti che condividevano gli stessi interessi in termini di intervento selezionato si costituivano in gruppo per simulare operativamente il processo valutativo. Gli interventi selezionati sono stati diversi e i gruppi che si sono costituiti eterogenei. Il dialogo e il confronto hanno consentito ai gruppi di percorrere le varie tappe del percorso valutativo dall'analisi del contesto, alla domanda valutativa, all'identificazione dei dati da utilizzare nonché alla scelta di metodi, criteri e il piano di comunicazione e diffusione fino alla formulazione di raccomandazioni operative. Particolarmente interessante è stato immedesimarsi nei panni di un valutatore e dialogare con tutti attori variegati che condividono la conoscenza della PAC seppur da prospettive diverse.

Tra gli interventi analizzati durante l'esperienza laboratoriale c'è il caso della SRA29. Infatti, un gruppo di partecipanti si è visto interessato a valutare tale intervento chiedendosi:

In che misura l'intervento SRA29 contribuisce al raggiungimento degli obiettivi di incremento della produzione biologica destinata al consumatore finale?

A partire dal quesito è stato costruito un disegno di valutazione basato sui criteri di:

Per rispondere al quesito valutativo è stato elaborato un disegno metodologico ispirato all'approccio promosso nell'ambito di EVAL FORM, che integra la logica della verifica empirica degli effetti con una prospettiva costruttivista orientata alla comprensione dei processi e dei meccanismi di cambiamento. Tale impostazione ha portato all'adozione di un approccio mixed methods, nel quale evidenze quantitative e qualitative sono utilizzate in modo complementare per rafforzare la robustezza dell'analisi e l'interpretazione dei risultati.

La componente quantitativa prevede l'integrazione di diverse banche dati (RICA, SIAN e Piano Annuale delle Produzioni Biologiche) e si articola su tre livelli di analisi (Fig. 2):

Accanto all'analisi statistica è prevista una componente qualitativa basata su questionari e interviste rivolte agli allevatori, ai trasformatori e ai caseifici, con l'obiettivo di comprendere le motivazioni che favoriscono o ostacolano la chiusura della filiera biologica.

La simulazione valutativa mostra come il semplice incremento delle superfici certificate non sia sufficiente a garantire il raggiungimento degli obiettivi della politica.

Da un lato, l'intervento appare coerente con gli obiettivi europei di espansione dell'agricoltura biologica, favorendo la conversione delle superfici agricole.

Dall'altro lato, emergono possibili criticità rispetto alla capacità della misura di generare valore aggiunto attraverso la commercializzazione di prodotti certificati biologici.

I casi studio, tra cui questo, sono stati presentati di fronte ad una commissione costituita dagli organizzatori di EVALFORM che ha restituito feedback e spunti di miglioramento favorendo anche in questa fase il processo di apprendimento dei partecipanti.

Negli ultimi anni, i serious game hanno acquisito una crescente rilevanza nel campo della formazione, affermandosi come strumenti innovativi in grado di integrare apprendimento e coinvolgimento attivo dei partecipanti. Il loro impiego in ambito formativo consente di ricreare situazioni e contesti decisionali complessi in un ambiente simulato, nel quale i partecipanti possono sperimentare diverse strategie, confrontarsi con le conseguenze delle proprie scelte e sviluppare capacità di analisi e problem solving. In questo senso, i serious game rappresentano uno strumento particolarmente adatto anche alla formazione nell'ambito delle politiche pubbliche, poiché permettono di simulare processi decisionali caratterizzati dalla presenza di molteplici attori, interessi e vincoli, favorendo un apprendimento di tipo esperienziale e partecipativo. In questo contesto si colloca quindi la sessione di EVAL GAME che i partecipanti hanno avuto modo di sperimentare durante il corso. I partecipanti sono stati suddivisi in tre gruppi di gioco, dove ciascuno sfidava gli avversari nella realizzazione del piatto migliore. Infatti, il gioco simula l'ambiente di una cucina, dove lo chef è chiamato a realizzare il percorso valutativo migliore (assimilabile metaforicamente al piatto) scegliendo accuratamente gli ingredienti (che costituivano le fasi del processo valutativo) ottimali per la riuscita. I primi ad impiattare le valutazioni migliori si sono aggiudicati la vittoria. Successivamente ciascuno ha spiegato e motivato le proprie scelte relative agli ingredienti creando un dibattito in cui al confronto tecnico sui temi della valutazione si sono affiancati momenti di ilarità distendendo i partecipanti e aumentato l'efficacia dell'apprendimento.

L'esperienza di EVAL FORM dimostra che la valutazione delle politiche pubbliche è un processo complesso e strutturato. Valutare non significa semplicemente misurare alcuni indicatori o verificare il livello di attuazione di un intervento, ma piuttosto formulare domande pertinenti, ricostruire il contesto, identificare i criteri di valutazione, selezionare metodi adeguati, raccogliere e interpretare i dati e, infine, tradurre i risultati in indicazioni utili per il processo decisionale.

Il successo del processo di valutazione dipende quindi dalla coerenza e dal rigore con cui vengono svolte le sue fasi chiave. La definizione della domanda di valutazione costituisce il punto di partenza, poiché chiarisce cosa si intende scoprire e su quali decisioni si intende basare. Seguono poi la strutturazione del quadro metodologico, l'osservazione, l'analisi dei dati, la formulazione del giudizio e la diffusione dei risultati. Queste fasi non costituiscono una mera sequenza tecnica, ma un processo integrato, accompagnato dalla consultazione con i partner istituzionali e socioeconomici.

La lezione principale da trarre da EVAL FORM è quindi che una buona valutazione nasce da una combinazione di rigore metodologico, pensiero critico, partecipazione e attenzione all'applicazione pratica dei risultati. L'approccio basato su workshop e lo scambio di competenze ed esperienze diverse consentono ai partecipanti di apprendere non solo tecniche e strumenti, ma soprattutto un modo di analizzare criticamente le politiche pubbliche. Da questo punto di vista, la valutazione diventa parte integrante del processo decisionale e uno strumento attraverso il quale migliorare progressivamente la progettazione e l'attuazione delle misure della PAC.

A cura di Laura Mirra e Andrea Martelli