Nel pieno di una fase transizione tra due periodi di programmazione della Politica agricola comune, con questo contributo abbiamo cercato di offrire una lettura di sintesi dell'evoluzione dei sistemi di monitoraggio e valutazione, anche alla luce del quadro proposto per la nuova PAC) e stimolare una discussione sul ruolo, l'utilità e l'affidabilità delle future valutazioni. L'articolo riflette sui progressi compiuti a conclusione del ciclo di valutazione on-going (2007-2013) e sulle evidenze derivanti dalla valutazione definita "durante il periodo della programmazione" (2014-2020), con la finalità di trarre insegnamenti dall'esperienza fatta e di riflettere sulle possibilità di rafforzare la crescita di una cultura della valutazione diffusa tra le amministrazioni, i valutatori e gli altri stakeholder dei Programmi di Sviluppo Rurale (PSR), o almeno di evitarne una decrescita.
I regolamenti sullo sviluppo rurale 2007-2013 hanno impresso, rispetto al passato, un impulso rilevante al cambiamento degli approcci alla valutazione dei PSR in termini, tra l'altro, di rafforzamento, omogeneità e sistematicità dei processi, nonché di partecipazione degli stakeholder.
L'introduzione del cosiddetto approccio on-going è stato un passaggio importante e al tempo stesso decisamente innovativo. Esso indica chiaramente (Figura 1) che la valutazione, oltre ad affrontare alcuni momenti obbligatori (ex ante, intermedia ed ex post), deve accompagnare l'intero ciclo di programmazione in tutte le sue fasi tipiche (programmazione, implementazione, eventuale riprogrammazione, chiusura) (Cristiano e Licciardo, 2016; 2017; Cagliero et al, 2017).
Figura 1 - Sinossi delle attività, dei processi e dei prodotti della valutazione nel periodo 2007-2013
Questa lettura ha incrementato la strategicità delle attività di monitoraggio e di valutazione, sottolineando l'opportunità, e talvolta anche la necessità, di ridefinire l'organizzazione dei percorsi di valutazione dei PSR per includere «tutte le attività di valutazione da effettuarsi nell'intero periodo di programmazione, comprese le valutazioni ex ante, intermedia ed ex post» (Commissione europea, 2006). La chiara intenzione è di supportare, con la valutazione, la definizione e l'implementazione dei PSR, fornendo alle Autorità di Gestione (AdG) conoscenza utile e utilizzabile per comprendere i risultati raggiunti e gli effetti innescati, i fattori di successo e di insuccesso e le opportunità di miglioramento, con tempi adeguati al ciclo di vita del programma (Bolli et al., 2010). Altrettanto evidente risulta la volontà di rafforzare le funzioni della valutazione dei programmi ben oltre quella di accountability, e di far maturare nelle AdG una importante capacità di gestione dei processi valutativi e di confronto con i valutatori e le altre parti interessate.
La regolamentazione comunitaria ha imposto anche una serie di obblighi, consolidando un quadro comune e omogeneo ai quali gli Stati membri (SM) dovevano rispondere, anche in modo piuttosto rigido. In particolare, la marcata ambizione analitica del Common Monitoring and Evaluation Framework (CMEF) si è subito rilevata troppo dispersiva e al contempo vincolante, limitando le opportunità di espressione specifiche (organizzative, gestionali, metodologiche e tecniche in senso ampio) per gli SM.
Tuttavia, nonostante queste rigidità del CMEF, l'approccio on-going è stato capace di dare un impulso alla maturazione della cultura della valutazione nelle politiche di sviluppo rurale. Si è assistito, infatti, a un interessante processo di consolidamento della capacity building delle amministrazioni, specialmente in termini di formulazione di una specifica domanda di valutazione, di confronto e di apprendimento. Si può affermare che l'emanazione delle norme regolamentari e degli orientamenti, anche se ispirati alla rendicontazione e alla comparabilità, ha fornito indirizzi e stimoli su importanti elementi di gestione della valutazione: dalla costruzione dei quesiti e dei criteri alle relazioni con i valutatori, all'attenzione alla qualità e utilità delle valutazioni, alla pianificazione di attività e tempistiche, alla gestione dei rapporti con gli stakeholder (Carta e Licciardo, 2018) sino alla trattazione delle raccomandazioni dei valutatori.
La stessa Commissione europea ha sottolineato l'importanza delle capacità di organizzazione e del governo dei processi valutativi, consolidando gli indirizzi relativi all'attivazione di strutture di governance, come steering group o unità dedicate all'interno delle amministrazioni responsabili dei PSR. Tali indirizzi in Italia hanno trovato buoni livelli di attuazione.
Infine, si deve ancora evidenziare che i servizi della Commissione hanno anche favorito il confronto e la discussione tra gli SM, attraverso il rafforzamento del principio di networking, per lo scambio di competenze e di esperienze (Cagliero e Cristiano, 2016).
A livello nazionale, nell'ambito del Programma della RRN, è stata costituita una specifica Task force di Monitoraggio e Valutazione. I principali obiettivi delle numerose attività svolte sono stati: il supporto alla valutazione, sia in termini metodologici che di gestione, nonché il confronto e l'apprendimento condiviso fra tutti i soggetti interessati alla valutazione dello sviluppo rurale, sia come responsabili che come utilizzatori (Mipaaf, AdG, membri del partenariato, altri SM, Servizi della Commissione, valutatori, ricercatori,...) (Cagliero et. al, 2017).
Anche per la programmazione 2014-2020, la rilevanza della valutazione, come strumento di analisi e di giudizio particolarmente utile per il processo decisionale, viene sottolineata nella visione del during the programme che avrebbe dovuto rendere i processi valutativi più aderenti ai singoli PSR (Cristiano e Licciardo, 2016).
Nella realtà, i servizi della Commissione hanno proposto con il nuovo Common Monitoring and Evaluation System (CMES) un sistema orientato a una visione "one-fit-all" a livello unionale (Cagliero et al., 2021a) rafforzando, a partire dal precedente CMEF, la struttura del sistema degli indicatori e i quesiti comuni di valutazione, anche attraverso la proposizione di un consistente e dettagliato elenco di documenti di orientamento comune (linee guida).
La novità più rilevante nella nuova lettura valutativa during the programme è l'introduzione del Piano di Valutazione (PdV) quale elemento obbligatorio nei PSR per meglio pianificare e governare i processi valutativi. Composto da 7 sezioni, il PdV contiene le indicazioni generali minime in materia di: obiettivi e scopo del piano di valutazione; governance e coordinamento; temi e attività di valutazione; dati e informazioni; tempistica; comunicazione e risorse (Cristiano e Varia, 2016).
A differenza del periodo precedente, non è più prevista una valutazione intermedia obbligatoria e i risultati di sintesi in itinere della valutazione sono riportati nei Relazioni Annuali di Attuazione (RAA) cosiddette potenziate e, più precisamente, nelle RAA la valutazione trova due collocazioni: nel capitolo 2 (tutte le RAA) è riportata la descrizione delle attività svolte, in relazione al piano di valutazione; nel capitolo 7 (solo nel 2017 e 2019) sono discusse le sintesi delle risposte alle domande di valutazione, articolate secondo un format comune. Questo format, specialmente nella versione 2017, si è dimostrato molto rigido e troppo focalizzato sulla omogeneità delle presentazioni e sulla comparabilità dei percorsi, a scapito delle specificità dei programmi e della capacità di lettura degli eventuali cambiamenti da essi innescati.
Il quadro risultante dall'applicazione dei suddetti tre elementi di novità offre diverse letture, qui schematizzate nella Figura 2.
Figura 2 - I principali elementi della valutazione nel periodo 2014-2020
Le riflessioni sulle analisi dei capitoli 7 delle RAA pongono in luce come la richiesta di conformità e una lettura troppo marcatamente orientata alla performance da parte della Commissione, abbiano limitato la portata e l'uso delle valutazioni "generaliste". La presenza di formati fortemente vincolanti e l'obbligo di dover affrontare tutte le domande comuni hanno, in diversi casi, condotto i valutatori a adottare soluzioni poco consistenti, talvolta poco più che minimali, per trovare sempre e comunque risposte a tutte le questioni di valutazione, anche nei casi di insufficiente implementazione degli interventi o di scarsa disponibilità di informazioni o di non pertinenza del quesito (Camaioni et al., 2020; Cagliero et al., 2021a). Questo ha comportato anche un utilizzo poco efficace delle risorse destinate alla valutazione.
Dall'altro canto, dalla lettura dei capitoli 2 delle RAA e dalla partecipazione agli steering group, dunque fuori dal riporto formale delle RAA potenziate, si riscontra una certa vivacità della valutazione, favorita dalla applicazione dei Piani di Valutazione.
Per questo motivo, il Piano di Valutazione resta lo spazio per dare agli Stati membri un certo grado di autonomia e flessibilità nella valutazione, a fronte delle rigidità endogene al CMES e ai format delle RAA potenziate. In questo senso, i PdV si sono dimostrati strumenti importanti per adattare la valutazione alle esigenze specifiche degli SM, sebbene, renderli obbligatori nei Programmi in molti casi li ha come cristallizzati, vista la complessità dei processi di modifica, e ne ha frustrato la capacità di adeguare con flessibilità la valutazione ai cambiamenti dei contesti e all'evoluzione dei PSR (Cagliero et al., 2021b).
Alla data di chiusura del presente articolo, il processo di definizione del quadro unionale per il periodo di programmazione 2023-2027 è ancora in corso. Concluso l'accordo politico, si attendono i regolamenti definitivi e soprattutto i documenti della cosiddetta giurisprudenza secondaria (atti implementativi, orientamenti, linee guida, documenti di lavoro), che sono fondamentali per i sistemi di valutazione e monitoraggio (Camaioni et al., 2021; Cagliero et al., 2021c).
La prossima PAC offre diverse novità, tra le quali possiamo menzionare l'introduzione del Piano Strategico Nazionale (PSN), in cui far convergere entrambi i pilastri della PAC, lungo nove Obiettivi Specifici e un obiettivo trasversale della modernizzazione del settore attraverso conoscenza e innovazione, e il cosiddetto New Delivery Model (NDM), che fa perno sull'istituzione del Performance Framework per seguire i progressi fatti verso il perseguimento degli obiettivi indentificati dal Piano (Carey, 2019). Questo meccanismo, che intende rafforzare il cambiamento verso un sistema basato sulla performance e sui risultati, viene definito nell'ambito di un nuovo quadro di monitoraggio e valutazione delle performance (PMEF, Performance Monitoring and Evaluation Framework).
La Commissione propone di misurare le prestazioni della PAC in relazione agli obiettivi specifici fissati nel PSN lungo una catena di indicatori comuni (contesto, output, risultato e impatto) con un sistema che pone al centro del NDM la stima di valori previsionali degli indicatori e i processi di performance clearence e performance review. La prima, basata indirettamente sugli output, è funzionale al riconoscimento agli Stati Membri delle spese da parte della Commissione; la seconda, costruita sugli indicatori di risultato, può comportare conseguenze finanziarie (Figura 3).
Figura 3 - Una lettura semplificata della proposta di misurazione della efficacia del PSN
Anche se per il prossimo periodo di programmazione il toolbox per la valutazione non è completamente definito, si possono evidenziare alcuni aspetti principali: i) Il termine "performance" è certamente centrale nella visione della Commissione; ii) si rafforza la rigidità tra indicatori e requisiti di valutazione; iii) sembra più sfumato il ruolo del PdV, che resta un elemento rilevante indicato dal Regolamento (art. 126), ma che non dovrebbe essere più una parte obbligatoria del futuro Piano. Come osservato nel passato, i primi due aspetti possono risultare critici per i processi di valutazione, inducendo verso valutazioni limitate ad analisi della performance e a favorire la formalità, piuttosto che l'apprendimento; mentre il PdV ha dimostrato, almeno in parte, di poter avere un ruolo di armonizzatore tra obblighi europei e necessità di conoscenza dei territori.
Come la performance non può essere l'unico obiettivo di una politica, così un sistema di monitoraggio e valutazione impostato troppo sull'analisi di performance non può essere sufficiente e utile a migliorare una politica (Metta, 2020). L'importanza di seguire la performance e la responsabilità della spesa pubblica è evidente, ma dalle proposte della Commissione sembrerebbero questi gli aspetti fondamentali della futura valutazione. A nostro parere, una tale visione appare troppo limitata e dimentica che al centro dei processi valutativi dovrebbe essere situata la costruzione di domande pertinenti in relazione ai diversi contesti di interesse: temi, stakeholder, approcci e territori.
Si comprende certamente l'ambizione di semplificare la programmazione orientandosi ai risultati, all'efficienza e all'efficacia delle politiche, come si concorda, ovviamente, sulla necessità di un quadro comune di riferimento, ma, da quello che si può analizzare oggi, il NDM presenta nella realtà molte criticità e il PMEF sembra molto più rigido e meccanico rispetto al passato. Abbiamo già avuto modo di sperimentare che richieste comuni obbligatorie troppo strutturate e rigide assorbono la maggior parte delle risorse, deprimendo l'esecuzione di più utili valutazioni specifiche.
La progettazione della valutazione futura dovrebbe essere sufficientemente flessibile da soddisfare le esigenze del Programma, tenendo conto delle sue specificità; e per promuovere una più ampia partecipazione, al fine di rafforzare la titolarità della valutazione e migliorare i processi decisionali, anche a fronte della nuova integrazione col primo pilastro. In questo quadro, il Piano di Valutazione resta lo strumento più adeguato per programmare valutazioni utili e concretamente utilizzabili in relazione al ciclo di vita del PSN. Tuttavia, è necessario che il PdV sia flessibile e inserito in un disegno valutativo ampio e metodologicamente robusto e condiviso, per affrontare la forte complessità del futuro PSN (Cagliero et al. 2021a). Dovrà anche tenere conto del modello di governance che sarà individuato, poiché a seconda dei livelli di programmazione e di implementazione (nazionale/regionale/territoriale) le esigenze di valutazione potranno essere differenti, così come, potenzialmente, potrebbero essere differenti i team chiamati a valutare gli interventi.
Il mondo cambia, i contesti cambiano, i fabbisogni cambiano e le politiche cambiano: la valutazione deve essere, allora, messa nella condizione di adeguarsi e di cambiare a sua volta per restare utile (e utilizzata).
Contributo a cura del gruppo di lavoro della Scheda progetto 4.2.
Martina Bolli, Roberto Cagliero, Beatrice Camaioni, Valentina Carta, Simona Cristiano, Francesco Licciardo, Francesca Varia
PianetaPSR numero 104 luglio/agosto 2021
