Breve nota metodologica

MISURAPA si propone come un primo osservatorio sulle prestazioni del settore pubblico nei dieci ambiti di policy più rilevanti per i cittadini.

Per ciascuna di queste policy sono state individuate e delle dimensioni rilevanti misurate da set di indicatori elementari che ne rappresentano aspetti diversi.

Le dimensioni sono state individuate in modo da poter dar conto di aspetti diversi: dotazione strutturale dei servizi (strutture, organici, mezzi strumentali etc.); spesa ovvero risorse immesse; qualità organizzativa; impatto; efficienza; estensione del servizio.

Ciascuna dimensione è descritta con indicatori elementari individuati tra quelli disponibili perché rilevati da fonti ufficiali, con periodicità, disaggregati/disaggregabili a livello regionale, selezionati sulla base della significatività e capacità di misurare comunque aspetti importanti. Ulteriore criterio di selezione è stata l’esistenza di parametri di riferimento a livello sovra-nazionale (obiettivi di Lisbona, parametri OMS etc.) che già rappresentano un valore di benchmark. Infine, indicazioni utili sono state rintracciate attraverso una rassegna della letteratura disponibile in tema di indicatori per i settori considerati, che ha permesso l’individuazione dei parametri condivisi a livello internazionale e un approfondimento sul dibattito esistente in materia di valutazione delle politiche pubbliche.

I set di indicatori sono stati sottoposti, attraverso interviste in profondità, al vaglio di esperti di ciascun settore, con l’obiettivo di individuare comunque indicatori affidabili nella loro base di rilevazione e significativi per la loro capacità di misurare: outcome, efficacia, efficienza, qualità dei servizi pubblici, equità nella destinazione delle risorse. Oltre a verificare la bontà del modello adottato il parere degli esperti è particolarmente adatto nel ridimensionamento del fattore soggettivo legato inevitabilmente alla scelta di un indicatore piuttosto che un altro.

Gli indicatori considerati non sono mai dei valori assoluti: in tutti i casi – proprio per consentire una valutazione e un benchmark – i valori sono stati relativizzati, in genere attraverso rapporti semplici ed intuitivi. Classica è la parametrizzazione rispetto alla popolazione, complessiva o di riferimento, oppure il ricorso a valori percentuali che possono misurare, ad esempio, l’incidenza di una grandezza o la penetrazione e così via.

Sulla base degli indicatori elementari, che rappresentano le variabili su cui si fonda l’intero modello di riferimento, sono stati costruiti gli indicatori sintetici (ciascun indice misura una dimensione) in scala 0-100 e, infine, un indicatore composito di settore, una sorta di “superindice”.

Nella costruzione delle diverse misure sintetiche sono state applicate delle procedure statistiche che consentissero di superare alcuni degli inconvenienti tipici di questi metodi di elaborazione e analisi. Di pari passo con l’individuazione del modello di riferimento, infatti, primo fra tutti si pone il problema della determinazione dell’apporto delle singole variabili al fenomeno che si legge in chiave multidimensionale. In termini pratici ciò si traduce nella necessità di “dare un segno” alla variabile , positivo o negativo che sia, a seconda che essa incida in misura positiva o negativa sul fenomeno stesso. Nel caso di dati mancanti, i valori sono stati imputati sostituendo il dato mancante con uno stimato sulla base dei valori medi considerati su scala nazionale o della relativa ripartizione geografica, o ancora attribuendo il dato relativo ad un anno precedente laddove disponibile.

Altro problema da affrontare nell’aggregazione delle variabili è legato alla necessità di normalizzare i dati che saranno aggregati nella costruzione dell’indicatore sintetico. Ciò deriva dal fatto che gli indicatori elementari spesso sono espressi con unità di misura differenti: prima di procedere all’aggregazione è importante che essi siano espressi attraverso misurazioni confrontabili tra loro. In caso di mancanza di confrontabilità è necessario procedere alla trasformazione dei valori: in questo caso è stata effettuata una trasformazione che ha ricondotto tutti indicatori ad una scala 0-100. È importante sottolineare che il valore più basso (lo 0) come quello più alto (il 100) non sono dei valori assoluti, ma delle misure che permettono di esprimere il posizionamento relativo nel contesto specifico. Infatti questo metodo non permette di stabilire “buoni” o “cattivi” ma semplicemente di effettuare dei confronti fra posizioni relative che variano tutte nello stesso range (0-100). L’indice sarà quindi in scala 0-100, dove lo “0” e il “100” non sono valori assoluti ma relativi (100 equivale al valore più alto tra quelli risultanti, e 0 al valore più basso). La scelta di questo metodo è stata dettata sia dalla natura dei dati e dagli obiettivi del lavoro che dalla sua semplicità interpretativa e “popolarità” presso l’opinione pubblica.  

Infine per l’attribuzione dei pesi nella composizione dell’indice sintetico si è scelto di dare un peso equivalente a tutti gli indicatori elementari considerati. Il singolo indice sintetico è stato quindi calcolato come media dei valori riscalati 0-100, e il “superindice” di settore – un indice ultrasintetico – come media dei valori degli indici sintetici.

Il valore di questo “superindice” è rappresentato graficamente sia in termini assoluti che come scostamento dei valori delle diverse regioni rispetto alla media Italia presa come benchmark di riferimento.

I dati, infatti, sono tutti disaggregati a livello regionale in modo da poter effettuare a tutti i livelli (dalla misura elementare al superindice) dei confronti tra sistemi regionali, a livello aggregato di policy o di singoli aspetti, per non sacrificare le differenze di prestazione che possono esistere: una regione può avere un ranking complessivamente non entusiasmante su una data policy, ma può eccellere su un particolare aspetto di questa policy.

Quello che ne viene fuori è una rappresentazione delle performance che non deve essere presa in assoluto come “la” rappresentazione delle prestazioni, ma una prima lettura ed una prima griglia di indicatori su cui la discussione non può che dirsi appena cominciata.