Marçal Farré
Politòleg.
Investigador a la Fundació Carles Pi i Sunyer.
Membre del Col·lectiu Fàbric.

Introducció

Dins del món de les polítiques públiques, en els darrers anys han emergit noves demandes com la transparència, la rendició de comptes i la demostració de resultats. Diferents actors, sobretot acadèmics i think tanks, formen un moviment a favor de la generació d’evidència empírica sobre l’impacte de polítiques públiques concretes i que aquesta informació s’incorpori en els processos de presa de decisions i en el disseny de les intervencions.

Aquest moviment té el seus orígens més llunyans en el camp de la medicina, on ja al segle XVIII James Lind va realitzar el primer assaig clínic de la història demostrant que els cítrics curaven l’escorbut[1]. Des d’aleshores els mètodes experimentals s’han anat perfeccionant gràcies a l’avenç de l’estadística i a la introducció de nous conceptes, com el d’aleatorietat en la selecció de la mostra. Poc a poc, aquestes tècniques s’han obert pas en les ciències socials fins arribar als nostres dies, on les conegudes com avaluacions d’impacte tenen un rol cada cop més estès en l’estudi de les polítiques públiques, però tanmateix la seva contribució real a la presa de decisions real continua sent un repte pendent. En aquest article explorem com, des dels governs locals, es pot generar i incorporar evidència que ajudi a prendre millors decisions.

Què són les avaluacions de l’impacte en el camp de les polítiques públiques i per què són útils?

Qualsevol política pública es basa en una teoria, més o menys explícita, sobre l’existència d’unes necessitats a les que cal atendre, uns recursos disponibles, i unes accions o intervencions que han de produir uns resultats esperats. La funció de les avaluacions d’impacte és identificar aquesta teoria i posar-la a prova per dirimir si s’han produït canvis atribuïbles a la política avaluada i intentar entendre per mitjà de quins mecanismes causals s’han produït. Els mètodes experimentals creen intencionalment dos grups de participants seleccionats aleatòriament: el grup d’intervenció, on la política avaluada s’implementa, i el grup de control o contrafactual, que serveix com a punt de comparació. La selecció aleatòria garanteix que els grups siguin de mitjana idèntics, tan en característiques observables (per exemple: edat, gènere, formació…) com en característiques no observables (per exemple: motivació per participar en el programa). Això garanteix la comparabilitat inicial dels dos grups i permet atribuir diferències posteriors en els seus resultats a l’impacte de la política avaluada. Quan la selecció aleatòria de dos grups no és possible, ja que aquests venen predeterminats, s’utilitzen dissenys quasi-experimentals. Aquests simulen una selecció aleatòria controlant per certes característiques i diferències prèvies, i d’aquesta manera aconsegueixen conservar bona part de la fiabilitat en l’estimació de l’impacte. Finalment, els mètodes no experimentals no disposen d’un escenari comparable o contrafactual, per la qual cosa malgrat que poden identificar canvis observats en el grup d’intervenció (evidència descriptiva), no poden tenir la certesa de si aquests canvis s’haguessin donat o no en absència de la política avaluada (evidència causal).

Els defensors de les polítiques informades en l’evidència defensen l’ús de mètodes experimentals o quasi-experimentals per tal d’identificar aquelles polítiques que funcionen i poder-les replicar en altres llocs o aplicar a escales majors. A més a més, consideren que l’evidència generada permet rendir comptes davant de la ciutadania i tenir un debat més informat per part de totes les parts interessades. Malgrat aquests beneficis prometedors, sovint es fa difícil disposar de grups control. És aquí on els municipis ofereixen unes condicions ideals per a generar informació de valor que serveixi per identificar, compartir i replicar polítiques d’èxit.

Oportunitat de l’avaluació de l’impacte en el món local

Els Ajuntaments són l’administració més propera als ciutadans, la que hi està més en contacte, i és més receptiva a les seves demandes. Al mateix temps, la legislació els deixa un ample marge per impulsar tota mena d’activitats i serveis, per la qual cosa les administracions locals esdevenen espais d’improvisació i creativitat, enfocats a la solució pragmàtica de problemes reals. Aquestes compten amb una gran varietat de pràctiques innovadores, des de noves formes de proveir serveis municipals fins a projectes i iniciatives allunyades del seu àmbit d’intervenció tradicional, com seria el cas de la introducció de monedes locals o el foment de les energies renovables.  Tanmateix, encara ara sabem poc sobre els efectes i les implicacions de cadascuna d’aquestes polítiques, i fins i tot en els casos en que aquestes pràctiques són considerades exitoses, no s’acostumen a traslladar a nous contextos.

Com aplicar-ho als Ajuntaments

L’oportunitat que ofereix el món local per a l’anàlisi de polítiques públiques és la disponibilitat de grups comparables o contrafactuals, ja sigui si volem comparar impactes agregats a nivell de municipi o nivells inferiors (classe, escola, barri, districte…). Només a Catalunya comptem amb 947 municipis sota un mateix marc institucional, que poden ser agrupats segons el seu nombre d’habitants i altres característiques que es considerin rellevants, convertint-los en potencials grups de comparació mutus. En aquest sentit es podria aprofitar la gran varietat de polítiques existents, identificar aquelles que són potencialment replicables, i posar-les a prova sota un disseny experimental o quasi-experimental. Aquest exercici permetria saber si la política ha funcionat i en quina mesura (quantificar l’impacte), i com ho ha fet i quins factors entren en joc (entendre els mecanismes causals). Aquest doble aprenentatge del què ha passat i el com, permet prendre decisions informades sobre el futur de la política i incorporar-hi millores o adaptacions per als nous contextos on es vulgui replicar.

Una de les dificultats és que els representants públics i gestors no disposen dels recursos i capacitat organitzativa per invertir en recerca. Per aquest motiu cal cooperació entre municipis i equips que liderin aquesta tasca des dels i per als governs locals. Aquesta és la idea de la State and Local Innovation Initiative impulsada per la xarxa d’acadèmics JPAL[2] sorgida al voltant de l’MIT. Aquesta iniciativa vol dona suport als municipis i Estats dels EUA perquè incorporin assajos  aleatoris controlats (RCT) dins del seu procés de presa de decisions[3]. L’esquema bàsic és que els municipis i Estats identifiquin polítiques que volen avaluar, i tinguin un suport tècnic i financer per a dissenyar i dur a terme un pilot avaluable, els resultats del qual han de servir per decidir si cal generalitzar-lo o no, i si es considera pertinent, incorporar millores al disseny de la política. A més, es vol facilitar que els polítics i tècnics siguin consumidors dels resultats d’aquest tipus d’avaluacions, de manera que les lliçons apreses traspassin el propi govern que ha impulsat l’avaluació.

Una de les crítiques que se sol fer a la recerca d’aquest tipus és que és cara. Tanmateix, resulta més barat començar fent un pilot i posteriorment prendre una decisió informada, que no pas implementar polítiques sense tenir informació de què s’està aconseguint. Al mateix temps, aquesta estratègia pot garantir millor la continuïtat i expansió de polítiques d’alt impacte, ja que amb informació rigorosa resulta més fàcil defensar-les.

Consideracions finals

Finalment cal tenir present que l’avaluació no valora el mèrit de la intervenció, ja que aquesta no deixa de ser una qüestió política, però sí que aporta informació tècnica que permet als òrgans polítics prendre decisions de forma més informada. No es tracta, doncs, de que l’evidència empírica sigui l’únic criteri, doncs continuen existint factors rellevants de tot tipus (ètics, ideològics, institucionals…), tanmateix la informació disponible sobre els efectes d’un programa o política han de ser un factor a incorporar en la presa de decisions i la millora contínua de les intervencions públiques.

 

Bibliografia:
GLENNERSTER, Rachel.; TAKAVARASHA, K. “Running Randomized Evaluations: A Practical Guide”
HM TREASURY. “The Magenta Book. Guidance for Evaluation”. London , HM Treasury, 2011.
WHITE, Howard. “Theory-Based Impact Evaluation: Principles and Practice” A: serie Working Papers, nº 3: International Initiative for Impact Evaluation, 2009.

[1] https://en.wikipedia.org/wiki/James_Lind
[2] https://www.povertyactionlab.org/
[3] http://www.povertyactionlab.org/stateandlocal