Protocolo de Evaluación para Proyectos de fortalecimiento de gobiernos locales: una propuesta para El Salvador desarrollada por el Centro de Inversiones de la FAO
El Gobierno de El Salvador impulsó su Plan Quinquenal de Desarrollo 2010- 2014, que cuenta entre sus objetivos la constitución de un sector público “responsable, eficiente, eficaz, moderno, desconcentrado y descentralizado que brinde a la población servicios de calidad, que disponga de los recursos suficientes para cumplir de forma adecuada con las atribuciones que le asigna la Constitución de la República y que cuente con un sistema de rendición de cuentas diligente y transparente”.
En este contexto, desde 2010, el Gobierno de El Salvador tiene en marcha un Proyecto de Fortalecimiento de Gobiernos Locales (PFGL), que cubre los 262 municipios que componen el territorio salvadoreño. Para ello, el país ejecuta recursos provenientes del préstamo del BIRF por un valor de US$ 80 millones, con el compromiso de aportar US$ 6.8 millones en concepto de contrapartida nacional.
Durante los años en los que este Proyecto ha estado en marcha, se han abordado los principales factores que imposibilitan en el país una efectiva desconcentración y descentralización de los servicios públicos, inversiones y recursos hacia las municipalidades, y se ha buscado mejorar los procesos técnicos y administrativos, así como los servicios prestados por las municipalidades a sus ciudadanos.
El Proyecto está en estos momentos en fase de finalización y sus efectos deberán ser evaluados, tanto a nivel de las municipalidades como de las instituciones públicas y privadas que las apoyan.
Con el objeto de proveer criterios y elementos que orienten la evaluación final al cierre del Proyecto, en estos momentos se acaba de presentar un Protocolo, realizado bajo la dirección y coordinación de los técnicos del Centro de Inversiones de FAO Luis Dias Pereira y Fabrice Edouard, y un estudio piloto que le está asociado, que ofrece un conjunto de herramientas y una metodología para acometer la evaluación de las acciones financiadas durante el último año de implementación.
Por diversas circunstancias, la metodología de evaluación se ha enfocado a los resultados obtenidos a nivel de las municipalidades, y la propuesta que sus autores realizan es que, durante la evaluación final, esta metodología sea complementada con otras herramientas que permitan inferir los resultados del Proyecto en todo su espectro de acción.
El Protocolo de actuación define la metodología para la recopilación y análisis de datos necesarios a nivel municipal para el óptimo desarrollo de la evaluación final del Proyecto, y puede ser replicado en un amplio número de gobiernos locales y, a su vez, permitir la comparación de dichos resultados.
En términos generales, con la aplicación del protocolo se busca facilitar instrumentos que permitan responder a preguntas tales como las siguientes:
-¿Cómo han sido mejorados los procesos y sistemas administrativos, financieros y técnicos de las municipalidades?
-¿Cómo han cambiado los servicios ofrecidos por la municipalidad en términos de planificación, participación y calidad en la implementación?
-¿Cómo ha cambiado la participación ciudadana en los procesos de planificación, toma de decisión y seguimiento a los servicios prestados por las municipalidades?
-¿Qué ha influido para que esos cambios se lograran?
-¿Los logros alcanzados son sostenibles en el tiempo?
El Protocolo recoge de manera exhaustiva aspectos relacionados con: (i) los objetivos y los componentes del Proyecto (ii) el abordaje metodológico / marco conceptual de la evaluación, (iii) la forma de recolección de información, (iv) la forma de análisis y presentación de resultados y (iv) constitución de la muestra, (v) un posible cronograma de implementación, y (vi) las principales limitaciones de la metodología adoptada y los aspectos a tomar en cuenta durante la aplicación del protocolo y la interpretación de los resultados. El informe de los estudios de caso piloto que sirve de ejemplo a la aplicación del protocolo se presenta como documento anexo.
El Plan del gobierno de El Salvador sobre cuya evaluación pretende actuar este Protocolo, ha sido estructurado en cuatro componentes:
•Componente 1. Promoción de Prestación de Servicios Descentralizados.
•Componente 2. Fortalecimiento de los Gobiernos Municipales.
•Componente 3. Apoyo a la Estrategia de Descentralización.
•Componente 4. Administración del Proyecto.
Debido al elevado número de municipalidades intervenidas (262), existe la necesidad de encontrar una metodología que permita el tratamiento de una gran cantidad de datos y la comparación entre municipalidades con realidades diferentes. Sin embargo, un Proyecto que tiene como principales objetivos introducir cambios institucionales difícilmente puede ser evaluado de forma exclusivamente cuantitativa.
De hecho, las características del Proyecto no permiten evaluar todas las variables y las relaciones causales que se establecen entre ellas mediante el uso de una encuesta a un solo grupo de actores. De ese modo, el Protocolo selecciona, como metodología de evaluación, el estudio de casos. Y, dentro de las diferentes técnicas de análisis propuestas en la literatura especializada en metodologías de desarrollo de estudios de caso, se eligió el modelo lógico. El uso de modelos lógicos es un método de análisis recomendado en la literatura (por ejemplo, Yin, 2014) para casos de cambios organizacionales y desarrollo comunitario, por permitir elaborar un análisis claro y detallado de temas complejos. En realidad es una forma avanzada de encontrar coincidencias de patrones (“pattern matching”) y de analizar los datos a través de elaboración de explicaciones (“explanation building”), otras técnicas comúnmente utilizadas en la construcción de estudios de caso, pero que examinan varias facetas de un argumento causal lineal.
El modelo lógico o teoría de cambio del PFGL ha sido construido de modo iterativo entre los autores de este protocolo y los técnicos de las instituciones intervinientes en el Proyecto. Esto se realizó tomando como referencia (i) el marco de resultado del Proyecto, (ii) los objetivos de los componentes 1 y 2 del Proyecto y (iii) el conocimiento de los funcionarios de las instituciones involucradas en la implementación del Proyecto y su expectativa de resultados.
Dada la diversidad de intervenciones del Proyecto, instituciones responsables y actores involucrados en cada actividad que es necesario consultar, se optó por identificar los indicadores separadamente por subcomponente. Y además, se buscó que todos los indicadores pudiesen ser medidos de una forma cuantificable, con vistas a permitir un análisis comparativo entre las municipalidades. Por este motivo, este protocolo incluye un conjunto de cuestionarios cuyas respuestas son cerradas en una escala de evaluación de uno a cuatro puntos. Son sobretodo cuestionarios de opinión sobre distintos aspectos del Proyecto desde la satisfacción y adecuación de los productos/intervenciones del mismo, hasta consideraciones sobre la probabilidad de que se alcance el objetivo de desarrollo.
Junto a ello, se diseñan entrevistas a alcaldes o informantes clave de las municipalidades de la muestra, con el objetivo de: (i) contrastar la opinión de la gerencia de las municipalidades con las respuestas obtenidas de los técnicos en las encuestas (triangulación), (ii) ilustrar con ejemplos (transcripciones en el texto del informe) los resultados presentados en el estudio de caso (ver informe de estudio de casos piloto).
Finalmente, como fuente de información adicional para la medición de los indicadores se encuentra el instrumento de construcción del Índice de Gestión Municipal, que provee una línea de base de capacidades de los municipios en cuatro áreas: (i) procesos administrativos, (ii) procesos técnicos y servicios municipales, (iii) finanzas municipales y (iv) participación ciudadana, medio ambiente y género.
Con el objetivo de sistematizar la información relevante para la evaluación final del Proyecto, en el momento de la preparación de este protocolo, la Unidad Ejecutora del Proyecto está desarrollando una base de datos y su respectiva interface, que permitirá la entrada de información por encuesta y consultas de información por municipio y para un conjunto de municipios (e.g. promedios de la calificación por pregunta).
La evaluación de un Proyecto enfocado en mejorar las capacidades de las municipalidades en un ámbito bastante amplio de temas es un ejercicio que obliga a un análisis cualitativo, y por lo tanto a un cierto grado de subjetividad. Con un enfoque sistémico e integrador, y con el desarrollo de numerosos instrumentos de apoyo, este Protocolo representa un valioso elemento metodológico de apoyo en los procesos de evaluación final de este tipo de Proyectos.