JM 03.1/3 |
REUNIÓN CONJUNTA DEL COMITÉ DEL PROGRAMA EN SU 89º PERÍODO DE SESIONES |
Roma, 7 de mayo de 2003 |
Independencia y emplazamiento del Servicio de Evaluación |
Introducción:
Los principios generales de la evaluación y su aplicación en la FAO
Propuesta de fusión de las funciones de evaluación y supervisión interna
Justificación de la recomendación
Pros y contras de la fusión de la AUD y el PBEE
Situación actual de las disposiciones sobre evaluación – Aspectos relacionados con la independencia
Posibles opciones para cambiar el emplazamiento del PBEE en la Organización – Análisis preliminar
1. En su 100º periodo de sesiones (septiembre de 2002), el Comité de Finanzas examinó el informe del Auditor Externo titulado Examen de los controles internos de la Organización, en el que recomendaba que “la FAO examine la posibilidad de combinar la AUD (Oficina del Inspector General) y el PBEE (Servicio de Evaluación) a fin de crear una única oficina o dirección de supervisión”.1 Respecto de esta recomendación, la Secretaría se comprometió a presentar un documento con propuestas detalladas sobre el asunto para someterlo a la consideración de la Reunión Conjunta de los Comités de Finanzas y del Programa de mayo de 2003. El Comité de Finanzas destacó que la propuesta que había de preparar la Secretaría tendría plenamente en cuenta las preocupaciones del Comité en cuanto a la independencia de la función de evaluación.
2. El presente documento responde al susodicho compromiso asumido por la Secretaría. En él se ofrece una respuesta detallada a la recomendación del Auditor Externo y a la cuestión más amplia de la independencia de la función de evaluación, preocupación que también subrayó la Conferencia en su último período de sesiones (31º período de sesiones, noviembre de 2001). Al examinar el Informe sobre la Evaluación del Programa de 2001, declaró que “sería oportuno examinar la conveniencia de establecer un servicio de evaluación independiente” (párr. 82 del informe). En resumen, el estudio de estas diversas propuestas requiere un examen de la independencia y las disposiciones institucionales relativas a la función de evaluación en la Organización.
3. Durante los tres últimos decenios, los organismos de las Naciones Unidas y las organizaciones internacionales de desarrollo han incorporado la evaluación a sus actividades principales, y en la actualidad existe un amplio consenso sobre sus principios y prácticas básicos. A efectos de examinar los aspectos principales de la función de evaluación de la Organización, se han tomado como referencia los principios establecidos por el Comité de Ayuda para el Desarrollo (CAD) de la Organización de Cooperación y Desarrollo Económicos (OCDE), porque constituyen el conjunto de prácticas idóneas más amplio y acreditado2 entre las organizaciones internacionales. Esto es especialmente válido en lo que concierne a la independencia de la evaluación.
4. La evaluación se define como “la valoración, lo más sistemática y objetiva posible, de un proyecto, programa o política en curso o terminado, así como de su formulación, ejecución y resultados. La finalidad es determinar la pertinencia de sus objetivos y el cumplimiento de éstos, su eficiencia en cuanto al desarrollo, su eficacia, sus efectos y su sostenibilidad. La evaluación debe proporcionar información que sea creíble y útil y que permita incorporar la experiencia adquirida al proceso decisorio tanto de los beneficiarios como de los donantes”.3 Los fines principales de la evaluación son a) “mejorar las políticas, programas y proyectos de ayuda futuros mediante la retroinformación de la experiencia adquirida” y b) “proporcionar una base para la rendición de cuentas, incluido el suministro de información al público”. En particular, se señala que “el concepto de rendición de cuentas con respecto a la evaluación a que aquí se hace referencia está relacionado con los resultados del desarrollo y los efectos de la asistencia para el desarrollo. Es un concepto distinto del de rendición de cuentas con respecto a la utilización de fondos públicos en el sentido contable y jurídico del término, responsabilidad que en este último caso suele encomendarse a una institución de comprobación de cuentas”.4
5. Los principios de evaluación del CAD incluyen: a) el establecimiento de una política clara en materia de evaluación para toda la Organización, acompañada de una definición de sus funciones y responsabilidades y de su posición institucional; b) la imparcialidad e independencia de la evaluación con respecto a los procesos que intervienen en la formulación de políticas y la entrega y administración de la ayuda al desarrollo; c) la transparencia del proceso de evaluación, incluida una amplia difusión pública de los resultados de la evaluación; d) la aplicación y utilización de los resultados de la evaluación mediante su retroinformación a los procesos operativos y de formulación de políticas, e) la colaboración y participación de los principales interesados en la utilización de los resultados de la evaluación; y f) la integración de la evaluación en el proceso de planificación.
6. Las prácticas actuales de la Organización en relación con estos principios pueden resumirse del siguiente modo:
7. Cabe concluir, por consiguiente, que las prácticas de evaluación de la FAO son en general compatibles con los principios básicos de la evaluación.
8. Sin embargo, conviene señalar que las dos consideraciones más importantes, a saber la independencia, especialmente en lo que se refiere a las disposiciones institucionales, y la influencia efectiva de la evaluación en las decisiones, especialmente a través del aprendizaje, se enfrentan en la práctica con algunas contradicciones, aunque existe cierta compensación entre ambas. Algunas disposiciones institucionales tienden a reforzar uno de esos aspectos en detrimento del otro. Por esa razón, suele reconocerse que no hay una solución única y universal a este problema, sino que “se deberá buscar una solución óptima para llegar a un equilibrio entre todas esas exigencias”.5 A este respecto, se hace hincapié en los dos puntos principales, con independencia de las disposiciones concretas que se adopten: “Se deberá hacer todo lo posible para evitar poner en peligro el proceso de evaluación” y “las disposiciones y procedimientos institucionales deberán facilitar la vinculación de las conclusiones de la evaluación a la programación y la formulación de políticas”.
9. La recomendación del Auditor Externo se basa al parecer en sus conclusiones de que:
10. A continuación se examina cada una de las tres conclusiones.
i) Superposición entre la AUD y el PBEE en la función de evaluación:
11. Aunque esta conclusión parece ser una de las principales razones de la recomendación, se basa en una apreciación más bien superficial y restringida de la comprobación de cuentas y la evaluación, tanto en lo que respecta a su concepción como a sus funciones operativas. En el párrafo 17 de su informe, el Auditor Externo basa su argumentación en la inclusión de la palabra “evaluación” entre las funciones estipuladas en el Artículo 1 de la Carta de la Oficina del Inspector General. Al citar esta Carta, menciona entre sus funciones el “seguimiento y evaluación de la idoneidad y la eficacia del sistema de control interno, la gestión financiera y la utilización de los bienes de la Organización” (sin cursiva en el original). Por consiguiente, el término “evaluación” se utiliza en este contexto en una acepción bastante restringida que se centra en la gestión y utilización de los recursos, como lo reconoce el Auditor Externo cuando dice que “la función de evaluación encomendada a la AUD tiene un alcance limitado, mientras que la del PBEE se centra más en la valoración de los resultados de los Programas Ordinario y de Campo.” Esto indica algunas diferencias muy importantes entre la labor de la AUD y del PBEE.
12. Aunque la evaluación forma parte de los mecanismos de supervisión, algunos de sus objetivos son muy distintos de los de otros instrumentos de supervisión, especialmente los que se centran en el control interno y la gestión financiera. Como se señaló anteriormente (párr. 4), la definición generalmente aceptada de evaluación pone de relieve una clara distinción entre las funciones de evaluación y de comprobación de cuentas, al ser el aprendizaje y la mejora el objetivo singular y más importante de la evaluación. Las diferencias se refieren también a los criterios de valoración y a las metodologías aplicadas, así como a las disposiciones relativas a la presentación de informes: aunque en ambos casos se rinde informe al Director General, el Comité de Finanzas se ocupa de los asuntos relacionados con la comprobación de cuentas y el Comité del Programa de los relacionados con la evaluación. En resumen, la conclusión es que no existe una superposición significativa entre las funciones de la AUD y del PBEE y que, de hecho, hay entre ambos una relación de complementariedad.
ii) Enlace entre la AUD y el PBEE:
13. Las actuales disposiciones institucionales tienen en cuenta estas diferencias básicas en las funciones de supervisión de ambas dependencias. Sin embargo, el enlace entre ellas es fundamental para reducir al mínimo los posibles efectos negativos de la falta de coordinación en el tratamiento de los asuntos y para asegurar la sinergia que se deriva de la complementariedad de las dos funciones en relación con el mismo asunto o con asuntos similares.
14. Esta necesidad se reconoce en las declaraciones relativas a las funciones de ambas dependencias, en las que se especifica lo siguiente: “Asegura el enlace con el Inspector General [o con el “Jefe del Servicio de Evaluación, PBE”, en su caso], para evitar la posible duplicación del trabajo y garantizar la complementariedad de los programas de trabajo, en particular los que se refieren a la evaluación de la eficacia de los programas sustantivos de la FAO en las oficinas locales y en la Sede.”
15. Por consiguiente, ambas dependencias se consultan con frecuencia acerca de sus respectivos planes de trabajo, se valen a menudo de la labor de la otra en asuntos conexos y comparten oportunidades de capacitación del personal. Sin embargo, siempre hay posibilidades de mejorar la cooperación entre ambas dependencias, incluido el intercambio periódico de experiencias y problemas en relación con cuestiones temáticas de interés común. El principal obstáculo en la práctica es la falta de tiempo, y no el emplazamiento de ambas dependencias en la Organización.
iii) Tendencia a la unificación de las dependencias de supervisión en el organigrama:
16. Como se indicaba en el informe del Auditor Externo, varios organismos de las Naciones Unidas han adoptado una estructura institucional unificada para sus funciones de supervisión, muy similar a la de la OIOS de las Naciones Unidas (por ejemplo, la Unesco, el OIEA, el PNUMA, el FNUAP, la OACI, la OMI y la OMPI): aunque en el momento en que se redactó el informe del Auditor Externo, el PMA tenía una estructura similar, recientemente se ha separado la dependencia de evaluación de la oficina que se ocupa de la auditoría interna y la inspección. Sin embargo, al mismo tiempo muchos otros organismos de las Naciones Unidas han optado por otras disposiciones diferentes: en algunos de ellos, la dependencia de evaluación es una oficina autónoma, que habitualmente rinde informe al jefe del organismo (FIDA6, PNUD, UNICEF, CNUAH/Hábitat y ONUSIDA); en otros, como en la FAO, la dependencia de evaluación forma parte de una oficina mayor, que a menudo desempeña funciones de planificación y programación (OIT, OMS, OACNUR, UNCTAD, OCAH, UIT y Programa de Voluntarios de las Naciones Unidas); y hay también otros organismos donde la evaluación está emplazada en dependencias que se ocupan de actividades de cooperación técnica in (por ejemplo, ONUDI, PNUFID y OMC). El Banco Mundial y el FMI, así como la mayoría de los bancos regionales de desarrollo, mantienen oficinas de evaluación separadas que rinden informe directamente a sus respectivos órganos rectores. Asimismo, lo más habitual entre los organismos bilaterales de ayuda, entre ellos la Agencia para el Desarrollo Internacional de los Estados Unidos (USAID) y el Departamento para el Desarrollo Internacional del Reino Unido (DFID), es tener una dependencia de evaluación por separado. Por consiguiente, no existe una tendencia clara a la creación de una estructura unificada que combine la evaluación con otras funciones de supervisión.
17. Aunque las razones que se dan en el informe del Auditor Externo no son muy convincentes, también se podrían estudiar las repercusiones de la recomendación desde el punto de vista de la Organización. Las ventajas obvias de la fusión de ambas dependencias serían las siguientes:
18. Con respecto a la primera cuestión, la coherencia es un atributo impreciso, cuyos beneficios son difíciles de cuantificar en este caso concreto. Es posible que el argumento más sólido sea el segundo. Sin embargo, la consecución de esa sinergia dependería, en último extremo, de los fines y cuestiones fundamentales en que probablemente se centraran la AUD y el PBEE, así como del modo en que organizaran y desempeñaran sus funciones. También cabe dudar de que no pueda conseguirse esa misma finalidad reforzando aún más los vínculos entre la AUD y el PBEE. En cuanto a la tercera cuestión, hay que señalar que en aquellos casos en que la evaluación está comprendida entre las funciones de una oficina general de supervisión interna, por lo general mantiene su propia identidad, debido sobre todo a las diferencias tanto en las tareas realizadas por el personal que desempeña dichas funciones como en la titulación de éste y sus conocimientos especializados. Por consiguiente, hay pocas posibilidades de realizar economías, suponiendo que se mantuviera el nivel de sus productos.
19. Por otra parte, es evidente que hay varios inconvenientes y dificultades:
20. En conclusión, la Administración considera que la fusión recomendada de la AUD y el PBEE no tiene ninguna ventaja práctica. En cambio, le preocupan diversas cuestiones que podrían poner en peligro los progresos realizados hasta ahora en el régimen de supervisión de la Organización. En su opinión, se podría mejorar la coordinación entre ambas funciones por otros medios más prácticos.
21. La Administración reconoce que la cuestión de la independencia es de importancia decisiva para seguir reforzando la función de la evaluación en la FAO, como se ponía de manifiesto en el Boletín del Director General 2001/33. Por su misma naturaleza, la evaluación entraña la formulación de juicios de valor mediante una cuidadosa evaluación de la información disponible y la ponderación de las opiniones de las diversas partes interesadas. En este contexto, la independencia y la objetividad son fundamentales para establecer el sentido de legitimidad y credibilidad, especialmente a los ojos de los evaluados, reduciendo así los posibles conflictos de intereses y los posibles sesgos. Por consiguiente, la evaluación así entendida contribuye también a aumentar la eficacia de la evaluación porque confiere credibilidad a esa función y promueve un aprendizaje más activo e iniciativas para introducir mejoras.
22. Con respecto a la independencia de la evaluación, el examen más sistemático de esta cuestión se encuentra en un informe del CAD7. En él se exponen, además de la declaración de principios de la Organización, las siguientes consideraciones: a) el organigrama para separar la evaluación de las funciones de ejecución, con arreglo al cual la dependencia de evaluación rinde informe directamente a la Administración superior de la Organización o preferiblemente al jefe de ésta o a uno de sus órganos rectores; b) acceso a los recursos para las actividades de evaluación (decisiones sobre presupuesto y personal) y control de dichos recursos; c) facultad respecto de la planificación y realización de evaluaciones (selección del tema y el mandato de la evaluación), así como del proceso (exámenes y revisiones de los informes de evaluación); y d) vinculación de las conclusiones de la evaluación a la formulación de programas y políticas. Estas consideraciones se utilizan a continuación como criterios básicos para examinar más a fondo la cuestión de la independencia de la evaluación en la FAO.
23. Organigrama y disposiciones sobre presentación de informes. La principal preocupación es separar la función de evaluación de la de administración con el fin de reducir al mínimo los posibles conflictos de intereses y otros sesgos, lo que requiere que el PBEE rinda informe directamente al Director o al Consejo (por conducto del Comité del Programa). El PBEE está emplazado en la Oficina del Programa, del Presupuesto y de Evaluación (PBE) dentro de la Oficina del Director General. El Jefe del PBEE informa al Director General (ODG) por conducto del Director de la PBE, y al Consejo y la Conferencia por conducto del Director General a través del Comité del Programa, que es el principal interlocutor del Consejo en cuestiones de evaluación. Como se observó anteriormente en el párrafo 14, este emplazamiento interno del PBEE es habitual entre los organismos de las Naciones Unidas en los que las dependencias centrales de evaluación tienen carácter interno.
24. A este respecto cabe hacer las siguientes observaciones:
25. Acceso a los recursos y control sobre éstos. Este factor es fundamental para facilitar la independencia en la planificación y realización del trabajo de evaluación. La creciente tendencia a las evaluaciones temáticas y de programas, unida a la necesidad de recurrir en mayor medida a expertos externos, ha aumentado el costo de las actividades de evaluación: las principales evaluaciones realizadas en los últimos bienios han exigido grandes presupuestos (de 200 000 a 500 000 dólares EE.UU. cada una). Sin embargo, el presupuesto ordinario del PBEE no ha aumentado en consonancia, especialmente para cubrir los costos de las aportaciones de los consultores externos a la propia labor de evaluación, así como al proceso de examen por expertos externos. Por consiguiente, ha habido que movilizar recursos suplementarios con carácter específico, y aunque hasta ahora se han atendido las necesidades, esta situación no es propicia a una planificación ordenada de las evaluaciones, incluidas las solicitadas por los órganos rectores. En resumen, la cuestión de los recursos sigue siendo un aspecto que debe mejorarse, no sólo por razones de independencia, sino también en aras de la calidad y transparencia de la labor de evaluación. En cuanto a la facultad del PBEE para contratar al personal y los consultores que necesita, no existe impedimento alguno.
26. Facultad respecto de la planificación y realización de las evaluaciones, incluido el proceso de evaluación. El criterio del CAD implica que el PBEE debería tener facultad y libertad para seleccionar los temas de la evaluación y determinar los medios para llevarla a cabo. El programa de trabajo del PBEE en materia de evaluación debe ser aprobado por el Director General, y sus informes están sujetos a los procedimientos normales de aprobación. Sin embargo, son pertinentes algunas aclaraciones:
27. Vinculación de las conclusiones de la evaluación a las decisiones en materia de programas y políticas. Este criterio implica que el PBEE debe tener la facultad y el rango suficientes para poder emitir sus propios juicios y tener acceso al proceso decisorio con el fin de influir en las medidas para poner en práctica los resultados de la evaluación. Cualquier evaluación plantea un problema real que va más allá de la mera cuestión de la independencia. Sin embargo, puede decirse que por lo general en la Organización se respeta y acepta la labor de evaluación del PBEE aun cuando sus informes sean críticos. A este respecto, el Comité del Programa se ha congratulado de la tendencia a que las críticas sean más francas en los últimos informes de evaluación. Este reconocimiento tiene su origen en el modo en que se percibe la transparencia y calidad de la evaluación, en particular el rigor y la objetividad del análisis, el equilibrio de los juicios y la pertinencia de las conclusiones y recomendaciones. En cuanto al acceso a la adopción de decisiones con respecto a la aplicación, la práctica de la respuesta de la Administración ofrece a la Secretaría una buena oportunidad a tal efecto. Asimismo, el examen de los informes de evaluación, junto con la respuesta del Comité del Programa, permite influir en la aplicación de las recomendaciones. De hecho, el PBEE suele participar en la planificación de las medidas adoptadas con ese fin por los administradores de los programas.
28. El análisis anterior indica que, a pesar del emplazamiento del PBEE en la Organización, el proceso de evaluación en la FAO puede considerarse básicamente independiente con arreglo a los criterios principales, aunque sigue en pie la cuestión de los recursos. Por ejemplo, el Consejo reconoció “las significativas mejoras introducidas por la Organización en la esfera de la evaluación, no sólo en lo relativo a la cantidad y la calidad de los informes, sino también mediante la adopción de un enfoque más constructivo de las recomendaciones …”8. Por consiguiente, parece que la independencia orgánica, de por sí, no es necesariamente el factor más importante para el establecimiento de un sistema de evaluación sólido y funcional.
29. De hecho, la experiencia de la FAO indica que un sistema funcional de evaluación depende mucho de factores distintos de la mera independencia orgánica. Entre ellos cabe citar: i) las disposiciones institucionales en materia de transparencia, ii) la credibilidad y calidad de la labor de evaluación, además de un análisis objetivo y unos juicios equilibrados, iii) la calidad del equipo de evaluación, que inspire respeto y confianza, y iv) la actitud general de la Administración respecto de las mejoras y el aprendizaje. A este respecto, es importante reconocer las ventajas que ofrece el emplazamiento del PBEE. Como se señaló anteriormente, facilita la interrelación con la planificación y la administración del programa en toda la Organización en lo que concierne a la retroinformación. Además, al ser el PBEE una dependencia interna, su personal está familiarizado con el trabajo y el personal de la Organización, no sólo a través de la evaluación sino también de la colaboración con otros funcionarios en asuntos de interés común. Esto contribuye a crear confianza en el personal del PBEE y en su trabajo y favorece su aceptación, lo que facilita el proceso de consultas con las diversas partes interesadas, al tiempo que da al PBEE libertad para mantener sus conclusiones y recomendaciones. En conjunto, estos factores permiten sacar enseñanzas de la evaluación, tal vez en mayor medida que cuando se tiene la impresión de que los resultados han sido impuestos y no existe suficiente confianza entre los evaluadores y los administradores de los programas.
30. Sin embargo, para responder a las preocupaciones expresadas por los órganos rectores, en el presente documento se estudian posibles opciones para conseguir un mayor grado de independencia orgánica cambiando el emplazamiento del PBEE. En particular, a continuación se examinan dos hipótesis y se analizan brevemente las probables ventajas y desventajas:
31. El análisis anterior indica que las medidas orientadas a aumentar la independencia orgánica podrían tener costos considerables y probablemente consecuencias negativas en la eficacia de la evaluación. Aparte de los costos derivados de los cambios en la organización, lo realmente preocupante sería el probable riesgo de reducir la eficacia de la evaluación para promover cambios y mejoras basados en el aprendizaje institucional. De hecho, los especialistas tienden a poner en guardia contra una excesiva atención al aspecto de la independencia: reconocen que existe una importante compensación entre la independencia, por una parte, y la eficacia de la experiencia adquirida y la retroinformación para introducir mejoras, por otra. En el examen realizado por el CAD en 1998 sobre la aplicación de sus Principios se subrayaba lo siguiente: “Puede que se dé demasiada importancia al principio de la independencia. Como han señalado los usuarios de las evaluaciones, una independencia excesiva puede tener en la práctica efectos contraproducentes, con el resultado de que no se tomen en serio las recomendaciones y enseñanzas de las evaluaciones. …Conseguir que la imparcialidad e independencia se compensen con la importancia de promover la identificación con los resultados es un arte para el que no existe receta … “.9
32. Para concluir este examen de la independencia, cabe señalar lo siguiente:
33. El actual sistema de evaluación es en general compatible con los principios y prácticas aplicados por los organismos de las Naciones Unidas y las organizaciones internacionales. El sistema de evaluación de la FAO ha evolucionado hacia una mayor independencia, y se han introducido en él mejoras generales, incluida la retroinformación de las evaluaciones, como han reconocido los órganos rectores. El interés activo de los órganos rectores, en particular el Comité del Programa, ha sido un factor importante en este proceso.
34. Se someten a la consideración de los Comités las siguientes recomendaciones:
_________________________________
1 Informe presentado al Director General junto con la carta de 12 de julio de 2002.
2 Aunque los principios del CAD se refieren a la evaluación en el contexto de la ayuda para el desarrollo, se consideran pertinentes para la evaluación en general, y representan la declaración más amplia de principios rectores sobre la utilización de la evaluación en la gestión de las actividades de desarrollo.
3 Párr. 5, Principios de evaluación de la asistencia para el desarrollo, Comité de Ayuda al Desarrollo (CAD), OCDE, 1991.
4 Párr. 8, Ibid.
5 Párr. 466, Ibid.
6 En el momento de redactar el presente documento, parece que el FIDA modificará sus disposiciones de manera que se rinda informe directamente a la Junta Ejecutiva, con independencia de la administración.
7 Informe del CAD titulado “Review of the DAC Principles for Evaluation of Development Assistance”, OCDE, 1998.
8 Informe del Consejo de la FAO, 123º período de sesiones, 2002 (CL 123/REP), párrafo 76.
9 Informe del CAD sobre el examen de 1998, Ibid.