AnteriorÍndiceSiguiente


Capítulo dos: Síntesis de evaluaciones recientes de proyectos de campo

I. INTRODUCCIÓN

31 . En este capítulo se ofrece el cuarto informe a los órganos rectores acerca de los resultados de evaluaciones de proyectos de campo desde que se iniciaron los Informes de Evaluación del Programa (PER) en 1993. Se hace un análisis de los resultados de evaluaciones independientes realizadas durante 1994-99 de distintos proyectos del PNUD y Fondos Fiduciarios, así como evaluaciones temáticas de proyectos del Programa de Cooperación Técnica (PCT), realizadas por el Servicio de Evaluación.

II. SÍNTESIS DE EVALUACIONES DE PROYECTOS DEL PNUD Y FONDOS FIDUCIARIOS (1994-99)

Evaluación general

32 . El año 1994 es un punto de partida apropiado porque en él se introdujeron varias mejoras en los procesos de evaluación de la FAO, especialmente requisitos específicos sobre eficacia en función del costo y un mayor enfoque en los efectos y los resultados, así como en los factores que contribuyen a la sostenibilidad de éstos. El análisis se basa en los resultados de misiones tripartitas de evaluación independientes de 279 proyectos.

33 . En el Cuadro 2.1 se demuestran las mejoras a lo largo del tiempo. Se han realizado esfuerzos considerables para mejorar el diseño de los proyectos, por ejemplo, mediante el aumento de los conocimientos técnicos por medio de la capacitación y el perfeccionamiento de las directrices sobre evaluación de programas. Ha sido igualmente importante el establecimiento de normas estrictas por parte de los donantes para aceptar las propuestas de financiación, especialmente los requisitos relativos al diseño de los proyectos. Asimismo, se han clasificado cada vez más como “buenos” los efectos de los proyectos.

Cuadro 2.1: Valoración general de las evaluaciones de proyectos (1994-99) con exclusión de los del PCT

Aspecto

En porcentaje
1985-91

En porcentaje
1994-99

Deficiente Satisfactorio Bueno Deficiente Satisfactorio Bueno
Diseño del proyecto 26 56 18 21 40 39
Ejecución 29 49 22 9 39 52
Productos del proyecto:            
Calidad 9 62 29 7 43 50
Cantidad 13 57 30 8 44 48
Efectos del proyecto 16 60 24 11 39 50

34 . En el Cuadro 2.2 se pueden ver resultados muy razonables de los proyectos en lo que respecta a los beneficios. Hubo algunas divergencias entre las regiones. En particular, las misiones registraron expectativas inferiores de utilización de los productos y de impacto sostenible en los proyectos evaluados en el Cercano Oriente y Europa. Si bien las razones de ello no eran uniformes, las misiones determinaron que los diseños de estos proyectos mostraban normalmente un excesivo optimismo en cuanto a lo que podría alcanzarse en el ámbito de los presupuestos y plazos y se estimaban también en exceso las capacidades del personal nacional. 6

Cuadro 2.2: Resumen general de los resultados de los proyectos (1994-99) con exclusión del PCT

Proyectos en que se determinó que:
Habían afrontado un auténtico problema de desarrollo Un problema de gran importancia 85% Un problema importante 98%
Tuvieron efectos en la utilización prevista de los productos Se esperaba utilizar al menos el 80% de los productos según lo previsto 50% Se esperaba utilizar al menos el 60% según lo previsto 89%
Tendrían probablemente un impacto sostenible Impacto considerable 45% Algún impacto sostenible 86%
Eran eficaces en función del costo para obtener efectos sostenibles El enfoque más eficaz en función del costo 73%  

35 . Se examinaron los proyectos para determinar su impacto en relación con tipos diferentes de objetivos, a saber, a)mejoras de política, planificación y legislativas; b)fortalecimiento de la capacidad institucional nacional; c)absorción de mejoras técnicas; d)expansión de actividades piloto; y e)seguimiento de inversiones. Lo más insuficiente fue el seguimiento de las inversiones, mientras que la mayor eficiencia se detectó en la absorción de mejoras técnicas y creación institucional. Como cabría esperar, el riesgo de no tener ningún impacto fue mayor en proyectos que incluían la absorción de mejoras de planificación de políticas y legislativas, la reproducción de actividades piloto y el seguimiento de inversiones. En tales proyectos, el logro del impacto suele depender de decisiones positivas en instancias superiores, que exceden del alcance de la esfera de trabajo del proyecto (si no hay un seguimiento, no puede haber mucho impacto).

Posibilidades de mejora en los resultados de los proyectos

36 . Diseño de los proyectos : Las misiones señalaron en un 33% de los casos que el diseño era el aspecto del proyecto que más mejoras necesitaba. El 51% de los proyectos se consideraron de duración demasiado breve y el análisis demostró que la falta de realismo sobre la duración estaba relacionada con la reducción de los efectos y el impacto. En proyectos cuyos resultados fueron inferiores al óptimo en cuanto a efectos e impacto, el análisis demostró que sus formuladores habían sido especialmente optimistas en exceso en cuanto a la utilización que podría hacerse de los productos del proyecto. Algunos proyectos tendían también a cifrar expectativas no realistas en las capacidades y recursos de las instituciones nacionales. Además, no se prestó atención suficiente a los riesgos y a condiciones indispensables para el éxito del proyecto.

37 . Entre los factores que ejercieron el mayor impacto negativo en la eficacia de los proyectos en función del costo, se determinó que la fijación de un calendario había sido el factor más importante en un 21% de los casos. Se había tendido a cifrar demasiadas esperanzas en los insumos que era de esperar razonablemente que los gobiernos proporcionaran al proyecto. Otras insuficiencias fueron menos generales, pero una notable proporción de los proyectos podía haber mejorado en lo que respecta a la claridad de los objetivos y metas inmediatos. También hubo una necesidad de un enfoque mejor en un 39% de los casos. Se consideró que el no especificar debidamente los beneficiarios había dado lugar a unos resultados no óptimos en cuanto a efectos e impacto.

38 . Las misiones determinaron que un 20-40% por ciento de los proyectos habrían sido más eficaces en función del costo, si: se hubieran basado más en la capacitación nacional; hubieran utilizado más el sector privado, las ONG, expertos nacionales y personal temporero; y se hubieran basado más en las capacidades del gobierno. Sin embargo, hubo casos opuestos en los que, por ejemplo, se consideró contraproducente la gran utilización de las ONG, de personal temporero o de la capacidad del gobierno.

39 . Ejecución y gestión de los proyectos : Los proyectos cuyos resultados no llegaron a ser óptimos en cuanto a efectos e impacto adolecieron especialmente de una gestión insuficiente, siendo la gestión interna el aspecto más débil, pero también la supervisión de la FAO debería mejorarse. Se determinó que los procedimientos tanto de los gobiernos como de la FAO habían limitado los resultados y se consideró un problema la delegación insuficiente de autoridad en un 30% de los casos. En cuanto a problemas de diseño y ejecución, podría mejorarse en un 18% de los casos la intervención de los beneficiarios.

40 . Creación de capacidad : La evaluación de los proyectos de fortalecimiento de instituciones indica que su enfoque se ha desplazado cada vez más del establecimiento o fortalecimiento de departamentos gubernamentales al fortalecimiento de la capacidad de instituciones existentes para la realización de nuevas funciones, como la silvicultura comunitaria o la planificación ambiental. Las misiones no mostraron optimismo en general sobre la sostenibilidad de los resultados de los anteriores proyectos de expansión de instituciones, debido a la insuficiencia de los recursos gubernamentales. Más recientemente se han diseñado proyectos para desarrollar la autoconfianza de la gente y su responsabilidad mediante enfoques participativos y de grupo. En cuanto a los dos tipos de creación de instituciones, las misiones concluyeron en general que la duración de los proyectos era demasiado breve y era imprescindible otra fase para consolidar los resultados. Esto indica: una necesidad de que los donantes acepten duraciones realistas en sus compromisos relativos a la creación de instituciones; y que se diseñen los proyectos de forma que, aún en el caso de que terminen al final de su duración prevista sin ninguna prórroga, se obtengan resultados sostenibles.

41 . Apoyo de política : Los proyectos encaminados al fortalecimiento de la política y planificación ejercieron una gran influencia en los casos en que determinaron las cuestiones principales y apoyaron el diálogo nacional entre la comunidad y a nivel político. La mayoría de los productos de política no se obtuvieron de proyectos especializados en política, sino de los que proporcionaban desarrollo institucional y apoyo al desarrollo. De esta forma, es posible que un proyecto de desarrollo de una zona influya en la política de tenencia de la tierra, mientras que otro de silvicultura comunitaria influya en el enfoque de la extensión.

42 . Participación popular : Los proyectos en que la participación popular era importante fueron objeto de críticas en algunos casos por prestar atención excesiva al establecimiento de nuevos grupos participativos, a la vez que no conseguían iniciar otras mejoras por medio de los grupos. Se criticó también que los grupos no fueran necesariamente el mejor instrumento de desarrollo en algunas situaciones y se señaló que podría fomentarse como alternativa la iniciativa privada en pequeña escala. Lo mismo que en los proyectos de producción, a menos que la población no viera un beneficio concreto de los grupos (normalmente económicos) para ella misma, los progresos eran limitados. Se determinó a veces que los proyectos de participación popular era demasiado breves y dispersos en una zona demasiado grande. Esto tiende a indicar que los proyectos participativos deberían trabajar inicialmente de forma intensiva en una zona pequeña con unos pocos grupos, creando así una capacidad duradera en los mismos grupos y en el personal de apoyo que ha trabajado con ellos.

43 . Proyectos de creación de instituciones, participación popular y política: El análisis cualitativo determinó la necesidad de fortalecer los vínculos. Existía un peligro especial de que los proyectos de participación popular trabajen como entidades separadas en lugar de crear asociaciones locales sostenibles con las ONG y los organismos gubernamentales. Asimismo, las misiones señalaron que la capacitación figuraba entre los productos más valiosos de los proyectos de creación de capacidad. Se suponía en general que las personas con mejores conocimientos técnicos contribuirían al desarrollo, aún en el caso de que no fuera sostenible la finalidad específica para la que habían sido capacitadas.

44 . Desarrollo de la producción y la gestión de la tierra : En los proyectos de desarrollo de la producción y mejora de la gestión de la tierra, se encontró frecuentemente que no se prestaba atención suficiente a los aspectos económicos y de mercadeo.

45 . Paridad entre el hombre y la mujer : Varias misiones señalaron que los proyectos no estaban orientados específicamente a las mujeres, aun en los casos que ellas fueran los principales actores, mientras que otros indicaron que se habían obtenidos buenos resultados cuando los insumos, la capacitación y la extensión estaban orientados específicamente hacia la mujer. En algunas situaciones, había sido ventajosa la utilización de personal femenino para llegar a las mujeres, incluso en sociedades donde no había tabúes especiales sobre la comunicación de los hombres con las mujeres.

46 . Proyectos regionales : Surgieron algunas conclusiones cualitativas con respecto a los proyectos regionales, en particular:

Conclusiones y recomendaciones generales

47 . El presente informe, que abarca el período 1994-99, muestra una notable mejora general en el diseño, ejecución y obtención de productos de los proyectos con respecto al último examen (198591). Se recomienda que, dada la persistente insuficiencia en el diseño de los proyectos, se dediquen más esfuerzos en el contexto de las disposiciones descentralizadas para las actividades operativas, en particular: (a)la preparación de directrices autorizadas para la formulación y diseño de proyectos prestando atención especial a los sectores que deben mejorarse; (b)la capacitación ulterior del personal de la FAO, especialmente en las oficinas descentralizadas; y (c)el fortalecimiento de los mecanismos existentes para el examen de la evaluación de las propuestas de proyectos, tanto en las oficinas descentralizadas como en la Sede.

48 . Se propone que, en el futuro, la información sintética sobre los resultados de las evaluaciones se centre en determinadas esferas de programas y temas intersectoriales en consonancia con las prioridades del Marco Estratégico para la FAO 2000-2015, o posiblemente en la labor en determinadas regiones. Se harán también evaluaciones programáticas que evalúen sistemáticamente el programa ordinario y las actividades externas conexas.

III. EVALUACIONES TEMÁTICAS DE PROYECTOS DEL PCT

49 . Apicultura y sericultura (22 proyectos) : La mayoría de los proyectos trataban problemas notables de desarrollo, relacionados normalmente con la lucha contra enfermedades (varroa en las abejas y la pebrina del gusano de seda). Sin embargo, algunos no estaban justificados por motivos técnicos y no cumplirían los criterios del PCT para su aprobación en caso de que se hubieran conocido mejor las condiciones sobre el terreno. Se determinó que la mayoría de los proyectos eran esfuerzos aislados y no formaban parte de un programa más amplio del gobierno o financiado por donantes.

50 . El rendimiento de los consultores internacionales fue bueno con pocas excepciones. No obstante, se señaló que podían haberse conseguido economías en algunos proyectos (especialmente en la sericultura), que utilizaron varios expertos con cualificaciones similares. Asimismo, los consultores nacionales utilizados en algunos países tenían los mismos conocimientos técnicos que los consultores internacionales (aunque algunos carecían de cualificaciones técnicas). Se encontró que el apoyo técnico de la FAO era mejor en los proyectos de sericultura que en los de apicultura. Un problema grave fue que no se prepararon o se prepararon tarde las declaraciones finales o las cartas de terminación.

51 . El número de proyectos insatisfactorios se consideró demasiado alto. Lo mejores proyectos de apicultura fueron los relacionados con brotes de enfermedades (varroa) en países donde la apicultura es económicamente importante. Sin embargo, varios proyectos de apicultura se consideraron un fracaso debido a que había pocas posibilidades de difundir sus resultados entre los apicultores del país o porque su justificación técnica era escasa. Es probable que la apicultura, debido a que sus costos iniciales son mucho menores, tenga mayor interés que la sericultura para la mayoría de los pequeños agricultores. Sin embargo, se encontró que los proyectos deberían ser más pertinentes para la mayoría de los apicultores de los países, en lugar de dedicarse a los métodos de producción más modernos. Una consecuencia de este enfoque es que la capacitación no produjo el impacto deseado al nivel del productor. La sericultura podría ser un sector pertinente para la asistencia del PCT, a condición de que haya un plan para el desarrollo del sector y se determine claramente la función del proyecto del PCT. La evaluación determinó que las posibilidades de un impacto sostenible de los proyectos de sericultura eran mucho menores en los países con una tradición limitada de esta actividad y donde no había oportunidades de comercialización.

52 . Legislación (31 proyectos ) : Se consideró que los proyectos examinados eran muy pertinentes a los problemas de desarrollo de los países receptores y que se había apreciado mucho la asistencia recibida de la FAO. El diseño de los proyectos tendía a ser bastante general en cuanto a la descripción de los problemas por resolver y al enfoque adoptado en su aplicación, pero eran limitadas las perspectivas de mejorar la cantidad de información que se ponía a disposición. Las deficiencias en el diseño de los proyectos habían sido corregidas en general por la misión inicial enviada al país, en la que se determinaron los problemas con mayor precisión y se decidieron las estrategias para la ejecución de los proyectos.

53 . La calidad de los consultores internacionales y del personal de la Oficina Jurídica (LEG) (que facilitó asesoramiento en 13 de los proyectos examinados) fue en general muy elevada. El hecho de que la FAO disponga de un gran caudal de conocimientos técnicos internacionales en los distintos aspectos de la legislación sobre recursos naturales se consideró como su principal ventaja comparativa y la razón fundamental de las solicitudes de proyectos del PCT. El respaldo técnico de los componentes jurídicos de los proyectos había sido en general excelente, registrándose un intercambio activo entre los funcionarios de la LEG, los consultores y el personal nacional de contraparte. En algunos casos, determinados funcionarios de la LEG habían continuado el seguimiento después del proyecto a medida que la legislación se abría camino a través de los procesos nacionales. Esto fue muy apreciado por los gobiernos interesados.

54 . Aunque la mayoría de los proyectos eran pertinentes y se ejecutaron bien, se consideró menos satisfactorio el efecto que llegaban a producir. En la mayoría de los países donde el seguimiento y los efectos no fueron satisfactorios, la razón podría encontrarse en circunstancias nacionales concretas, como trastornos económicos o el no llevar adelante la legislación redactada, que había sido considerada aceptable por el departamento competente en la época de la ejecución del proyecto. Para asegurar un conjunto completo de asistencia, la evaluación recomendó que en los proyectos se preparen normalmente, junto con las leyes, reglamentos para su aplicación.

55 . Los dos factores más importantes del probable éxito de un proyecto fueron el alto grado de intervención de los interesados en su ejecución y la existencia de un marco de política favorable para conseguir las reformas legislativas deseadas.

Lecciones generales para el PCT (basándose en tres evaluaciones temáticas completadas) 7

56 . Es preciso mejorar las actividades de seguimiento del proyecto. En la mayoría de los casos (pero no en todos), una vez que termina la ejecución del proyecto, se pierde el contacto con el organismo gubernamental de contraparte y los gobiernos no informan a la FAO sobre las actividades de seguimiento realizadas, a pesar de que así se les exige en los procedimientos del PCT. La administración de la FAO ha acordado ahora celebrar una reunión hacia el final del período de ejecución de todos los proyectos del PCT para decidir las medidas de seguimiento. El Representante de la FAO (donde lo haya) convocará la reunión, a la que asistirá el organismo gubernamental de contraparte y otras partes interesadas, tales como los organismos de financiación bilateral o multilateral que podrían estar interesados en contribuir a las actividades de seguimiento del proyecto. Dicha reunión formará parte integrante de la presentación de informes y la clausura del proyecto.

57 . Las misiones de evaluación han hecho numerosas observaciones sobre la formulación de los proyectos. Las críticas hechas en las dos últimas evaluaciones fueron bastante diferentes. En cuanto a la legislación, las estrategias de ejecución de los proyectos tendían a estar descritas en términos que se consideraron excesivamente generales, mientras que en la apicultura y sericultura hubo en algunos proyectos una desconexión evidente entre la situación descrita y la real sobre el terreno. Esto puso en tela de juicio la idoneidad de los proyectos en cuestión. Las evaluaciones examinaron si la inversión de recursos adicionales en las misiones de formulación sería eficaz en función del costo. En el caso de los proyectos de legislación, se concluyó con suficiente claridad que las deficiencias en el diseño de los proyectos se solían corregir en la primera misión de consulta y se apoyó en general la política actual del PCT de no financiar misiones de formulación.

58 . El diseño de los proyectos de apicultura/sericultura presentaba un problema más fundamental. Mientras la Oficina Jurídica dispone de recursos de personal para abarcar todas las esferas técnicas e idiomas de la FAO, no ocurría esto en la apicultura y sericultura. Durante la mayor parte del período en examen, hubo en la Sede, en el Servicio de Agroindustrias y Gestión Postcosecha (AGSI) un único funcionario que se ocupó de los proyectos de apicultura y sericultura. Se plantean así cuestiones de prioridad y capacidad sobre la medida en que la FAO puede ejecutar actividades en sectores especializados en los que no tiene un nivel suficientemente alto de apoyo técnico.

OBSERVACIONES DEL COMITÉ DEL PROGRAMA

(Informe del 83º período de sesiones, mayo 2000 8 )

  1. El Comité consideró que ese informe proporcionaba una síntesis útil de las evaluaciones realizadas por misiones independientes de evaluación de proyectos y de las efectuadas por el Servicio de Evaluación sobre determinados proyectos del PCT.

  2. El Comité señaló con preocupación que, a pesar de la tendencia general a la mejora de los aspectos fundamentales de los resultados de los proyectos de campo, la formulación de los proyectos seguía siendo el aspecto más deficiente. Aunque tomó nota de que había mejorado algo el porcentaje de proyectos clasificados como"buenos", expresó preocupación por el hecho de que la deficiencia en la formulación de los proyectos se había señalado reiteradamente en síntesis de evaluaciones análogas en el curso de varios años, y preguntó qué medidas correctoras se estaban tomando. El Comité reconoció que el problema era complejo, porque los proyectos se ocupaban de cuestiones de desarrollo complejas en una gran variedad de sectores y en diferentes condiciones y porque las medidas correctoras afectaban a diversas dependencias de la Organización. No obstante, insistió enla necesidad urgente de una acción concertada con el fin de garantizar la calidad de la formulación de los proyectos, especialmente en el contexto del cambio de procedimientos y mecanismos para el Programa de Campo.

  3. A este respecto, el Comité ratificó las líneas de actuación relativas a la actualización de las directrices para la formulación de los proyectos, la capacitación ulterior del personal de la FAO y el fortalecimiento de los mecanismos para examinar y evaluar los proyectos. En particular, pidió que se notificaran al Comité, en su período de sesiones de mayo de 2001, los progresos realizados en la aplicación de esas recomendaciones. También insistió en la importancia de una mayor especificidad en las recomendaciones de las evaluaciones, que deberían estar orientadas en función de la dependencia competente encargada y de la naturaleza y el calendario de las medidas propuestas. De forma más general, el Comité destacó la especial importancia de introducir una serie de criterios, basados en las prioridades establecidas en el Marco Estratégico, para planificar y seleccionar proyectos en el futuro.

  4. Con respecto al carácter de las síntesis futuras de las evaluaciones de los proyectos, el Comité acordó que esas síntesis se centraran en determinados programas y cuestiones temáticas en relación con las prioridades del Marco Estratégico.

  5. En cuanto a la síntesis de las evaluaciones temáticas de proyectos del PCT, el Comité reconoció que esas actividades se realizaban por iniciativa del Departamento TC con el fin de mejorar su capacidad para administrar el PCT, así como en aras de una mejora de la transparencia y la rendición de cuentas. Estimó que la síntesis ponía de relieve las virtudes y defectos de los proyectos del PCT relacionados con la apicultura y la sericultura, por un lado, y con el apoyo legislativo, por otro, y que contenía también una serie de cuestiones y enseñanzas útiles. Sin embargo, algunos miembros pidieron que en el futuro los informes presentados sobre las evaluaciones de los proyectos del PCT incluyeran más detalles, en particular evaluaciones por regiones de los resultados de los proyectos.

  6. El Comité estuvo en general de acuerdo con las cuestiones y las recomendaciones correspondientes. En particular:
    • tomó nota de la función decisiva que desempeñaban los gobiernos beneficiarios en la ejecución de proyectos del PCT y convino en que, como se había recomendado, los gobiernos interesados y la Secretaría de la FAO, con inclusión de los respectivos Representantes en los países, deberían tomar medidas más dinámicas para garantizar una acción de seguimiento apropiada; y
    • ratificó la propuesta de que, al seleccionar y aprobar los proyectos del PCT, se tuviera en cuenta la capacidad de la Organización para proporcionar apoyo técnico suficiente, así como sus prioridades globales en relación con los sectores concretos interesados.

(Informe del 85º período de sesiones, mayo 2001 9 )

  1. El Comité acogió con beneplácito este informe que se había presentado como respuesta a su solicitud anterior. Tomó nota de las medidas orientadas a mejorar el proceso de formulación y evaluación, entre ellas la preparación de directrices actualizadas, la capacitación del personal en técnicas de formulación mediante un conjunto de herramientas basadas en Internet y el fortalecimiento de los mecanismos existentes para el examen y evaluación de los proyectos.

  2. El Comité reconoció la importancia de una división clara de las responsabilidades durante las diversas fases del ciclo del proyecto y manifestó que esperaba con interés la contribución de un nuevo Servicio, dentro de la Dirección de Operaciones de Campo, al seguimiento del ciclo del proyecto, la preparación de directrices y procedimientos y la garantía de la calidad de los documentos del proyecto. Las dependencias operacionales reducidas que se mantendrían en las oficinas regionales desempeñarían también una función esencial, especialmente en el examen y la aprobación de los documentos del proyecto, mientras que la evaluación por los representantes de la FAO de todos los nuevos proyectos en los países sería más rigurosa.

  3. El Comité convino en que sería necesario estudiar de nuevo esta cuestión en un futuro período de sesiones, una vez que se hubieran establecido los mecanismos apropiados y se hubiera concluido la reorganización del Departamento TC.

  4. El Comité consideró que la mejora de la calidad de la formulación de los proyectos era importante a fin de potenciar la capacidad de la Organización para competir por unos recursos de cooperación técnica en disminución, así como su función de proporcionar apoyo a los países miembros para atender sus necesidades de desarrollo agrícola.

6. Aunque los resultados relativos al Cercano Oriente y Europa son considerablemente inferiores a los de otras regiones, se basan en una muestra mucho menor de proyectos.

7. Además de las dos evaluaciones temáticas del PCT que se resumen aquí, el análisis se basa también en los resultados de la evaluación de proyectos de control de calidad de los alimentos hecha en 1997.

8. PC 83/REP, párrs 35-40.

9. PC 85/REP, párrs 48-51.

AnteriorArribaSiguiente