PC 83/4 (b)


Comité del Programa

83º período de sesiones

Roma, 8-12 de mayo de 2000

Síntesis de evaluaciones recientes de proyectos de campo

Índice



Resumen de las principales conclusiones sobre las esferas que han de mejorarse

El análisis indicó que los resultados habían sido buenos desde el punto de vista de la consecución de los productos y efectos de los proyectos para las poblaciones a las que estaban destinados. No obstante, se señalaron algunas esferas a las que se debía prestar atención al diseñar y ejecutar los proyectos, como por ejemplo:

  • Mayor realismo en cuanto a la duración adecuada de los proyectos, especialmente los relativos a la creación de instituciones y a la participación popular. También es neceario que los proyectos se formulen de manera que se aseguren unos resultados sostenibles, haya o no una segunda fase;

  • Mayor realismo en cuanto a la capacidad nacional, que ha tendido a sobreestimarse;

  • Mejoras en el diseño de los proyectos, especialmente en lo que respecta a unos objetivos más concisos y realistas y a una determinación más clara de los beneficiarios. Sin embargo, en el caso de los proyectos del PCT, no deberían enviarse en general misiones de formulación, ya que es probable que no sean eficaces en función de los costos;

  • En lo que respecta al fortalecimiento institucional de la capacidad de los gobiernos, más atención al aumento de la capacidad de las dependencias existentes y al establecimiento de nuevos métodos de trabajo interinstitucionales para abordar los nuevos problemas, en lugar de crear nuevas dependencias o ampliar el personal;

  • En cuanto a las políticas y planificación, mayor atención para determinar las cuestiones y facilitar el diálogo entre los niveles comunitario y político;

  • Más atención a los aspectos económicos y comerciales de los proyectos orientados al fomento de la producción y a la participación popular;

  • Mayor atención a las relaciones y los acuerdos de colaboración, especialmente para asegurar la sostenibilidad de las actividades en la esfera del desarrollo basado en la población;

  • En lo que respecta a los proyectos del PCT, mayor atención a la terminación y al seguimiento de los proyectos, inclusive mediante una reunión oficial para examinar sus resultados y las medidas de seguimiento;

  • En el caso de los proyectos del PCT, examen minucioso antes de financiar proyectos en esferas técnicas especializadas en las que tal vez la Organización no tenga una ventaja comparativa y en las que no haya suficiente apoyo técnico;

  • A pesar de las notables mejoras observadas en el diseño de los proyectos, éste sigue siendo la causa principal de los resultados insatisfactorios, por lo que deberán hacerse ulteriores esfuerzos en el contexto de la organización descentralizada de las actividades operacionales, con inclusión, en particular, de las medidas siguientes:
      • Preparación de directrices actualizadas sobre formulación y diseño de proyectos;
      • Capacitación ulterior del personal de la FAO, especialmente en las oficinas descentralizadas, sobre el tema; y
      • Fortalecimiento de los mecanismos vigentes para examinar y evaluar propuestas de proyectos, tanto en las oficinas descentralizadas como en la Sede.

Introducción

1. En esta nota se ofrece un análisis de las conclusiones de evaluaciones de proyectos de campo del PNUD y con cargo a fondos fiduciarios, realizadas por misiones independientes, y de evaluaciones temáticas de proyectos del Programa de Cooperación Técnica (PCT) de la FAO.

2. Este informe es el cuarto que se presenta a los Órganos Rectores sobre los resultados de distintas evaluaciones de proyectos de campo desde el Informe sobre la Evaluación del Programa (PER) 1992-93. En ese documento (C 93/4, Capítulo 4) se hizo un resumen de las evaluaciones de todos los proyectos ejecutados en el período 1985-91. En el Informe sobre la Ejecución del Programa (PIR) 1994-95 (que abarcaba evaluaciones realizadas de 1992 a 1994) y en el PIR 1996-97 (que abarcaba evaluaciones realizadas hasta 1997) se incluyeron informes posteriores sobre los resultados de las evaluaciones de proyectos. El presente informe, correspondiente a 1994-99, abarca los períodos sobre los que se había informado en los PIR anteriores y está actualizado para incluir el bienio de 1998-99. El año 1994 es apropiado como punto de partida para el estudio ya que en él se introdujeron varias mejoras en el proceso de evaluación de la FAO, incluidos requisitos específicos para abordar las cuestiones de la eficacia en función de los costos y una mayor atención a los efectos y repercusiones, así como a los factores que contribuyen a la sostenibilidad de los proyectos.

3. La nota incluye no sólo información cuantitativa presentada en los PIR, sino también un análisis más detallado de los factores asociados con los efectos y repercusiones, y valoraciones cualitativas basadas en informes sobre determinadas esferas temáticas. Se trata sobre todo de buscar las esferas que han de mejorarse, especialmente para conseguir los efectos y repercusiones de los proyectos. El análisis se basa en las conclusiones de misiones tripartitas independientes que evaluaron 279 proyectos entre 1994 y 19991. En lo que concierne a las esferas de actividad, los proyectos examinados mostraron un grado razonable de concordancia con la distribución del programa de campo de la FAO en general (véase el Cuadro 1). En 1997 se iniciaron evaluaciones del PCT2 por temas, con un estudio de proyectos sobre control de la calidad de los alimentos, cuyos resultados se notificaron en el Informe sobre la Evaluación del Programa 1998-99 (Capítulo 4). Este informe se centra en la apicultura y la sericultura (1998) y en la asistencia en materia de legislación (1999). El Servicio de Evaluación evalúa proyectos del PCT agrupados por temas concretos, con el fin de extraer enseñanzas para el diseño de proyectos similares en el futuro, determinar los logros de cada proyecto, mejorar la eficiencia en función de los costos y ofrecer una base para la presentación de informes de rendición de cuentas.
4. El Departamento de Cooperación Técnica, en consulta con el Servicio de Evaluación, elige los temas que han de evaluarse. Para esta evaluación se eligeron la apicultura y la sericultura con el fin de abordar una "esfera problemática" y atendiendo al gran número de solicitudes. Estos temas son importantes para los pequeños agricultores de muchas partes del mundo, pero representan una proporción muy pequeña del programa general de la FAO. No obstante, en los tres bienios que precedieron al estudio se habían recibido y aprobado un gran número de peticiones de proyectos del PCT en estas esferas. Algunos de estos proyectos habían tropezado con notables dificultades de ejecución, de las que el Departamento de Cooperación Técnica tenía conocimiento antes de emprender el estudio. La asistencia en materia de legislación es uno de los ámbitos en los que se reciben más peticiones de proyectos del PCT y ésta fue la principal razón por la que se eligió ese tema. En la evaluación no sólo se examinaron proyectos exclusivamente pertenecientes a la esfera jurídica, sino también proyectos relacionados con otras cuestiones que tenían un componente jurídico.

Síntesis de las evaluaciones de proyectos de campo
1994-99
(Con exclusión del PCT)

Cuadro 1: Ámbito de todas las evaluaciones (1994-1999), con exclusión del PCT, por esferas técnicas, en relación con el Programa de Campo total de la FAO'

  Porcentaje del total de proyectos evaluados Porcentaje correspondiente a esta esfera técnica en el Programa de Campo total de la FAO financiado con fondos extrapresupuestarios*
Sistemas de producción agrícola y de apoyo a la agricultura 40 46
De los cuales Recursos naturales 10 12
  Cultivos 17 17
  Ganadería 4 7
Políticas alimentarias y agrarias, planificación, nutrición y cuestiones jurídicas 7 11
Pesca 7 8
Montes 31 22
Desarrollo sostenible 15 13
De los cuales: Desarrollo y transferencia de tecnologías 7 n.a.
  La mujer en el desarrollo y la población 5 n.a.
  Desarrollo rural y reforma agraria 2 n.a.
Total 100 100

 

* Expresado en su valor en 1996-97 y basado en el PIR 1996-97 

 

5. En el Cuadro 2 infra se presenta información estadística sobre las evaluaciones realizadas por región y fuente de fondos. También se ofrece información mundial sobre los tipos de evaluaciones realizadas (a mitad del período, al final o a posteriori).

Cuadro 2: Ámbito de todas las evaluaciones (1994-99), por región, fuente de fondos y tipo de evaluación (en porcentaje)

Región PNUD Fondos Fiduciarios TOTAL
  94-95 96-97 98-99 94-95 96-97 98-99 94-95 96-97 98-99
                   
África 43   40 37 40 47 41 41 44
                   
Asia y el Pacífico 49 50 57 16 25 22 36 36 34
                   
América Latina y el Caribe 2 2 3 28 21 22 12 12 16
                   
Norte de África, Cercano Oriente y Europa 6 6 - 12 5 2 8 6 1
                   
Interregionales - - - 7 9 7 3 5 5
                   
Total 100 100 100 100 100 100 100 100 100
                   
Por tipo de evaluación                  
                   
A mitad del período             51 42 40
Al final             48 54 45
A posteriori             1 4 15

TOTAL

            100 100 100

COMPARACIÓN DE PROYECTOS:
1985-91 FRENTE A 1994-99

6. Como se indicó anteriormente, la forma de presentación de los informes sobre la evaluación de proyectos se modificó en 1994 para ampliar su ámbito y tener más en cuenta las preocupaciones expresadas por los Órganos Rectores. En el Cuadro 3 se examinan los resultados de los proyectos en los tres últimos bienios en comparación con los notificados a los Órganos Rectores en el PER 1992-93.

Cuadro 3: Valoración global de las evaluaciones de proyectos (con exclusión del PCT)

Aspecto

En porcentaje

1985-91

En porcentaje
1994-99

 

Deficiente

Satisfactorio

Bueno

Deficiente

Satisfactorio

Bueno

             
Diseño de los proyectos

26

56

18

21

40

39

             
Ejecución

29

49

22

9

39

52

             
Productos de los proyectos:            
Calidad

9

62

29

7

43

50

Cantidad

13

57

30

8

44

48

             
Efectos de los proyectos

16

60

24

11

39

50

7. Los resultados indican una mejora en el curso del tiempo. Se han realizado esfuerzos considerables para mejorar el diseño de los proyectos, por ejemplo aumentando la competencia del personal mediante programas de capacitación y perfeccionando las directrices sobre programación y evaluación. Igualmente importantes han sido las normas rigurosas establecidas por los donantes para aceptar propuestas de financiación, incluidos los requisitos relativos al diseño de los proyectos. Asimismo, ha aumentado el número de proyectos cuyos efectos se clasifican como "buenos".

EFECTOS Y REPERCUSIONES DE LOS PROYECTOS3

8. El Cuadro 4 muestra que los resultados de los proyectos, determinados por las misiones de evaluación, fueron muy satisfactorios en lo que concierne a sus beneficios para los países. Los posteriores análisis de las esferas que han de mejorarse deberán tener en cuenta estas conclusiones básicamente positivas.

Cuadro 4: Resumen global de los resultados de los proyectos (1994-99)

Se consideró que los proyectos:
Habían resuelto un verdadero problema de desarrollo Problema de gran importancia 85% Problema importante 98%
Habían tenido efectos en relación con el uso previsto de los productos Se preveía que al menos el 80% de los productos se utilizarían conforme a lo previsto 50% Se preveía que al menos el 60% se utilizarían conforme a lo previsto 89%
Tendrían probablemente repercusiones sostenibles Repercusiones considerables 45% Algunas repercusiones sostenibles 86%
Eran eficaces en función de los costos para conseguir efectos sostenibles El enfoque más eficaz en función de los costos 73%  

9. Sólo 18 evaluaciones (6 por ciento) se realizaron a posteriori. Por consiguiente, en casi todas las evaluaciones se preveían probables repercusiones en el curso del tiempo, pero con frecuencia los efectos (utilización de los productos por los beneficiarios) eran ya evidentes, especialmente en el caso de los proyectos evaluados al término de la ejecución del proyecto o al acercarse este término (evaluaciones finales). Hubo cierta discrepancia entre las regiones (véase el Cuadro 1 del Anexo). En particular, las misiones consideraron que era de prever un uso menor de los productos y unas repercusiones menos sostenibles en el caso de los proyectos evaluados en el Cercano Oriente y Europa. Aunque las razones de esto no fueron uniformes, las misiones observaron que el diseño de los proyectos mostraba constantemente un optimismo excesivo en cuanto a lo que podrían conseguir dentro de los límites de los presupuestos y los marcos temporales de los proyectos y sobrestimaban también la capacidad del personal nacional4.

10. Se examinaron los proyectos para determinar sus efectos en relación con diferentes tipos de objetivos, a saber a) mejoras en las políticas, la planificación y la legislación, b) fortalecimiento de la capacidad institucional nacional, c) adopción de mejoras técnicas, d) ampliación de las actividades experimentales y e) inversiones posteriores. Los efectos más insatisfactorios correspondieron a las inversiones posteriores y los más satisfactorios a la adopción de mejoras técnicas y el fortalecimiento institucional. Como era de prever, el riesgo de una falta de repercusión fue mayor en el caso de los proyectos que entrañaban la adopción de mejoras en las políticas, la planificación y la legislación, la repetición de actividades experimentales y las inversiones posteriores. En esos proyectos, el logro de repercusiones suele depender de que se tomen decisiones positivas en niveles superiores a aquellos en los que tal vez se haya desarrollado el proyecto (si no hay seguimiento, no puede haber una gran repercusión).

POSIBILIDAD DE MEJORAR LOS RESULTADOS DE LOS PROYECTOS

Análisis cuantitativo basado en los cuestionarios de las misiones

11. El análisis que se ofrece a continuación se centra en la determinación de las posibles esferas que han de mejorarse, sobre la base de las valoraciones efectuadas por las misiones de evaluación acerca de la calidad de la selección, el diseño y la gestión de los proyectos. También se examinan los factores concretos que más contribuyeron a limitar los efectos y las repercusiones de los proyectos, así como su eficacia en función de los costos.

Cuadro 5: Esferas que han de mejorarse (1994-99) - Valoración por las misiones de la selección, el diseño y la gestión de la ejecución de los proyectos

Esferas en las que había posibilidades de mejora, en orden aproximado de importancia Porcentaje de proyectos con las puntuaciones indicadas (en una escala de 5 puntos en la que 1 indica la mayor posibilidad y 5 la menor necesidad de mejora)
  1+2 4+5 3
Diseño de proyectos - Realismo      
· Determinación de los requisitos previos y riesgos para el éxito del proyecto 37 24 39
· Duración del proyecto demasiado breve 515 n.d. n.d.
· Planificación del trabajo 34 28 38
· Expectativa de asignación de recursos nacionales 21 38 41
· Expectativa de que se seguirán utilizando los resultados una vez terminado el proyecto 15 53 32
Calidad del diseño del proyecto - valoración global 21 39 40
· claridad de los objetivos inmediatos 25 46 29
· especificación de los productos y los objetivos 21 45 34
· eficacia en función de los costos del enfoque del proyecto 13 51 36
Gestión de la ejecución - valoración global 9 52 39
· aportaciones del Gobierno a la gestión 23 37 40
· aportaciones de la FAO a la gestión, de las cuales 9 54 37
- FAO - observaciones por escrito 20 39 41
- FAO - visitas a los países 16 50 34

Cuadro 6: Aspectos del diseño y la ejecución de los proyectos que en opinión de las misiones habían contribuido más a unos resultados insatisfactorios y en los que podría haber mejoras (1994-99)

A. Aspectos del ciclo de los proyectos en que las misiones observaron la mayor necesidad de mejora: Porcentaje de proyectos
Selección de los proyectos 13
Diseño de los proyectos 33
Supervisión de los proyectos 24
B. Deficiencias en los proyectos que más probablemente limitarían los efectos y repercusiones sostenibles - en orden aproximado de importancia Porcentaje de casos indicados
Diseño de los proyectos Fallos de las instituciones nacionales 49
  Falta de recursos financieros nacionales para el seguimiento 42
  Insuficiencia de mano de obra nacional 17
Formulación y ejecución Participación insuficiente de los beneficiarios 18
  Falta de compromiso nacional 13
C. Factores que tendrían una eficacia en función de los costos especialmente limitada Porcentaje de casos indicados
  Programación - planificación del trabajo 21
  Procedimientos del gobierno 27
  Procedimientos de la FAO 19
D. Conclusiones de las misiones sobre los aspectos de los proyectos que podrían haber aumentado la eficacia en función de los costos Más Menos
Diseño de los proyectos
Orientación/concentración en los objetivos centrales del proyecto 39 3
Diseño y ejecución Recurso a la capacitación nacional 37 2
  Recurso al sector privado 41 5
  Recurso a ONG 36 7
  Recurso a la capacidad del gobierno 24 11
  Recurso a expertos nacionales 25 4
  Recurso a personal con contratos de breve duración 27 10
Procedimientos Delegación de facultades 30 3

12. Diseño de los proyectos: El análisis cuantitativo demostró que el diseño era el aspecto más deficiente de los proyectos evaluados: las misiones indicaron que en el 33 por ciento de los casos el diseño era el aspecto del proyecto donde había mayor necesidad de mejora (Cuadro 6). Como puede observarse en el Cuadro 5, en opinión de las misiones el diseño de los proyectos adolecía de un optimismo excesivo en cuanto a lo que podía lograrse en el curso del proyecto. El 51 por ciento de los proyectos se consideraron demasiado breves y el análisis indicó una falta de realismo en cuanto a la duración que estaba correlacionada con la reducción de los efectos y repercusiones. En los proyectos cuyos resultados no alcanzaban el nivel óptimo desde el punto de vista de los efectos y repercusiones, el análisis indicó que quienes los habían formulado habían sido excesivamente optimistas, en particular con respecto a la utilización que podía hacerse de los productos del proyecto. Los proyectos tendían también a incluir expectativas poco realistas acerca de la capacidad y los recursos de las instituciones nacionales (Cuadro 6). Además, no se había prestado suficiente atención a los riesgos y a los requisitos previos para el éxito de los proyectos (Cuadro 5).

13. En un cuestionario independiente sobre los factores que habían tenido los efectos más negativos sobre la eficacia en función de los costos de los proyectos, se indicó que la programación había sido el factor más importante en el 21 por ciento de los casos (Cuadro 6). Tendía a haber unas expectativas excesivas acerca de las aportaciones que era razonable prever que los gobiernos harían al proyecto (Cuadro 5). Otros defectos estaban menos generalizados, pero se habría podido mejorar considerablemente una proporción importante de proyectos en lo concerniente a la claridad de los objetivos y destinatarios inmediatos. También se observó que era necesario centrar más los proyectos en el 39 por ciento de los casos (Cuadro 6). Un análisis ulterior reveló que el hecho de no especificar suficientemente los beneficiarios estaba relacionado con los resultados insatisfactorios en cuanto a los efectos y repercusiones.

14. Las misiones comprobaron que del 20 al 40 por ciento de los proyectos habrían sido más eficaces en función de los costos si hubieran confiado en mayor medida en la capacitación nacional y hubieran recurrido más al sector privado, ONG, expertos nacionales y personal con contratos de breve duración, así como a la capacidad del gobierno. Sin embargo, también es digno de señalar el hecho de que en ciertos casos estas características estaban demasiado acentuadas; por ejemplo, se consideró al parecer contraproducente un uso intenso de ONG y personal con contratos de breve duración o una fuerte dependencia de la capacidad del gobierno (Cuadro 6).

15. Ejecución y gestión de los proyectos: Los proyectos que habían dado resultados insatisfactorios desde el punto de vista de los efectos y repercusiones adolecían en particular de una gestión inadecuada, siendo la gestión interna el aspecto más deficiente, aunque la supervisión de la FAO era también una esfera que podía mejorarse. En opinión de las misiones, tanto los procedimientos de los gobiernos como los de la FAO habían limitado los resultados y en el 30 por ciento de los casos se indicó como problema una delegación insuficiente de facultades (Cuadro 6). Por lo que respecta a lo que puede considerarse como un defecto tanto de diseño como de ejecución, la participación de los beneficiarios podría haberse mejorado en el 18 por ciento de los casos (Cuadro 6).

ANÁLISIS CUALITATIVO DE LAS CONCLUSIONES Y RECOMENDACIONES DE LAS MISIONES

16. Algunas de las cuestiones antes indicadas fueron amplificadas por un examen cualitativo de las conclusiones y recomendaciones de las evaluaciones, especialmente en relación con las esferas de los proyectos respecto de las cuales había un volumen considerable de conclusiones análogas.

17. Creación de capacidad: Los proyectos de fortalecimiento institucional evaluados en los últimos años indican que la atención se ha desplazado cada vez más del fortalecimiento o ampliación de los departamentos gubernamentales al fortalecimiento de la capacidad de las instituciones vigentes para dotarlas de nuevas funciones, como por ejemplo las actividades forestales comunitarias o la planificación ambiental. Las misiones no fueron en general optimistas acerca de la sostenibilidad de los resultados de los proyectos anteriores de expansión institucional, debido a la escasez de recursos de los gobiernos. Los proyectos más recientes se han formulado de manera que se promueva la autosuficiencia y la propiedad de la población mediante enfoques participativos y colectivos. Con respecto a ambos tipos de fortalecimiento institucional, las misiones concluyeron en general que la duración de los proyectos era demasiado breve y que era fundamental una fase posterior para consolidar los resultados. Esto indica que:

18. Apoyo a las políticas: Se han señalado anteriormente los resultados relativamente insatisfactorios de los proyectos en materia de apoyo a las políticas desde el punto de vista de la consecución de sus efectos y repercusiones. Los proyectos destinados a fortalecer directamente las políticas y la planificación ejercieron más influencia cuando identificaron las cuestiones principales y apoyaron el diálogo nacional entre los niveles comunitario y político, que cuando proporcionaron asesoramiento directo. También se observó que casi todos los logros en materia de políticas no eran el resultado de proyectos especializados en políticas, sino de proyectos relacionados con el fomento institucional y el apoyo al desarrollo. Por consiguiente, un proyecto relacionado con el desarrollo de una zona puede tener influencia sobre las políticas de tenencia de tierras, mientras que un proyecto sobre actividades forestales comunitarias puede influir en los criterios aplicados a la extensión.

19. Participación popular: En ocasiones se criticaron proyectos en los que la participación popular había sido importante por prestar excesiva atención al establecimiento de nuevos grupos participativos, cuando no habían logrado introducir otras mejoras a través de los grupos. Otras críticas se refirieron al hecho de que los grupos no eran necesariamente el mejor instrumento de desarrollo en algunas situaciones y que podría haberse fomentado en cambio la iniciativa privada en pequeña escala. Como en el caso de los proyectos relativos a la producción, los progresos fueron limitados salvo en los casos en que la población consideró que los grupos (habitualmente económicos) le reportaban beneficios claros. En ocasiones se indicó que los proyectos de participación popular eran demasiado breves, a la vez que cubrían una zona excesivamente amplia. Esto tiende a indicar que los proyectos participativos deben centrarse inicialmente en una zona pequeña y trabajar intensivamente con unos pocos grupos, con el fin de crear una capacidad duradera en estos grupos y en el personal de apoyo que trabaja con ellos.

20. Es necesario fortalecer los vínculos revelados por el análisis cualitativo entre proyectos de creación de instituciones, participación popular y políticas. Se señaló el peligro concreto de que los proyectos de participación popular funcionaran como entidades independientes en lugar de establecer asociaciones locales sostenibles con las ONG y los organismos gubernamentales interesados. Análogamente, las misiones observaron que la capacitación era uno de los productos más valiosos de los proyectos destinados a la creación de capacidad. El supuesto básico era al parecer que las personas con mayores conocimientos especializados contribuirían al desarrollo aun en el caso de que la tarea concreta para la cual habían recibido capacitación no fuera sostenible.

21. Fomento de la producción y ordenación de tierras: En el caso de los proyectos destinados a fomentar la producción y mejorar la ordenación de tierras, se observó con frecuencia que no se había prestado suficiente atención a los aspectos económicos y comerciales. Había unos cuantos ejemplos de demostraciones experimentales que no habían tenido repercusión por falta de una base jurídica, y en particular por falta de una tenencia clara del recurso en cuestión. Había también un gran número de casos en que las misiones habían pedido que se mejorara el seguimiento y la evaluación para determinar qué criterios y conjuntos de medidas estaban resultando en realidad aceptables para la población y estaban produciendo las mejoras previstas. Asimismo, unas cuantas misiones pusieron de relieve que estos aspectos habían sido factores importantes para conseguir efectos y repercusiones sostenibles.

22. Cuestiones de género: Aunque no hubo un conjunto amplio de conclusiones sobre las razones de la eficacia de las actividades relacionadas con cuestiones de género, varias misiones señalaron casos en que los proyectos no se habían orientado concretamente a las mujeres, aun cuando éstas eran los actores principales, y otros indicaron que se habían obtenido resultados satisfactorios cuando se habían incluido conjuntos de medidas, extensión y capacitación expresamente destinados a las mujeres. En algunas circunstnacias, la utilización de personal femenino para llegar a las mujeres había sido beneficiosa, incluso en sociedades en las que no había ningún tabú que prohibiera a los hombres comunicarse con las mujeres.

23. Proyectos regionales: Con respecto a los proyectos regionales, se sacaron, en particular, las siguientes conclusiones cualitativas:

24. Conclusiones y recomendaciones generales: El presente informe muestra una notable mejora general del diseño y ejecución de los proyectos y la obtención de productos durante el período transcurrido desde el último examen (1985-91). No obstante, cabe señalar que casi todas las conclusiones y cuestiones planteadas son muy similares a las que figuraban en el PER 1992-93. Se recomienda que, dados los defectos persistentes en el diseño de los proyectos, se sigan haciendo ulteriores esfuerzos en el contexto de la organización descentralizada de las actividades operacionales, con inclusión, en particular, de a) la preparación de directrices actualizadas sobre formulación y diseño de proyectos, prestando especial atención a las esferas en las que es necesario introducir mejoras; b) la ulterior capacitación del personal de la FAO, especialmente en las oficinas descentralizadas, sobre el tema; y c) el fortalecimiento de los mecanismos existentes para examinar y evaluar propuestas de proyectos, tanto en las oficinas descentralizadas como en la Sede.

PRESENTACIÓN DE INFORMES EN EL FUTURO A LOS ÓRGANOS RECTORES SOBRE SÍNTESIS DE EVALUACIONES DE PROYECTOS

25. En este informe se presentó también un examen limitado de los aspectos cualitativos de determinados tipos de proyectos y se sacaron algunas conclusiones en diversas esferas. Se sugiere que, en el futuro inmediato, la presentación de informes sobre resultados de evaluaciones prosiga en esta dirección y que las síntesis de informes sobre evaluaciones se basEn en determinadas esferas programáticas y temas intersectoriales, en consonancia con las prioridades del Marco Estratégico, o, de ser posible, en la labor realizada en determinadas regiones. En las evaluaciones programáticas se examinarán también sistemáticamente actividades del Programa Ordinario y actividades de campo conexas. Este criterio sería coherente con el que se aplicó en la evaluación del PCT. Se considera que este análisis permitirá formular recomendaciones más precisas para someterlas al examen de la Administración y de los Órganos Rectores, siempre que se base en una muestra de proyectos suficientemente grande. Este análisis más amplio podrá repetirse cada dos o tres bienios, cuando se haya realizado un nuevo conjunto de evaluaciones de gran envergadura.

Evaluaciones temáticas del PCT:
Apicultura y sericultura (1998) y legislación (1999)

METODOLOGIA DE LA EVALUACIÓN

26. Ambas evaluaciones se realizaron aplicando metodologías similares. De acuerdo con la política de la FAO, las evaluaciones se llevaron a cabo con la ayuda de consultores externos. Para el ejercicio de 1998 se recurrió a dos consultores (uno para la apicultura y otro para la sericultura), mientras que en el examen de la legislación de 1999 participaron cuatro consultores, uno para cada una de las regiones visitadas. Por lo que respecta al examen de la apicultura y la sericultura, se evaluaron todos los proyectos (22) aprobados en los tres bienios anteriores, mientras que en el caso de la legislación se examinó una muestra de 31 proyectos (34 por ciento) en 17 países.

EVALUACIONES

Apicultura y sericultura

27. La apicultura y la sericultura son fuentes de ingresos potencialmente importantes para los pequeños agricultores de países en desarrollo. La apicultura, en particular, puede ser importante para los campesinos sin tierras y reviste gran interés para la producción agrícola y la conservación de los ecosistemas en general, debido al papel que desempeñan en la polinización. La sericultura es una actividad económica especialmente importante para las mujeres, que son las que más participan en tareas como colocar los gusanos maduros en bastidores e hilar las hebras, que requieren un alto coeficiente de mano de obra.

28. La mayoría de los proyectos se ocupan de problemas de desarrollo importante, en general relacionados con la lucha contra enfermedades (varroa en las abejas y pebrina en los gusanos de seda). Sin embargo, algunos de ellos no estaban bien justificados por razones técnicas o no habrían satisfecho los criterios de aprobación del PCT si se hubieran conocido mejor las condiciones. Se comprobó que casi todos los proyectos consistían en esfuerzos aislados y no formaban parte de un programa más amplio financiado por gobiernos o donantes.

29. Se consideró que cuatro de los proyectos habían tenido graves dificultades de ejecución. Con pocas excepciones, la actuación de los consultores internacionales había sido satisfactoria. No obstante, se señaló que podían haberse conseguido economías en algunos proyectos (especialmente sobre sericultura) en los que se habían utilizado varios expertos con titulación similar. Asimismo, los consultores nacionales a los que se había recurrido en algunos países tendían a tener los mismos conocimientos especializados que los consultores internacionales (aunque algunos carecían de titulación técnica). Se estimó que el respaldo técnico de la FAO había sido en general mejor para los proyectos de sericultura que para los de apicultura. Un problema grave fue que las relaciones finales o los informes de terminación se presentaron con retraso o no se presentaron.

30. Las misiones de evaluación clasificaron los distintos proyectos con arreglo a una escala de tres puntos (bueno, satisfactorio, insatisfactorio), teniendo en cuenta todos los aspectos y aplicando los criterios siguientes:

31. Los resultados fueron los siguientes6:

Cuadro 7: Valoraciones de proyectos del PCT sobre apicultura y sericultura

Calidad Total Pertinencia Diseño Ejecución Efectos/
utilización de los productos
Repercusión/
sostenibilidad
Bueno 8 7 2 6 8 8
Satisfactorio 6 6 12 10 6 2
Insatisfactorio 5 7 6 3 5 9
Sin clasificar7 1 - - 1 1 1

32. Se estimó que el número de proyectos insatisfactorios era demasiado alto. En general, los proyectos sobre apicultura más satisfactorios eran los que se ocupaban de brotes de enfermedades (varroa) en países donde la apicultura tenía importancia económica. Sin embargo, se consideró que varios proyectos sobre apicultura habían fracasado porque el margen para difundir sus resultados entre los apicultores del país era reducido o porque su justificación técnica era deficiente. Dado que los costos iniciales son mucho más bajos, es probable que la apicultura tenga más interés que la sericultura para casi todos los pequeños agricultores. Sin embargo, se observó que era necesario que los proyectos fueran más pertinentes para la mayoría de los apicultores del país, en lugar de tratar de conseguir los métodos de producción más modernos. Una consecuencia de este planteamiento es que la capacitación no tuvo la repercusión deseada entre los productores.

33. La sericultura puede ser una actividad apropiada para la asistencia del PCT, siempre que haya un plan de desarrollo del sector y que se establezca claramente la función del proyecto del PCT. La evaluación reveló que las probabilidades de conseguir que los proyectos de sericultura tengan una repercusión sostenible son mucho menores en los países donde esta actividad tiene una tradición limitada y no existen oportunidades de comercialización.

34. Se observó que no se habían establecido vínculos suficientes entre las enseñanzas sacadas de los proyectos y la labor normativa de la FAO, ni se había hecho una transferencia adecuada de las enseñanzas de un proyecto a otro.

Legislación

35. Se comprobó que los proyectos examinados eran sumamente pertinentes para los problemas de desarrollo de los países receptores y que la asistencia recibida de la FAO era muy apreciada. El diseño de los proyecto tendía a ser bastante general en cuanto a la descripción de los problemas que habían de abordarse y el planteamiento adoptado para su ejecución, pero las perspectivas de aumentar el volumen de información facilitadas son bastante limitadas. La misión inicial que se envía al país soluciona por lo general las posibles deficiencias en el diseño del proyecto, al identificar las cuestiones con mayor precisión y decidir las estrategias de ejecución.

36. La calidad de los consultores internacionales y de los funcionarios de la Oficina Jurídica (LEG) (que actuaron como consultores jurídicos en 13 de los proyectos examinados) fue en general muy satisfactoria. El hecho de que la FAO posea un gran acervo de competencia internacional en diversos aspectos de la legislación sobre recursos naturales se consideró su principal ventaja comparativa y la principal razón por la que se solicita proyectos del PCT. El respaldo técnico de los componentes jurídicos de los proyectos ha sido en general excelente, manteniéndose un intercambio activo entre los funcionarios de LEG, los consultores y el personal nacional de contraparte. En algunos casos, ha habido un seguimiento continuado después de la terminación del proyecto por parte de funcionarios de LEG, mientras la legislación seguía el curso de los procesos nacionales. Esto fue muy apreciado por los gobiernos de los Estados Miembros.

37. Utilizando los criterios antes mencionados para la evaluación de la apicultura/sericultura, la clasificación de los proyectos jurídicos (o de los componentes jurídicos de los proyectos) fue la siguiente:

Cuadro 8: Valoraciones de proyectos del PCT sobre legislación

Calidad Total Pertinencia Diseño Ejecución Efectos/
utilización de los productos
Repercusión/
sostenibilidad
Bueno 11 22 15 17 11 9
Satisfactorio 17 9 15 10 12 12
Insatisfactorio 3 0 1 4 8 10

38. Aunque la mayoría de los proyectos eran pertinentes y se habían ejecutado bien, se estimó que su repercusión final había sido poco satisfactoria. En casi todos los países donde el seguimiento y la repercusión no habían sido satisfactorios, el motivo pudo encontrarse, en particular, en circunstancias nacionales como trastornos económicos o la incapacidad para conseguir que un borrador de legislación que el Departamento interesado hubiera considerado aceptable en el momento de la ejecución del proyecto siguiera adelante en el sistema legislativo. Con el fin de asegurar un conjunto completo de medidas de asistencia, la evaluación recomendó que en los proyectos se preparan normalmente, junto con las leyes, reglamentos sobre la ejecución.

39. Los dos factores más importantes para el probable éxito de los proyectos fueron un alto grado de participación de los interesados en su ejecución y un marco normativo favorable para conseguir las reformas legislativas deseadas. Casi todos los proyectos hicieron un esfuerzo considerable para asegurar amplias consultas con los posibles interesados. Algunos proyectos que tuvieron un éxito notable incluyeron también un componente normativo, y en ellos hubo una estrecha relación entre las actividades jurídicas y normativas. Se estimó que ciertos factores podían tener efectos negativos sobre el éxito de un proyecto, como por ejemplo la sustitución de su principal promotor o "paladín", los proyectos a los que se pide que medien en controversias internas y los proyectos en que los componentes legislativos constituyen medidas suplementarias ajenas a la orientación principal del proyecto. También ha de tenerse en cuenta que las reformas legislativas propuestas que tratan de modificar unos acuerdos administrativos establecidos hace tiempo suelen tropezar con resistencia.

ENSEÑANZAS GENERALES PARA LA FAO/PCT

40. El Servicio de Evaluación ha realizado ya tres evaluaciones temáticas de proyectos del PCT, de las que ha sacado algunas enseñanzas y recomendaciones generales que se señalan a continuación:

 


ANEXO

Información estadística seleccionada, basada en cuestionarios de evaluación de proyectos

Anexo - Cuadro 1: Resultados de los proyectos por regiones

Se consideró que los proyectos
  África Asia y el Pacífico América Latina y el Caribe Cercano Oriente y Europa Interregio-nales   África Asia y el Pacífico América Latina y el Caribe Cercano Oriente y Europa Interregio-nales
Número de cuestionarios de evaluación de proyectos analizados 115 100 38 16 10
Grado en que los proyectos resolvieron un verdadero problema de desarrollo
Problema de gran importancia 88% 88% 78% 81% 70% Problema importante 98% 99% 100% 88% 100%
Efectos en relación con el uso previsto de los productos
Al menos el 80% de los objetivos 46% 55% 59% 8% 62% Al menos el 60% de los objetivos 91% 89% 91% 50% 100%
Repercusiones sostenibles previstas
Repercusiones considerables 48% 47% 44% 19% 40% Algunas repercusiones sostenibles 91% 83% 88% 69% 90%
Eficacia en función de los costos para conseguir efectos sostenibles
El enfoque más eficaz en función de los costos 79% 69% 79% 36% 70%  

 

Anexo - Cuadro 2: Resultados de los proyectos por sectores/subsectores

Se consideró que los proyectos
  Recursos naturales Cultivos Ganadería Montes Pesca   Recursos naturales Cultivos Ganadería Montes Pesca
Número de cuestionarios de evaluación de proyectos analizados 29 49 12 85 19
Grado en que los proyectos resolvieron un verdadero problema de desarrollo
Problema de gran importancia 86% 84% 92% 90% 94% Problema importante 100% 94% 100% 99% 100%
Efectos en relación con el uso previsto de los productos
Al menos el 80% de los objetivos 38% 65% 45% 51% 53% Al menos el 60% de los objetivos 77% 100% 91% 95% 87%
Repercusiones sostenibles previstas
Repercusiones considerables 41% 60% 45% 46% 59% Algunas repercusiones sostenibles 85% 92% 82% 91% 82%
Eficacia en función de los costos para conseguir efectos sostenibles
El enfoque más eficaz en función de los costos 74% 77% 90% 75% 75%  

El Cuadro 3 del Anexo se compiló tomando como base un examen de los informes de las misiones a fin de sacar enseñanzas cualitativas para predecir la probabilidad de conseguir efectos y repercusiones. Incluye los factores que habían recibido una puntuación especialmente alta en la escala de 1 a 3 en lo concerniente a sus efectos y repercusiones (columna b), es decir la escala que va de efectos y repercusiones nulos a moderados. En la columna c) se comparan estas puntuaciones con las recibidas por esos factores (también con arreglo a una escala de 1 a 3, es decir de insuficientes a satisfactorios pero no buenos) en el total de proyectos (columna a). Cuanto mayor es la diferencia en la columna c), mayor es la precisión con la que el factor en cuestión predice efectos y repercusiones insuficientes.

 

Anexo - Cuadro 3: Factores que se consideran especialmente correlacionados con unos resultados insuficientes en lo que concierne a la consecución de efectos y repercusiones

  Porcentaje de proyectos que recibieron las puntuaciones más bajas de la escala
(1, 2 o 3 para este factor en una escala de 5 puntos)
 
Factor Respecto del
total

(a)

Respecto de los proyectos con efectos y repercusiones moderados o insuficientes
(b)
(b) - (a)

(a)
(c)

Previsiones realistas acerca de la utilización de los productos en el momento del diseño del proyecto 47 65 38
Diseño del proyecto, en particular      
· duración demasiado breve del proyecto 51 59 15
· especificación de los beneficiarios 44 55 25
Cuestiones relacionadas con la ejecución, en particular      
· gestión interna 49 69 41
· visitas de supervisión de la FAO 50 59 18
· Aportaciones del Gobierno 63 78 24

_________________________________

1  En total se evaluaron 301 proyectos y en 279 casos (93 por ciento del total) los informes cumplieron las normas en cuanto a exhaustividad y calidad de la evaluación.

2  El PCT forma parte del Presupuesto Ordinario de la Organización, financiado mediante las cuotas de los Estados Miembros. Los proyectos del PCT son de breve duración (no más de 24 meses) y tienen un presupuesto máximo de 400 000 dólares, su objeto es resolver problemas urgentes con que se enfrentan Estados Miembros en desarrollo de la FAO. La finalidad que se pretende es que los proyectos desempeñen una función catalizadora y pongan en marcha actividades importantes de seguimiento por parte del Gobierno.

3  El análisis que figura a continuación se refiere al período 1994-1999.

4  Los resultados relativos al Cercano Oriente y Europa son considerablemente inferiores a los de otras regiones, pero se basan en una muestra de proyectos mucho menor.

5  Con respecto a esta cuestión concreta, a las misiones sólo se les ofrecen tres opciones: demasiado breve (51%), demasiado larga (3%), más o menos apropiada (46%).

6  Dos de los proyectos evaluados eran continuaciones de proyectos anteriores, por lo que el número total de los resultados en cada columna es 20 y no 22.

7  Era demasiado pronto para valorar la ejecución del proyecto.