II. L'ÉVALUATION À LA FAO - ARRANGEMENTS INSTITUTIONNELS, POLITIQUES ET MÉTHODES

Cadre général

4. Tous les programmes et activités de la FAO financés soit par le budget ordinaire de l'Organisation (comprenant les contributions obligatoires mises en recouvrement), soit par des ressources extrabudgétaires fournies à titre volontaire peuvent faire l'objet d'une évaluation. Les principes applicables à l'évaluation de ces programmes ont été fixés par les États Membres par l'intermédiaire des Organes directeurs et par le Directeur général. L'évaluation vise à:

1. évaluer si les résultats obtenus sont susceptibles d'avoir un impact durable et positif sur la situation des États Membres;
2. faciliter la prise de décisions par les Organes directeurs et la direction selon une approche fondée sur les résultats.

5. L'accent mis sur les enseignements à tirer, à partir de données concrètes, concernant la validité, la pertinence et l’amélioration future du contenu technique des activités de la FAO distingue l'évaluation de la vérification des comptes et assure leur complémentarité.

6. Lorsqu'il décide de la politique à suivre en matière d'évaluation, le Conseil s'adresse en priorité au Comité du Programme. Le Directeur général est conseillé par le Comité d'évaluation interne, présidé par le Directeur général adjoint, qui a été créé en 2004. Trois documents principaux ont servi de base à l'élaboration de la politique de l'Organisation en matière d'évaluation, à savoir:

1. Bulletin 2001/33 du Directeur général (novembre 2001): Renforcer le système d'évaluation à la FAO;
2. Rapport de la Réunion conjointe de la quatre-vingt-dixième session du Comité du Programme et de la cent quatrième session du Comité financier (septembre 2003) – Indépendance et emplacement du Service de l'évaluation – Analyse plus approfondie des options; et
3. Bulletin du Directeur général 2004/34 (décembre 2004): Comité d'évaluation de la FAO (interne), incluant en Annexe les décisions prises conformément aux avis de la Réunion conjointe des Comités (ci-dessus) approuvées par le Conseil.

7. Importante également a été l'approbation, en avril 2005, d'un ensemble de normes et de règles pour l'évaluation applicables dans le système des Nations Unies⁴ par le Groupe des Nations Unies pour l'évaluation (composé des chefs des services responsables de l'évaluation de tous les organismes du système des Nations Unies). Ces normes et règles sont alignées en grande partie sur les normes du CA de l'OCDE et leur objet est résumé comme suit dans un préambule: « Pour un système des Nations Unies servant mieux les peuples du monde; vaincre les faiblesses et bâtir en se fondant sur des preuves solides ». Ces normes servent désormais de référence à toutes les organisations et à tous les programmes du système des Nations Unies qui souhaitent évaluer leur performance.

8. Les évaluations effectuées à la FAO sont de plusieurs types, qui sont complémentaires, comme suit:

1. Évaluations principales à l'intention des Organes directeurs. Elles sont décidées par le Comité du Programme et couvrent: des programmes individuels, la réalisation des objectifs stratégiques tels que spécifiés dans le Cadre stratégique de la FAO; et des questions institutionnelles transversales. Elles sont au nombre de quatre ou cinq par exercice et incluent des aspects du Programme financés tant par le budget du Programme ordinaire que par des fonds extrabudgétaires, qu'il s'agisse d'activités menées au siège ou au niveaux régional et national (activités normatives et coopération technique). Des évaluations globales du travail de la FAO au niveau des pays commencent également à être effectuées;
2. Évaluations effectuées à la demande de la direction, dont les résultats peuvent éventuellement être présentés aux Organes directeurs. Il s'agit souvent d'un travail effectué au niveau des pays, notamment dans les situations d'urgence;
3. Évaluations effectuées par des équipes indépendantes de programmes et de projets extrabudgétaires spécifiques; et
4. Autoévaluation par les directeurs du travail effectué au titre du Programme ordinaire.

Rôle du Comité du Programme dans l'Évaluation

9. Le Comité du Programme reçoit les principaux rapports d'évaluation destinés aux Organes directeurs. Ses fonctions consistent à donner des avis au Conseil sur les politiques et procédures générales à appliquer en matière d'évaluation ainsi qu'à:

1. décider du programme de travail des principales évaluations;
2. recevoir et examiner les principaux rapports d'évaluation (qui sont accompagnés d'une réponse de la direction aux conclusions et recommandations). Le Comité présente au Conseil, dans son rapport, ses propres conclusions tant en ce qui concerne l'évaluation que la réponse de la direction; et
3. recevoir des rapports de situation sur la mise en œuvre des conclusions et recommandations des évaluations et communiquer ses vues au Conseil.

Le Service de l'évaluation

10. Le Service de l'évaluation est chargé d'assurer la pertinence, la qualité et l'indépendance de toutes les évaluations effectuées à la FAO. Il est situé à des fins administratives dans le Bureau du Programme, du budget et de l'évaluation, qui fait partie de la direction générale⁵. Le Service reçoit des orientations du Comité du Programme et du Comité d'évaluation interne. Il est le seul responsable de l'exécution des principales évaluations destinées aux Organes directeurs et d'autres grandes évaluations, y compris de la sélection des évaluateurs et du cadre de référence des évaluations. Il jouit par conséquent d'une grande indépendance au sein de l'Organisation. Outre ses responsabilités en matière de conduite des évaluations, le Service:

1. facilite la communication d'informations sur les résultats des évaluations individuelles et sur les enseignements à en tirer en vue d'une application plus générale;
2. suit la mise en œuvre des recommandations des évaluations acceptées par les Organes directeurs et par la direction.

11. Contrairement aux unités chargées de l'évaluation dans d'autres organismes des Nations Unies, le Service de l'évaluation appuie les autoévaluations réalisées par les gestionnaires, mais n'exerce pas de responsabilités supplémentaires dans le cadre de la gestion fondée sur les résultats afin de garantir un plus haut degré d’indépendance de ses évaluations. Il n'est pas impliqué non plus dans le renforcement des capacités d'évaluation des États Membres. En matière de formation du personnel, il communique des observations sur les besoins dans ce domaine à la Division des ressources humaines.

Budget alloué aux évaluations au sein de la FAO

12. Pour l'exercice biennal 2004-05, on constate une augmentation réelle de 27 pour cent du budget alloué à l’évaluation, qui s'est élevé à quelque 4,6 millions de dollars EU⁶ pour l’exercice biennal (soit environ 0,5 pour cent des ressources disponibles pour le Programme de travail ordinaire). Les ressources disponibles pour l'évaluation des activités extrabudgétaires sont actuellement de l'ordre de 1,3 million de dollars EU par exercice biennal (soit environ 0,25 pour cent des dépenses du fonds fiduciaire). La traduction et la reproduction des documents d’évaluation destinés aux organes directeurs et certains coûts indirects comme les locaux à usage de bureaux ne sont pas couverts par le budget de l’évaluation.

Procédure et méthodologie des principales évaluations destinées aux Organes directeurs

13. Les évaluations destinées aux Organes directeurs couvrent normalement un objectif stratégique ou une stratégie horizontale de l'Organisation, tels que définis dans le Cadre stratégique de la FAO, un programme ou une unité organisationnelle. Ces dernières années, ces évaluations ont porté le plus souvent sur des blocs d'activités importants au niveau d'un programme ou d'une stratégie, l'objectif étant qu'elles soient le plus utiles possible aux Organes directeurs et à la direction.

14. Sélection des domaines à évaluer: En proposant des domaines à évaluer au Comité du Programme dans le plan d'évaluation à évolution continue, le Service de l'évaluation tient compte des avis exprimés par les Organes directeurs et par les directeurs de la FAO. En effet, l'évaluation doit être axée sur les domaines où les Organes directeurs et la direction ont le plus besoin de disposer d'informations fondées sur les données probantes en ce qui concerne les processus, les arrangements institutionnels, les résultats et les impacts. Afin de parvenir à une couverture équilibrée et progressive des stratégies et programmes de l'Organisation, les propositions seront formulées en gardant présents à l'esprit les facteurs clés ci-après: a) la couverture des évaluations des six dernières années; b) la couverture des autoévaluations et d'autres études. Les critères incluent également: la taille du programme ou du domaine de travail; la demande émanant des États Membres; et les domaines de travail dont l'expansion est envisagée en raison de leur pertinence ou de leur utilité, ou, au contraire, dont la suppression ou la réduction est prévisible. Lorsque la direction et les Organes directeurs sont d'accord pour penser qu'une activité particulière n'a plus à être considérée comme prioritaire, il est rare qu'une évaluation soit effectuée, dans la mesure où, tout en étant pertinente sur le plan des responsabilités, elle ne fournirait sans doute pas d'enseignements pour l'avenir. Le Comité du Programme décide des priorités en matière d'évaluation à partir d'une liste de domaines possibles et peut en introduire d'autres qu'il considère comme importants. Il peut aussi demander des évaluations qui ne sont pas prévues dans le cycle ordinaire des évaluations, mais qu'il juge opportunes; dans ces conditions, le plan est modifié pour intégrer ces évaluations.

15. Cadre de référence pour l'Évaluation: Le Service de l'évaluation rédige un document d'orientation pour chaque évaluation en consultation avec les unités les plus étroitement impliquées dans l'exécution de la stratégie ou du programme. De plus en plus souvent, un chef d'équipe est ensuite sélectionné et participe à la mise au point définitive du cadre de référence.

16. L'Équipe chargée de l'évaluation: Dans le passé, la plupart des évaluations étaient dirigées par des fonctionnaires du Service de l'évaluation, mais depuis deux ans, on constate que de plus en plus souvent, les évaluations sont confiées à des consultants externes et que l'équipe chargée de l'évaluation est elle-même composée de consultants externes, le Service de l'évaluation assurant le soutien technique et l'assurance de qualité. Les consultants chargés de l'évaluation⁷ sont sélectionnés en fonction de leurs compétences, dans le respect de l'équilibre géographique et de la parité hommes-femmes. Chaque fois que possible, les chefs d'équipe sont consultés sur la composition de leur équipe. La dimension des équipes est liée à l'échelle et à la complexité de l'évaluation, avec une moyenne de trois à quatre consultants principaux par équipe.

17. Portée et méthodologie de l'évaluation: Les méthodes utilisées sont adaptées aux circonstances particulières de chaque évaluation. Toutefois, certaines caractéristiques sont communes à toutes les évaluations. Le critère ultime de la valeur d’un programme, d'une stratégie ou d'un processus est le profit qu'en tireront le gouvernement et la population du pays membre de la FAO. Les aspects clés à évaluer sont les suivants:

1. changements dans l'environnement externe dans lequel la FAO fonctionne;
2. pertinence par rapport aux besoins et priorités des États Membres et de la communauté internationale;
3. fonctionnalité et clarté des objectifs, des stratégies, de la conception et du plan d'exécution, compte tenu de ces besoins et priorités;
4. efficacité et efficience des processus suivis;
5. capacités et faiblesses institutionnelles, notamment culture institutionnelle et globalité du processus;
6. qualité et quantité des produits, par rapport aux ressources déployées;
7. qualité et quantité des résultats (effets) des activités et des produits par rapport aux ressources déployées;
8. impacts sur la sécurité alimentaire, la nutrition, le bien-être économique et social, l'environnement, etc. et leur durabilité au profit des générations actuelles et futures; et
9. avantages comparatifs de la FAO pour répondre aux besoins prioritaires.

18. Les évaluations doivent fournir des enseignements pour l'avenir. Il importe donc d'identifier les atouts et les faiblesses des programmes, approches et structures de la FAO tournés vers l'avenir. En examinant l'efficacité et l'impact des programmes, on constate généralement qu'il est plus productif de prendre en compte les résultats et l'impact des travaux achevés ou en cours depuis quatre à six ans (pour des périodes plus longues, il devient difficile de trouver des renseignements détaillés et d'établir les liens de cause à effet). S'agissant de questions institutionnelles, les évaluations sont en général plus centrées sur l'efficience et l'efficacité des pratiques actuelles, plutôt que des pratiques passées, ainsi que sur les avantages potentiels des réformes en cours.

19. Des études théoriques préliminaires et une analyse FFPM⁸ sont jugées indispensables au stade de la conception des évaluations et de l'identification des questions nécessitant une étude approfondie. L'introduction en 2000 d'un nouveau modèle de planification fondée sur les résultats a facilité l'identification des résultats et des impacts (objectifs) poursuivis, mais il demeure essentiel de préciser la logique du programme dans une première étape du processus d'évaluation, et de définir des indicateurs de vérification appropriés.

20. Les évaluations passent en revue le travail d'autres institutions comparables à la FAO, notamment dans le système multilatéral. Ceci est important pour avoir des repères en matière de processus, de qualité du travail, etc. Dans la mesure où la performance de la FAO ne peut être jugée indépendamment de ses partenaires et concurrents, il est aussi indispensable de porter un jugement sur les domaines où la FAO possède un avantage comparatif, ou pâtit au contraire d'une relative faiblesse.

21. En ce qui concerne la méthodologie:

1. les évaluations impliquent la consultation des parties prenantes. L'équipe doit donc contacter un échantillon de pays et de partenaires, envoyer des questionnaires et organiser des ateliers;
2. l'information est recueillie en menant des recherches et en effectuant des enquêtes ou lors d'entrevues avec des groupes de réflexion ou des particuliers en établissant des listes de contrôle. Outre les questions ouvertes, les questionnaires peuvent recourir aussi à des questions fermées fondées sur recherches minutieuses qui facilitent les statistiques;
3. l'impact et la durabilité ont toujours été les principaux critères utilisés par les équipes d'évaluation. Compte tenu de la contribution relativement minime de la FAO aux processus de développement, aux niveaux national et mondial, les principales questions ont trait à la mesure dans laquelle elle contribue à une série plausible de causes et d'effets. Des études d'impact utilisant un échantillon distinct ont été introduites pour les évaluations au niveau des pays et peuvent faire partie de certaines évaluations de programme;
4. les projets et entités du Programme ordinaire sont notés par l'équipe chargée de l'évaluation sur les aspects suivants: pertinence; conception; exécution; processus; produits; résultats; impact durable. Il s'agit de faciliter la comparaison entre les conclusions des évaluations et la macroanalyse des tendances et des forces et faiblesses; et
5. l'examen par les pairs est utilisé pour identifier les questions à évaluer et obtenir des avis supplémentaires avant de formuler les conclusions de l'évaluation.

22. Le rapport d'évaluation: La méthodologie exige que l'équipe chargée de l'évaluation consulte les parties prenantes, dont la direction de la FAO, bien que l'équipe soit seule responsable de son rapport, y compris des conclusions et recommandations. Le rôle du Service de l'évaluation est d'assurer le respect du cadre de référence et du calendrier et de fournir un appui technique à l'évaluation. Il n'a pas à intervenir dans la formulation des conclusions et recommandations. De plus en plus souvent, les chefs des équipes d'évaluation indépendante externe assistent aux séances où le Comité du Programme examine les rapports.

23. Tous les rapports d'évaluation sont disponibles dans toutes les langues de l'Organisation et affichés sur le site web consacré à l'évaluation. Le rapport doit présenter les recommandations sous une forme opérationnelle et inclure des recommandations concernant les améliorations à apporter qui ne supposent pas de ressources budgétaires accrues (on constate, en effet, que les équipes chargées de l'évaluation formulent presque toujours des propositions impliquant des activités et des ressources supplémentaires dans le domaine évalué, ce qui n'est pas toujours réaliste).

24. Suivi: Le Comité du Programme demande à la direction d'indiquer pour chaque évaluation quelles sont les conclusions et recommandations qu'elle accepte et celles qu'elle rejette, et pourquoi. Il demande également à la direction, dans le cadre de la réponse de la direction, de fournir un plan opérationnel pour la suite qu'elle prévoit de donner à l'évaluation. Il s'agit d'un domaine qui a considérablement progressé au cours des dernières années et le Comité du Programme a souligné qu'il souhaitait obtenir des réponses formulées de manière plus opérationnelle. Le Comité du Programme demande également un rapport de situation sur la suite donnée aux recommandations de l'évaluation après deux ans.

Évaluation des programmes extrabudgétaires

25. L'Organisation a pour politique de faire évaluer tous les programmes, y compris ceux financés par des ressources extrabudgétaires, mais dans ce domaine la règle généralement acceptée est que les programmes consacrent 1 à 2 pour cent du montant total de leurs ressources à une évaluation indépendante⁹. Les Organes directeurs ont aussi indiqué qu'ils ne souhaitaient pas que le Programme ordinaire subventionne l'évaluation d'activités extrabudgétaires. Soixante et un pour cent des projets de terrain de fonds fiduciaires bilatéraux d'un montant supérieur à 2 millions de dollars EU (à l'exclusion des projets de secours d'urgence) qui se sont achevés pendant la période 2000-04 ont été évalués. Le pourcentage correspondant pour les projets du PNUD est de 27 pour cent (du fait que le PNUD évalue désormais les programmes par pays au lieu de projets individuels), tandis qu'aucun des 14 projets de fonds fiduciaires unilatéraux financés par les pays eux-mêmes n'a été évalué. Comme on peut s'y attendre, les chiffres sont bien inférieurs pour les projets d'un montant de 1 à 2 millions de dollars EU. Sur 53 projets de secours d'urgence d'un montant supérieur à 1 million de dollars EU, deux seulement ont été évalués séparément.

26. Des projets extrabudgétaires ont été évalués par des missions d'évaluation tripartites, normalement vers la fin du projet, au moment où on envisageait des mesures de suivi. Ces missions comprenaient trois ou quatre évaluateurs indépendants désignés respectivement par la source de financement, le ou les pays bénéficiaires et la FAO. Toutefois, vu l'évolution de la situation au cours des dernières années, ce modèle n'est plus vraiment applicable. Il existe, en effet, de plus en plus de projets de terrain relativement modestes et, dans ce cas, une mission comme celle décrite ci-dessus n'est plus rentable. Par ailleurs, les programmes de secours d'urgence, de remise en état et de redressement se sont multipliés, avec des ressources provenant de divers donateurs, pour répondre aux situations de crise. Les projets non traditionnels à l'appui des activités du siège, ou comportant un ensemble d'activités normatives et de terrain au niveau du pays, se multiplient aussi.

27. Projets de développement national et régional de 2 millions de dollars EU ou plus: Il est entendu désormais que ce type de projet doit continuer à faire l'objet d'une évaluation individuelle par une équipe indépendante. Cette modalité inclut toujours une visite dans le pays de la part de l'équipe chargée de l'évaluation et l'évaluation est programmée de façon à apporter une contribution maximale aux activités appuyées par le projet. Le Service de l'évaluation approuve le cadre de référence de l'évaluation et la composition de l'équipe qui en est chargée et valide le rapport d'évaluation qui doit répondre à des normes de qualité.

28. Projets de développement de terrain d'un montant inférieur à 2 millions de dollars EU: Pour ce type de projet, des consultations ont lieu en ce moment avec des donateurs individuels, afin de les convaincre de mettre de côté une somme modeste pour chaque projet et de la placer dans un fonds fiduciaire pour l'évaluation spécifique à chaque donateur. En consultation avec le donateur, des groupes de projets seraient ainsi évalués par des équipes indépendantes, éventuellement dans le cadre d'évaluations plus vastes, par pays ou par thème¹⁰. L'évaluation des projets relevant du Programme de coopération technique de la FAO est déjà soumise à ce régime, ce qui facilite l'évaluation a posteriori, ainsi que l'évaluation des projets en cours.

29. Projets d'urgence de grande ampleur: Pour ce type d'opération, la FAO a besoin d'évaluer de manière intégrée la pertinence, l'efficience et la durabilité de sa réaction à l'ensemble des problèmes liés à cette situation. À ce jour, on utilise un financement ad hoc¹¹, mais la direction a décidé d'introduire désormais dans les budgets de projet une composante évaluation qui permettra de disposer de ressources pour évaluer la réaction de la FAO tant durant la fourniture de l'assistance qu'après. Bien que les premières évaluations des opérations d'urgence de grande ampleur n'aient pas été effectuées en consultation, à proprement parler, avec les donateurs ou les pays touchés, il est prévu que chaque fois que possible, les évaluations soient menées en partenariat, tout en continuant à être gérées par le Service de l'évaluation. L'évaluation multilatérale indépendante de la campagne 2003-05 contre le criquet pèlerin, qui porte sur la réaction de la FAO, des programmes nationaux et des donateurs et qui est supervisée par un comité directeur composé de représentants de tous les partenaires, pourrait fournir des enseignements utiles à ce sujet.

30. Pour le financement de programmes extrabudgétaires à l'appui de domaines de travail relevant du Programme ordinaire, ou lorsque des activités normatives et de développement sur le terrain sont associées, des mécanismes d'évaluation adaptés à chaque programme sont en cours d'élaboration, en collaboration avec les donateurs individuels.

31. Une réponse de la Direction générale et un suivi de la mise en œuvre des recommandations sont nécessaires pour l’évaluation des programmes extrabudgétaires, de même que pour les activités du Programme ordinaire, mais on reconnaît généralement qu’il s’agit d’un point faible et que l’utilisation effective des conclusions et recommandations dépend en grande partie de la mesure dans laquelle les différents partenaires de l’évaluation acquièrent la conviction de leur validité, et, par conséquent, les appliquent.

32. Équipes d'évaluation: Pour toutes les évaluations d’activités extrabudgétaires, on fait appel à des équipes indépendantes. Il leur est demandé d’adopter une approche consultative afin d'avoir accès au maximum d'informations et de favoriser à la fois le réalisme et l'attachement des partenaires à l'évaluation, mais elles ont l'entière responsabilité des conclusions et recommandations qui figurent dans leur rapport. Par le passé, pour les évaluations d’activités financées par des fonds extrabudgétaires, les membres des équipes étaient généralement nommés séparément par les sources de financement, les pays bénéficiaires et la FAO. On préfère maintenant que toutes les parties s’accordent sur la composition de l’équipe d’évaluation, sans que les divers membres de celle-ci en soient les représentants particuliers.

Autoévaluation

33. Avec un appui financier du Département du développement international du Royaume-Uni, l'autoévaluation a été adoptée à la FAO en 2003 dans le cadre de la gestion axée sur les résultats. Les autoévaluations sont menées par les directeurs de programmes avec des consultants externes. Les principes de base et directives, l’assurance de la qualité et l’appui technique aux responsables sont dispensés par le Service de l’évaluation¹². Le gestionnaire chargé de l’entité de programme est en dernier ressort responsable du rapport d’autoévaluation. Les supérieurs auxquels ils rendent compte, d’ordinaire un directeur de division ou un sous-directeur général, sont tenus d’apporter une réponse officielle à l’autoévaluation, bien que ce stade ultime du processus n’ait pas été pleinement opérationnel. Les autoévaluations doivent maintenant être communiquées sous forme résumée par l’intermédiaire du Rapport sur l'exécution du Programme et les résumés peuvent être consultés sur le site Web de l'évaluation de la FAO.

34. À partir de 2005, l'autoévaluation a été étendue aux Domaines prioritaires pour une action interdisciplinaire (DPAI) et, à titre pilote, aux domaines administratifs. Dix-neuf autoévaluations, portant sur 28 entités de programme, ont été entreprises en 2004. Pour 2005, 16 autoévaluations ont été décidées pour les programmes techniques. Un DPAI et un programme non technique font l’objet d’autoévaluations à titre d’études pilotes.

35. Le principe est que toutes les entités de programme devraient faire l’objet soit d’une évaluation externe indépendante, soit d’une autoévaluation pendant leur durée d’activités et que les entités de programme ayant une durée déterminée devraient, en règle générale, être évaluées peu avant leur achèvement afin de favoriser la planification des activités futures. Néanmoins, en raison des changements de priorités et de contraintes budgétaires permanentes, des questions se posent quant à savoir s’il faut étoffer certains domaines d’activités et en réduire d’autres, quelle que soit la durée prévue des entités de programme. Un accent considérable est donc mis sur la sélection des activités devant faire l’objet d’une autoévaluation lorsque des changements d’orientation majeurs sont envisagés, qu’il s’agisse d’une expansion ou d’une réduction.

36. Le Service de l’évaluation a analysé les données d’expériences issues de la première série d’autoévaluations, notamment en distribuant un questionnaire aux intéressés. Le diagramme 2 récapitule les réponses relatives à l’utilité de l’autoévaluation telle qu’elle est perçue. On peut constater que tous les sous-directeurs généraux l’ont considérée comme utile. Quant aux directeurs, 33 pour cent l'ont jugée très utile, 58 pour cent utile et 8 pour cent seulement ont estimé qu'elle n’apportait pas d'avantages significatifs. Dans l'ensemble, les responsables de tous niveaux ont estimé que le processus d'autoévaluation était soit utile, soit très utile.

Diagramme 2: Utilité de l’autoévaluation aux yeux des gestionnaires

37. Étant donné que les autoévaluations relèvent de la responsabilité des directeurs directement concernés, il est assez rare qu'elles soient très critiques. Il est apparu aussi que les conclusions sont prises en compte par les responsables des entités de programme durant l'autoévaluation, mais ne sont pas nécessairement reflétées dans les rapports. Les rapports d'autoévaluation établissent cependant si les entités ont été en mesure de contribuer de façon significative aux résultats et aux effets, ce qui, en soi, est une information utile pour les directeurs de haut niveau. En cas de consultation directe des partenaires et des utilisateurs durant le processus d'autoévaluation, l'examen critique et parfois la vérification des avantages étaient mieux assurés que lorsque le processus de consultation était essentiellement interne. On a également constaté que le recours à des consultants ou des experts extérieurs améliorait à la fois l’objectivité et le sens critique durant le processus d’évaluation.

38. Il est encore trop tôt pour analyser l’incidence de l’autoévaluation sur la planification effective des entités de programme et il sera toujours difficile de déterminer dans quelle mesure les responsables ont apporté des changements en réponse aux autoévaluations ou bien dans quelle mesure les autoévaluations traduisent des changements qui avaient été décidés de manière indépendante. Un grand nombre de responsables concernés ont conclu dans leur autoévaluation que la conception des entités de programme et leur mise en application effective devaient être améliorées grâce à l’indication des résultats attendus et des bénéficiaires visés. Beaucoup d’entre eux ont estimé qu’une plus grande proportion des ressources devait être utilisée pour diffuser les produits, en particulier les publications, plutôt que consacrée à leur seule production. En outre, on a beaucoup insisté sur la nécessité d’améliorer les possibilités d’accès par le site Web de la FAO.

Autoévaluation de l’Évaluation

39. Le Service de l’évaluation est en train de parachever son propre rapport d’autoévaluation de l’évaluation à la FAO, portant en particulier sur le fonctionnement du Service proprement dit. Dans le cadre de cette autoévaluation, un examen a été entrepris par des pairs d’autres institutions du système des Nations Unies et d’organisations bilatérales de développement. Des entretiens structurés ont été organisés avec des groupes de parties prenantes internes et certains représentants des gouvernements. Un échantillon représentatif de rapports d’évaluation a été envoyé aux pairs pour examen selon leurs propres critères. Les principales conclusions auxquelles a abouti le processus d’autoévaluation ont été les suivantes:

1. Le retour d’informations nécessitait une attention accrue. C’est pourquoi le site Web de l’évaluation de la FAO est régulièrement amélioré, tant en ce qui concerne la facilité d’utilisation que pour ce qui est de l'accès à la documentation. Des résumés destinés à tous sont en préparation pour les principales évaluations présentées aux organes directeurs et le premier de ceux-ci est reproduit à l’Annexe IV au présent document. Pendant de nombreuses années, des ateliers ont été organisés pour l’examen des conclusions et recommandations, et cette activité est encore renforcée. Les fonctionnaires chargés de l’évaluation sont encouragés à aider, à la demande de leur supérieur direct, à la préparation de plans immédiats pour le suivi, mais au-delà de ce stade, leur participation à cette activité pourrait à la fois déboucher sur un conflit d’intérêts et ôter des ressources rares aux activités d'évaluation. Le lien avec la formation du personnel peut également être renforcé.
2. Le site Web de l’évaluation de la FAO pourrait être utilisé davantage comme source d’informations et d’enseignements par les usagers tant internes qu’externes. Comme il a été dit plus haut, on s’efforce en permanence à la fois d’améliorer la facilité d’accès et d’étoffer la gamme des informations disponibles sur le site, mais le Service de l'évaluation est conscient que les utilisateurs ne cherchent pas toujours activement des informations et il s’efforce actuellement de les rendre publiques et de les présenter sous une forme aisément utilisable.
3. Les méthodes d’évaluation n'étaient pas suffisamment décrites et il était donc difficile d’évaluer leur conformité intégrale aux meilleures pratiques. Le Service de l'évaluation est attaché à la rentabilité de l'évaluation et les pratiques les plus intensives de compilation de l’information ne sont pas nécessairement toujours appropriées ou réalisables (il faut parfois établir des éléments de données en procédant au mieux par approximation et en se conformant aux probabilités raisonnables, en particulier lorsqu’on travaille sur les effets). On s’efforce en permanence à la fois de tirer les enseignements de l’expérience d’autres instances dans le domaine des bonnes pratiques et d’améliorer les méthodes internes. La documentation relative aux méthodes utilisées est améliorée d'une part par le matériel consultable sur le site Web et d'autre part grâce à la présente section du Rapport d'évaluation du Programme.
4. Rapports d’évaluation: Plusieurs des examinateurs externes ont estimé que les rapports d’évaluation devaient être améliorés au point de vue de la description des méthodes utilisées et de l’insertion d’annexes relatives, par exemple, aux personnes interrogées. Cette observation semblait émaner d’institutions où les rapports étaient essentiellement internes et n’étaient pas publiés dans diverses langues. Le Service de l’évaluation présentera un document au Comité du Programme à sa prochaine session afin d’obtenir un retour d’informations sur la forme jugée la plus utile par les organes directeurs pour les rapports d’évaluation, mais il est peu probable que l’on arrive à la conclusion que les rapports devraient être plus longs qu’actuellement.
5. Situation institutionnelle du Service de l’évaluation: Le Groupe d’examinateurs externes, les représentants des gouvernements, ainsi que les fonctionnaires et les gestionnaires de la FAO ont exprimé leurs vues sur le rattachement du Service de l’évaluation au Bureau du programme, du budget et de l'évaluation. La Direction générale a estimé que ce rattachement présentait des avantages pour le retour d’informations et la mise à profit des enseignements de l’évaluation pour le Programme ordinaire et qu’il facilitait le contrôle administratif, sans perte d’indépendance. Le Groupe d’examinateurs externes et la plupart des autres parties prenantes ont estimé que les inconvénients tenaient à l’idée qu’on se faisait, aussi bien au sein qu’à l’extérieur de l’Organisation, de l’indépendance limitée du Service et aux questions de facilité d’accès aux autres unités de l’Organisation, avec lesquelles le Service doit travailler. Ils ont conclu qu’il serait préférable que le Service soit rattaché, en tant qu’unité distincte, à la Direction générale, la supervision étant assurée par le Directeur général adjoint en sa qualité de Président du Comité d'évaluation interne¹³.
6. Transparence de la sélection des évaluateurs: Il a été observé qu’il n’y avait pas de concours de sélection des évaluateurs et que les critères de sélection n’étaient pas clairs. Le Service de l'évaluation vient de commencer à publier des avis pour les postes de responsable de l'équipe d'évaluation et de membres de celle-ci sur le site Web et à rendre publics les critères de sélection. En outre, les responsables d’équipes d’évaluation sont autant que possible associés à la sélection de l’équipe d’évaluation.
7. Approche générale de l’évaluation: Le Groupe d’examinateurs externes a conclu que l’évaluation était excessivement centrée sur la FAO et destinée principalement à la Direction et aux organes directeurs et qu'elle n'était pas directement utile pour les États Membres et que ces derniers n'y étaient pas suffisamment associés. Cette remarque n’a pas été acceptée comme valable par le Service de l’évaluation. Le programme des évaluations de pays associe complètement le pays et aboutit à l’établissement d’un rapport destiné à la fois au pays et à la FAO et aux autres partenaires concernés. Pour les évaluations des programmes et des stratégies, des évaluateurs des principaux groupes de pays bénéficiaires sont associés complètement à ces activités et les rapports visent à améliorer les résultats obtenus par la FAO au service des ses Membres.