CHAPITRE DEUX
Principes généraux

IRD/M.C. Dop

Ce chapitre met l'accent sur les possibilités d'utilisation et les limites des indicateurs, sur le processus de collecte et d'analyse des données correspondantes, sur la façon de les sélectionner, et notamment sur les compromis nécessaires entre l'intérêt de bénéficier d'une information et son coût ou sa difficulté de recueil.

Nature des indicateurs

Les indicateurs de la situation nutritionnelle

Des indicateurs d'état:

Les priorités d'action en nutrition doivent être définies sur la base d'informations pertinentes concernant en premier lieu l'état nutritionnel de la population.

Ces informations vont être fournies par des indicateurs d'état permettant de caractériser chaque type de malnutrition, qu'on reliera ensuite aux caractéristiques de personnes, de temps et de lieux, afin d'avoir une indication du niveau de risque des différents groupes de la population et de dégager ainsi une vision globale de la situation.

Il est difficile de définir de manière précise l'état nutritionnel d'une personne, a fortiori d'une population. Il s'agit d'un concept global que l'on ne peut appréhender qu'au travers d'une série de caractéristiques cliniques, physiques ou fonctionnelles qui peuvent constituer autant d'indicateurs potentiels si on leur attribue une valeur seuil permettant de séparer les individus malnourris des bien-nourris. Ce travail a été réalisé - et fait l'objet d'un consensus - principalement dans les domaines de la malnutrition des enfants et des adultes, et de trois micronutriments dont les carences sont largement répandues et dont les conséquences sont graves sur le plan de la santé des individus (vitamine A, iode et fer).

On procède d'abord à la mesure des paramètres ou indices correspondants au niveau individuel (par exemple poids, tour de bras, taux d'hémoglobine, etc.). Puis on exprime l'information, à l'échelle du groupe de population concerné, sous la forme de taux de prévalence, c'est-à-dire de pourcentages d'individus bien- ou malnourris pour la forme de malnutrition considérée, en fonction des seuils choisis. Par exemple: % d'enfants d'âge préscolaire ayant un indice 'poids-âge' <-3 Z-scores ou <-2 Z-scores; ou % d'adultes ayant un indice de masse corporelle <18,5, ou <16,0 kg/m², etc.

L'utilisation et l'interprétation de ces indicateurs d'état sont actuellement bien établies. Pour autant, il est prudent de s'adresser à un spécialiste pour leur choix comme pour leur interprétation, ces indicateurs reflétant par exemple selon les cas un risque probable (simple déviation par rapport à une norme) ou un risque avéré (déficit fonctionnel reconnu) de carence en un nutriment, ou encore une histoire récente ou ancienne, aiguë ou chronique, de malnutrition (maigreur, retard de croissance en taille, chez le jeune enfant). Certains sont peu utiles au niveau individuel, mais très utiles au niveau de la population. Enfin certains indicateurs seront plus utiles que d'autres pour prévoir le bénéfice d'une intervention éventuelle.

Des indicateurs des causes:

Une fois que l'on connaît l'état nutritionnel de la population et sa répartition géographique ou socio-économique, et que l'on s'est fixé des objectifs d'amélioration, il est nécessaire d'avoir des informations sur les déterminants de cette situation; c'est-à-dire sur les facteurs, événements ou caractéristiques susceptibles de conditionner à un niveau quelconque l'état nutritionnel des individus au sein de cette population. Il sera alors possible de définir une stratégie d'action visant à modifier un certain nombre de ces facteurs pour améliorer la situation dans le sens des objectifs fixés.

La plupart des Grandes Réunions Internationales depuis les années 1990 se réfèrent au même cadre général d'analyse des différents types de causes, et à une classification en fonction du niveau d'intervention (ACC/SCN, 2000). Si les causes immédiates sont en général une insuffisance quantitative ou qualitative de la ration alimentaire ou une maladie, habituellement d'origine infectieuse, ces événements sont bien évidemment reliés à une cause eux aussi; de proche en proche, ce sont de véritables 'chaînes de causalité' que l'on met en évidence.

On peut simplifier la classification de ces enchaînements de causes en trois grandes catégories:

a) l'insécurité alimentaire

Dans cette première catégorie, on inclut les problèmes de production ou d'approvisionnement alimentaires au niveau du pays, des régions et des ménages et les problèmes d'accès des familles et communautés à des produits alimentaires de bonne valeur nutritionnelle, notamment en termes de pouvoir d'achat. Ce secteur comprend un éventail très large d'indicateurs potentiels dans les domaines de la production agricole, de la commercialisation et de la consommation alimentaires. Un certain nombre font l'objet d'un recueil régulier dans le cadre des systèmes d'information des ministères de l'agriculture et du commerce.

b) l'hygiène du milieu, l'accès aux services de santé

Les aspects d'hygiène du milieu font appel à la fois à l'approvisionnement en eau et en produits alimentaires sains, à l'assainissement du milieu sous toutes ses formes, et aux modes de vie des populations elles-mêmes; les aspects 'santé' incluent le secteur des maladies infectieuses et parasitaires d'une part, celui des systèmes de santé et de leur fréquentation d'autre part. En général, les différents services du ministère de la santé procèdent au recueil des indicateurs correspondants; un certain nombre ont constitué la base des systèmes d'information sanitaire mis en route dans le cadre de l'application de la politique des soins de santé primaire depuis les années 1980, et remis à jour en 1996 (WHO, 1981; 1996 b).

c) soins et prise en charge

La notion de soins ('caring') et la capacité de prise en charge concernent aussi bien la prise en charge au niveau familial, que les aspects plus larges de la solidarité et de la protection sociales au niveau des communautés ou au niveau national. Cela recouvre ainsi l'ensemble des soins maternels et infantiles, mères et enfants constituant les principaux groupes à risque; mais également les attitudes et pratiques des membres du ménage ou de la communauté vis à vis des plus vulnérables sur le plan social (temps disponible, répartition alimentaire, soutien affectif et matériel) et le niveau d'éducation des pourvoyeurs de soins en général. Les indicateurs de ce type ne sont pas souvent recueillis de manière régulière ni facilement accessibles, quand ils existent, à un niveau central bien identifié. De fait, il faut, la plupart du temps, compléter l'information disponible par des enquêtes spécifiques auprès des communautés, en privilégiant une approche qualitative.

Les causes les plus fondamentales de malnutrition résident cependant bien souvent hors du champ de la nutrition et des éléments de causalité que l'on vient de passer brièvement en revue: elles sont liées naturellement aux niveaux de ressources potentielles des pays (ressources énergétiques, climat), mais aussi à tous les facteurs qui en conditionnent l'utilisation, comme par exemple la gestion de la densité de population par rapport aux ressources disponibles, la pauvreté, les inégalités sociales, les effets secondaires des politiques macro-économiques de croissance ou d'ajustement structurel, les migrations vers les villes, etc. Il est donc nécessaire d'inclure également, dans toute analyse causale d'une situation nutritionnelle à un niveau national, des indicateurs agro-écologiques et socio-économiques fondamentaux. Ils sont en général disponibles auprès des services des grands ministères, du Plan notamment.

Pour le suivi des politiques et programmes de nutrition

A partir d'une évaluation actualisée de la situation nutritionnelle du pays, et au vu des différentes causes de malnutrition identifiées à tous niveaux, les politiques de nutrition ont pour fonction de fixer des priorités, de les traduire en objectifs généraux, puis en stratégies et programmes ayant chacun des objectifs spécifiques.

La figure ci-dessus, initialement élaborée au sein du Fonds des Nations Unies pour l'Enfance (UNICEF, 1990), puis endossée par de nombreux experts et reprise depuis par l'ensemble des organisations internationales, illustre de façon schématique l'articulation générale des ensembles de causes qui sous-tend généralement l'analyse conceptuelle de la «sécurité nutritionnelle» (c'est-à-dire la sécurisation d'un bon niveau nutritionnel par la maîtrise des différentes causes de malnutrition, notamment les causes sous-jacentes); cette analyse doit cependant être réalisée de façon plus spécifique pour chaque situation locale, ainsi que le choix des indicateurs appropriés correspondant à chaque niveau de causes et à chaque secteur.

L'établissement d'un programme consiste à définir quelles ressources matérielles et humaines il va falloir mobiliser, de quelle façon, pour faire quoi, et comment en définitive cela va modifier la situation de départ. Le suivi de ces Politiques et programmes va donc faire appel à trois types distincts d'évaluations selon qu'il s'agira de suivre l'application des programmes, d'en évaluer l'impact ou de suivre les tendances de l'évolution générale de la situation nutritionnelle.

a) suivre l'application d'un programme

Il est question ici d'une évaluation des procédures; c'est-à-dire qu'on évalue le degré de réalisation des objectifs opérationnels^[4]. Pour être sûr en effet qu'un programme ait contribué à changer une situation, il faut d'abord être certain que le programme ait fonctionné selon le protocole prévu. Cette évaluation repose sur des indicateurs d'application de l'intervention élaborés dès la conception du programme, et dont on vérifie à chaque étape qu'ils sont atteints, partiellement ou en totalité.

Tout programme d'intervention se compose d'une série d'opérations ayant un but spécifique. A chacune de ces opérations va correspondre un ensemble d'indicateurs permettant d'évaluer la quantité ou la qualité de l'opération effectuée.

Ces indicateurs peuvent concerner le taux de couverture de la population cible par le programme, le nombre de séances de formation mises en place, le pourcentage de ménages ayant bénéficié de l'accès à tel ou tel service créé pour eux, etc.

En général ces indicateurs sont concrets, et faciles à identifier dès lors que les tâches à accomplir dont ils rendent compte ont été correctement définies; ils sont totalement dépendants des aspects opérationnels spécifiques de chaque programme et ne peuvent donc être définis indépendamment, à l'avance, et selon un canevas très général. Il est fait un large usage d'indicateurs qualitatifs dans la mesure où ce n'est pas seulement le niveau des activités mais leur qualité qui est aussi mesurée. Il ne sera pas directement question ici de ce type d'évaluation ni des indicateurs d'application correspondants.

b) évaluer l'impact d'un programme

On utilise là des indicateurs de résultats; ils vont mesurer la capacité du programme à modifier la situation, ainsi que ses éventuels effets indésirables, prévus ou non. Il peut s'agir des résultats intermédiaires correspondant à chaque étape, comme du résultat final du programme.

L'évaluation d'un programme repose sur une comparaison chronologique des indicateurs, avant et après la mise en oeuvre du programme. Cependant, à moins de programmes très spécifiques et très ciblés, l'interprétation peut être difficile, car d'autres facteurs que ceux apportés ou modifiés par le programme ont pu varier dans le même temps et contribuer à l'effet apparent du programme.

Si les conditions fluctuent au cours du temps (changement des conditions climatiques, production alimentaire variant d'une année sur l'autre), si les mesures sont effectuées à des intervalles de temps très longs, ou si l'intervention projetée est de nature générale, il devient d'autant plus difficile d'attribuer les effets observés au seul programme.

Si le programme consiste en la généralisation d'une intervention dont l'efficacité a été prouvée par ailleurs, sur le plan expérimental, l'interprétation causale en est simplifiée. S'il repose sur des hypothèses fortes mais non encore vérifiées, il est plus difficile de lui attribuer automatiquement les effets observés^[5]. Dans la mesure, toutefois, où des indicateurs des différents facteurs susceptibles d'intervenir ont été enregistrés avant et après la réalisation du programme, on peut utiliser au cours de l'analyse des méthodes statistiques d'ajustement pour améliorer l'interprétation; d'où l'importance de recueillir ces indicateurs complémentaires.

On peut, ensuite, procéder à une comparaison entre deux zones, l'une avec application du programme, l'autre non (groupe témoin externe). Cela pose alors le problème de la comparabilité initiale des deux zones: là encore, il sera utile de recueillir un certain nombre d'indicateurs du niveau de risque pour vérifier de manière suffisamment approfondie cette comparabilité. Alternativement, on peut comparer deux zones avec un niveau d'application inégal du programme (groupe témoin interne), ou plus simplement encore, comparer des groupes d'individus ou de ménages qui n'ont pas bénéficié au même niveau du programme, le niveau d'atteinte des individus-cibles par les programmes étant en général variable.

Dans l'idéal, on procède selon un schéma de type expérimental, avec tirage au sort des individus ou des zones qui seront ou non soumis à l'intervention. C'est en effet la façon la plus rigoureuse de procéder pour conclure à l'effet propre d'un programme d'intervention. Mais il est généralement impossible d'utiliser un tel protocole expérimental soit par suite de l'hétérogénéité de la population cible et de sa taille, soit à cause de la complexité du projet, soit encore pour des raisons d'éthique, de contraintes de temps ou d'argent, ou plus simplement du fait de risques élevés de 'contamination' par des éléments du programme entre zones très proches.

De fait, dans la plupart des cas on se contentera d'une évaluation de l'effet brut, qui permette de juger de l'adéquation du programme aux objectifs, ce qui peut être considéré comme suffisant par les responsables. On pourra rechercher les éléments qui permettent de formuler une hypothèse vraisemblable de causalité de cet effet, mais sans en rechercher la preuve absolue, là encore un jugement de plausibilité de l'efficacité du programme pouvant apparaître suffisant aux responsables. De ce point de vue, une évaluation reposant sur des mesures répétées aura plus de poids qu'une évaluation avant/après reposant sur deux seules mesures assez éloignées.

Ces éléments seront utiles chaque fois qu'il faudra décider si le programme doit être poursuivi ou arrêté: on établira un faisceau d'éléments convergents, basé sur les indicateurs disponibles, pour conclure ou non à la plausibilité de son efficacité.

Souvent, pour des raisons budgétaires, un programme ne peut être appliqué d'emblée dans la totalité des zones ciblées; celles-ci seront incorporées progressivement dans le programme. Le relevé des indicateurs nécessaires pourra cependant être réalisé avantageusement dans toute ces zones dès le départ; on bénéficiera ainsi d'éléments de comparaison à la fois entre zones sous- et hors programme et avant- et après programme, qui permettront de renforcer toute recherche de plausibilité de l'efficacité de cette intervention. La mesure de la durabilité en sera par ailleurs facilitée (mesure simultanée de l'effet dans des zones ayant bénéficié du programme pour des durées de plus en plus longues).

L'intérêt de l'évaluation n'est pas seulement de vérifier l'impact, mais aussi de permettre d'adapter le programme à des conditions qui changent.

c) suivre l'évolution générale de la situation nutritionnelle

En matière d'évaluation d'interventions, on distingue en pratique les résultats qui sont directement liés à l'effet d'un programme et l'impact plus large du programme, qui comprend les effets indirects également induits sur la population ciblée, voire la population tout entière, en termes d'état de santé et de conséquences économiques et sociales.

Si, au niveau d'un programme isolé, on peut s'attacher plus spécifiquement à son effet propre, dans le cadre du suivi global d'une politique ou d'un ensemble de programmes, c'est l'impact de l'ensemble qui fera l'objet d'une évaluation régulière. Et celle-ci ne visera pas tant à faire la preuve de l'efficacité de tel ou tel programme qu'à vérifier si la situation évolue globalement dans le sens voulu, compte tenu des circonstances externes et des programmes en activité.

Outre la mesure du chemin parcouru, à intervalles réguliers, ce sera également l'occasion de vérifier que l'analyse conceptuelle qui a présidé au choix des différentes stratégies est toujours actuelle, ou de constater qu'il faut réorienter les activités.

Le but étant d'examiner l'évolution de la situation par rapport aux objectifs généraux assignés à la politique adoptée, il s'agira en pratique du recueil régulier d'un certain nombre d'indicateurs de niveaux de risque et de causes, et de grands indicateurs fondamentaux, à l'usage des planificateurs du pays et des agences ou des bailleurs de fonds internationaux, et de l'établissement de tendances. Cela correspond à l'une des neuf stratégies proposées dès 1992 dans le cadre du Plan d'action de la CIN, repris par nombre de plans nationaux d'action en nutrition dans les pays depuis: «évaluer, analyser et surveiller la situation nutritionnelle». Il s'agit en fait de la mise en place d'un véritable système de surveillance nutritionnelle^[6] appliquée à la planification.

Ces plans nationaux ont des objectifs généraux explicites, avec un ordre de grandeur des réductions attendues des taux de malnutritions ou des améliorations de la situation prévues dans tel ou tel secteur.

Les objectifs seront d'autant plus explicites et réalistes que l'on disposera d'une «ligne de base» récente et d'une idée de la rapidité de l'évolution des phénomènes, antérieurement, ou dans des pays voisins ou ayant des contraintes similaires.

On ne peut toutefois attendre de disposer d'une ligne de base très complète pour planifier des actions; on peut commencer en se basant sur les seules données existantes dans les différents services, ou sur des enquêtes réalisées rapidement et de manière ponctuelle quand il n'existe aucune donnée pour un problème précis jugé important.

Cependant la mise en place d'une politique doit être l'occasion de mettre également en place un système de suivi - au minimum des principaux indicateurs d'état et de causes des malnutritions, que l'on mettra en perspective avec les grands indicateurs agro-écologiques et socio-économiques - afin de disposer d'un 'tableau de bord' permanent de la situation et de son évolution dans le temps.

Qualités des indicateurs

Les indicateurs n'ont pas tous la même valeur. Celle-ci dépend en théorie de leur capacité à refléter au mieux la réalité, plus ou moins complexe, que l'on cherche à cerner; un compromis devra ensuite être trouvé en fonction de la facilité à les établir.

On caractérise donc classiquement les indicateurs par un certain nombre de propriétés qui permettent d'apprécier cette valeur, au moins dans un contexte donné. Il est évident qu'ils ne réunissent pas tous, toutes les qualités d'un bon indicateur; à l'heure du choix, on devra alors décider de celle(s) qu'on privilégie.

Qualités intrinsèques

• La validité est évidemment la plus importante. Elle implique que l'indicateur fournisse bien une mesure réelle, la plus directe possible du phénomène étudié.

  Elle dépend d'abord, sur le plan conceptuel, de la plus ou moins bonne définition de ce que l'on cherche à mesurer et de la capacité à le mesurer de façon directe. Il est essentiel qu'il existe un consensus, parmi les utilisateurs, sur ce que l'on peut «faire dire» ou «ne pas faire dire» à un indicateur. Cela pose des problèmes lorsque ce que l'on cherche à caractériser relève d'un concept multidimensionnel, difficile à mesurer dans sa globalité.

  Un consensus doit notamment exister sur le niveau et la signification des seuils éventuels de classement. Dans le domaine de la mesure de l'état nutritionnel et des apports alimentaires recommandés, un effort important de standardisation a par exemple été accompli et a contribué à préciser le cadre d'utilisation des indicateurs correspondants. Ce n'est pas entièrement le cas dans d'autres secteurs, soit parce que les indicateurs se prêtent moins à quantification, soit que celle-ci est trop dépendante des circonstances locales. La pertinence dans le contexte de l'utilisation prévue doit reposer, dans ce cas, sur une analyse locale largement partagée par les différents intervenants, comme on le verra plus loin.

  Par ailleurs, même si l'indicateur décrit correctement un phénomène, tout biais systématique dans le recueil de l'information correspondante, lié aux méthodes ou aux instruments de mesures, va affecter sa validité.

• L'objectivité correspond à la capacité de l'indicateur à ne pas être influencé par la personne ni par l'instrument qui mesure les données, de sorte que la valeur obtenue sera la même quel que soit l'opérateur, le lieu ou l'instrument de mesure. Toute imprécision liée aux méthodes de mesure, toute variabilité d'un jour à l'autre d'un même phénomène, peuvent entacher l'objectivité d'un indicateur. Cela conduit à une augmentation de la variance et à la nécessité de travailler sur de plus grands échantillons pour déceler correctement le niveau de l'indicateur et ses variations dans le temps.

  Le biais de subjectivité représente un risque classique pour les indicateurs issus d'enquêtes qualitatives, sur les comportements ou opinions des ménages par exemple, car la personnalité ou la technique de l'enquêteur peuvent influencer la nature des réponses. De même, les personnes soumises à un questionnaire ou à une observation peuvent être tentées de modifier spontanément leurs réponses ou leurs comportements dans un sens normatif; il est ainsi fréquent de constater que des personnes en surpoids minimisent leur consommation alimentaire réelle lors d'enquêtes de rappel de consommation alimentaire.

  L'objectivité garantit la possibilité de reproduire de façon comparable la mesure de l'indicateur à intervalles répétés, ce qui est essentiel pour une évaluation ou un suivi de situation.

• La sensibilité désigne la capacité à repérer toutes les personnes ou groupes concernés par un risque ou une caractéristique donnée. On y adjoint une qualité complémentaire, la spécificité, qui représente la capacité à repérer ceux qui ne sont pas concernés par ce risque ou cette caractéristique donnée.

  La sensibilité se mesure concrètement par le rapport des individus sélectionnés par l'indicateur sur l'ensemble des individus à caractériser; la spécificité par le rapport des individus non sélectionnés par l'indicateur sur l'ensemble des individus qui ne possèdent pas la caractéristique que l'on cherche à mettre en évidence.

  La sensibilité donne ainsi une idée du degré de bonne ou mauvaise classification liée à l'usage de tel ou tel indicateur. Tous les indicateurs ne se prêtent pas à une mesure de sensibilité. Cela s'applique essentiellement à ceux qui reposent sur des variables à seuils. Il faut disposer en outre d'un indicateur de référence ('gold standard').

  On parle de la sensibilité des indicateurs anthropométriques à définir les enfants ou adultes maigres pour un seuil donné (poids-taille <-2 Z-scores ou poids/taille² <18,5 kg/m², respectivement). On peut parler aussi de la sensibilité d'un indicateur socio-économique à caractériser les personnes les plus à risque d'insécurité alimentaire (comme un salaire < 3ème tercile de la distribution des salaires dans la région), etc.

La sensibilité d'un indicateur anthropométrique comme l'IMC (indice de masse corporelle, ou poids/taille²) pour dépister les individus effectivement maigres va varier en fonction du seuil retenu: plus ce seuil sera élevé, meilleure sera la sensibilité (mais la spécificité, par contre, diminuera). De même, la sensibilité se mesure pour un objectif donné; ainsi la sensibilité d'un indicateur comme le poids-taille à un seuil donné, ne sera pas la même selon qu'il s'agit de définir les enfants maigres ou ceux qui sont à risque de décéder dans les mois qui viennent.

En outre le rendement, c'est-à-dire la capacité à repérer un pourcentage important d'individus malnourris, pour une même sensibilité de l'indicateur choisi, va dépendre de la prévalence de la malnutrition dans la population.

Il n'est pas toujours possible de disposer des éléments permettant de calculer rapidement ces paramètres (sensibilité, spécificité); aussi, en pratique, on se rapporte aux données existantes dans la littérature en essayant de trouver celles qui se rapprochent le plus des seuils choisis, et des prévalences attendues.

Un aspect particulier de la sensibilité est l'aptitude d'un indicateur à marquer le changement, non plus pour décrire ou cibler une catégorie particulière d'individus comme précédemment, mais pour rendre compte du moindre changement qui s'opère dans le phénomène décrit, de manière significative. Si la sensibilité, en général, est importante lors du choix d'indicateurs pour établir une ligne de base, et définir les groupes cibles sur lesquels vont porter les activités, cette aptitude à marquer le changement est capitale pour toute évaluation ou suivi de tendances. Il est indispensable d'évaluer la capacité de tout indicateur à mesurer l'évolution de la situation qui se produit au cours de l'application du programme.

Mais, à côté de ces qualités inhérentes aux indicateurs on peut aussi rechercher leur valeur opérationnelle, qui constituera au moment du choix un aspect essentiel, surtout si l'on est confronté à un problème de rapidité et de coût du recueil de ces indicateurs.

Qualités opérationnelles

• La disponibilité est à considérer en premier lieu; elle représente la possibilité pratique de disposer de l'indicateur considéré, qu'il soit normalement élaboré en routine ou qu'il faille rechercher spécifiquement les données correspondantes. Cela implique, en préalable, la faisabilité tout court du recueil de ces données par un moyen quelconque: il existe effectivement des indicateurs décrits comme 'idéaux', mais que personne ne sait en pratique comment collecter. Par contre, du fait des grandes conférences internationales et des programmes qui ont suivi au cours des deux dernières décennies, nombre d'indicateurs requis font déjà l'objet d'un recueil systématique et régulier dans le cadre de ces programmes et sont donc très facilement disponibles.

• La fiabilité, elle, dépend de la qualité des sources d'information, c'est-à-dire de l'exactitude et de la précision des données et de leur représentativité (échantillonnage) au niveau de la population cible. Elle conditionne l'utilisation de l'indicateur non seulement au stade de la description, mais aussi pour le suivi de la situation. Une indication de la qualité des mesures, de l'échantillonnage et de l'intervalle de confiance du résultat est ici essentielle pour juger de la fiabilité.

• La simplicité de collecte des données nécessaires pour disposer de l'indicateur. D'elle dépend en partie la rapidité et la fréquence avec laquelle on pourra mesurer régulièrement cet indicateur.

• Le problème du coût ne se pose pas vraiment si les données correspondantes sont disponibles en routine dans un service. Mais dès lors qu'il faut aller recueillir les données nécessaires à la construction de l'indicateur spécifiquement pour l'évaluation ou le suivi, le coût est à considérer; il va dépendre de la difficulté et de la sophistication des mesures, de l'accessibilité des objets ou personnes à mesurer, de la fréquence de collecte, de la complexité de l'analyse ensuite. Il faut bien considérer l'intérêt d'un indicateur avant d'envisager la collecte régulière des données afférentes et le coût qui s'y rapporte; toutefois celui-ci est à considérer en relation avec le coût de «non-collecte» pour le programme.

Il est cependant assez rare de disposer des coûts de revient de la collecte des données correspondant à un indicateur pour chaque situation. C'est au demeurant difficile à mesurer; on se base généralement sur le coût des différents types d'enquêtes dans le pays, une enquête permettant souvent de recueillir des données sur plusieurs indicateurs à la fois.

Sources d'information

On peut classer schématiquement les indicateurs selon le niveau auquel ils sont établis ou disponibles, de la manière suivante:

Les indicateurs disponibles au niveau central

• Il peut s'agir tout d'abord d'indicateurs basés sur des données collectées de façon continue, en routine, par les différents services administratifs ou techniques, pour leur propre usage ou dans le cadre de systèmes d'information agricoles ou sanitaires. Ces indicateurs sont construits à partir de données transmises d'autorité à ce niveau; elles sont souvent représentatives au niveau national, mais peu désagrégées, en général, au mieux, par régions, selon le milieu urbain ou rural, ou encore selon le sexe (production vivrière au ministère de l'Agriculture, importations de produits alimentaires au ministère du Commerce extérieur, distribution et niveau des salaires au ministère de l'Emploi, chiffres de mortalité par causes au ministère de la Santé, etc.).

  Il s'agit aussi bien des indicateurs de fonctionnement des services que des indicateurs de situation ou de résultats des actions en cours. Ils sont en général facilement accessibles au sein des services concernés; et ces sources disposent généralement de séries temporelles très utiles pour dégager des tendances à moyen et long terme. Il n'est toutefois pas toujours possible de faire des croisements statistiques entre ces indicateurs, car ils ne sont pas forcément issus des mêmes bases de données et ne sont accessibles que sous une forme relativement agrégée. La qualité des données d'origine est par ailleurs difficile à vérifier. Enfin, même si les données sont collectées sur une base fréquente (rapports mensuels, par exemple), le temps de remontée et d'analyse peut être assez long.

• Il peut s'agir d'indicateurs établis à partir de données collectées de façon périodique, et de manière exhaustive ou sur un large échantillon représentatif. (Recensement de la population, Enquêtes nationales sur la situation nutritionnelle, Enquêtes nationales 'budget-consommation', etc.).

  Ces indicateurs ne sont en général immédiatement accessibles que sous forme synthétique; toutefois il est assez facile de programmer de nouvelles analyses des données correspondantes avec les services qui en ont la charge, afin de permettre des croisements statistiques entre de nombreuses variables recueillies au même moment sur le même échantillon et d'élaborer ainsi des indicateurs complémentaires ou plus appropriés. Bien que réalisées au mieux à intervalles très espacés, ces enquêtes peuvent être actualisées par des projections raisonnables, surtout si l'on dispose par ailleurs de tendances dans les domaines concernés, à partir des données de routine. Ces données d'enquêtes sont souvent regroupées auprès des services de la statistique nationale.

• Il existe aussi des systèmes d'information spécifiques dans le domaine de l'alimentation et de la nutrition: soit au titre de «l'alerte précoce», pour prévenir et contrôler les disettes (voir Eele, 1994; Chopak, 2000; Djaby et al., 2000; FAO-Fivims et FAO, 2000); soit en tant que systèmes de surveillance nutritionnelle et alimentaire en vue d'une planification à plus long terme (Soekirman et Karyadi, 1995). Ils consistent en une collecte régulière d'informations reposant sur un petit nombre d'indicateurs sélectionnés; ils fonctionnent de façon variable selon les pays, les plus performants étant ceux qui s'appuient sur un modèle conceptuel explicite et qui sont reliés à un mécanisme de décision clair. Ils peuvent constituer une bonne base pour le suivi de la situation à un niveau central.

• Une catégorie particulière est issue des enquêtes réalisées par les organismes internationaux à des fins diverses: enquêtes démographiques et de santé (Demographic and Health Surveys, DHS, ORC Macro), sur le niveau de vie des ménages (Living Standards Measurement Study, LSMS/World Bank), sur les dimensions sociales de l'ajustement (DSA, Banque Mondiale; Cf. Delaine et al., 1992), sur le suivi du Sommet mondial de l'enfance (Multiple Indicators Cluster Survey, MICS/UNICEF), etc. Ces enquêtes transversales sont réalisées directement au niveau des ménages, sur des échantillons représentatifs au niveau national, mais de taille variable; elles comprennent une grande variété d'indicateurs (en nombre, objectifs et qualités) et sont maintenant fréquemment répétées. Bien que réalisées en périphérie, elles sont généralement disponibles et utilisées au niveau central. Ces sources, en principe assez fiables, bénéficient d'un niveau d'analyse poussé qui permet d'en tirer des éléments d'inférence causale par la mise en relation des indicateurs de ménage entre eux et avec des indicateurs individuels, notamment de l'état nutritionnel. Elles constituent notamment une source précieuse lors de l'établissement d'une ligne de base et de l'analyse causale qui précède la mise en place d'interventions.

Les indicateurs disponibles aux niveaux intermédiaires

Ils sont pour l'essentiel construits à partir de données collectées en routine (services administratifs locaux, autorités des communautés locales): ils sont généralement transmis (indicateurs ou données brutes) au niveau central et renvoyés aux niveaux décentralisés après analyse, avec plus ou moins de régularité; ils sont souvent désagrégés par district ou commune, mais pas toujours représentatifs, car se rapportant souvent aux seuls usagers des services considérés. Ils sont en général regroupés au niveau de l'administration centrale des régions ou des chefs-lieux.

Ce sont avant tout des indicateurs qui ont trait à des activités qui se prêtent à un relevé régulier, soit parce qu'ils rendent compte d'une activité (indicateurs de fonctionnement, de rendement d'un service), soit parce qu'ils sont nécessaires à une prise de décision (prévisions de récoltes, taux de chômage), soit à des fins de contrôle (prix des denrées de base sur les marchés, nombre de cas de maladies, etc.). Ils ne comportent pas forcément d'indicateurs de cause des phénomènes enregistrés; il ne s'agit pas en principe d'indicateurs qualitatifs.

Les indicateurs collectés aux niveaux décentralisés devraient répondre à la fois aux besoins d'utilisateurs situés à ces niveaux et à ceux d'utilisateurs situés au niveau central, pour la mise en oeuvre et le suivi de programmes. Si ces indicateurs compilés de façon régulière n'ont pas d'utilisation réelle au niveau local et ne sont destinés qu'au seul niveau central national, leur qualité risque de se dégrader au cours du temps faute de motivation suffisante des acteurs chargés de la collecte et de la transmission. De fait, les séries de données disponibles présentent souvent des lacunes; elles sont irremplaçables cependant pour avoir une vue claire de la situation au niveau des régions ou districts, avec des tendances à moyen terme. Leur limite est, en règle générale, le faible niveau d'intégration de données de différents secteurs.

Les indicateurs disponibles seulement à un niveau périphérique

Un certain nombre d'indicateurs, notamment ceux concernant la vie des communautés ou des ménages, et ne relevant pas de l'activité des différents services de l'état, ne sont pas établis en routine par les services, en tout cas ne sont pas déférés aux services régionaux ou centraux. Ils sont parfois issus de données collectées à intervalles irréguliers par des services municipaux, ou plus souvent par des organisations non gouvernementales, à des fins spécifiques correspondant à leur domaine d'activité: santé, hygiène, prise en charge sociale, encadrement agricole, etc.

Les capacités analytiques font souvent défaut à ce niveau; il est possible que des données brutes disponibles n'aient pas donné lieu à la production des indicateurs intéressants; il faudra alors prévoir le renforcement des capacités analytiques ou procéder périodiquement à des enquêtes par sondage sur ces données pour élaborer ces indicateurs. Une bonne connaissance des registres locaux et de leur qualité est nécessaire pour éviter une perte de temps.

Souvent, il faudra soit introduire des procédures nouvelles de collecte par des services périphériques, en veillant à ne pas les surcharger ou les détourner de leur activité, soit procéder à une collecte spécifique des données correspondantes par enquête auprès des communautés villageoises ciblées pour l'analyse ou l'intervention. Ces enquêtes sont indispensables pour connaître les situations et comportements des individus et des ménages et évaluer leur relation avec les politiques mises en place. Elles offrent en général une vision intégrée des problèmes.

Elles peuvent avoir pour but de fournir des éléments de situation et d'analyse locaux, destinés à conforter le consensus de la population et des responsables sur la situation et les actions à mettre en oeuvre, et à permettre une évaluation de leur effet. On mettra l'accent sur le côté participatif plutôt que sur la précision ou la sophistication des données. Un ouvrage de la FAO sur les projets participatifs illustre le problème de l'évaluation, et notamment le choix d'indicateurs dans le cadre de tels projets (FAO, 1994).

Si on utilise des données déjà recueillies ou si on réalise une nouvelle enquête à des fins d'utilisation à un niveau supérieur, il faut vérifier la taille et la représentativité de l'échantillon, s'assurer que ces données puissent être reliées à un ensemble plus général à partir d'indicateurs communs, recueillis dans les mêmes conditions (méthodologie, période de temps, etc.), et s'assurer qu'elles permettront éventuellement un suivi régulier (faisabilité de la collecte, transmission régulière des données). La vérification de la qualité des données revêt un aspect essentiel ici.

Il est profitable de dresser une liste des indicateurs (et/ou des données brutes correspondantes) utilisables par services à tous niveaux, avant d'entreprendre une collecte spécifique; il n'est pas rare de constater que des enquêtes auraient pu être évitées par une meilleure connaissance des données disponibles dans diverses sources. Pour repérer ces sources utiles d'information et juger de la qualité des données disponibles et de leur niveau de désagrégation, il est souvent indiqué de comprendre la genèse et le fonctionnement complet du système d'information sous-jacent.

Comment faire un choix d'indicateurs?

On a vu que les indicateurs sont multiples et de qualités très diverses; la disponibilité des données correspondantes n'est pas toujours assurée, et toute collecte active va entraîner des contraintes. Il faut donc faire un choix limité aux besoins réels des utilisateurs, responsables de programmes ou planificateurs. Cela nécessite de disposer d'une méthode.

Les éléments qui vont guider le choix sont notamment (i) l'utilisation d'un modèle conceptuel permanent qui relie la situation, les interventions, et les résultats attendus (ii) la disponibilité d'une 'ligne de base' (iii) les caractéristiques des indicateurs: qualités et sources à disposition.

L'intérêt d'un modèle conceptuel

Toute mise en oeuvre d'interventions repose en principe sur une analyse de la situation, une compréhension des facteurs qui la déterminent, la formulation d'hypothèses sur les programmes susceptibles d'améliorer la situation. Un cadre général a été présenté précédemment (voir Figure); il représente peu ou prou une vision causale holistique endossée par la plupart des organisations internationales et des planificateurs en nutrition. La classification commode qui en découle, par exemple en niveaux de causes immédiates, sous-jacentes ou fondamentales peut donner lieu à des développements plus élaborés, à des fins opérationnelles.

L'intérêt de la construction d'un tel modèle, au-delà de la mise à plat de l'enchaînement des phénomènes qui déterminent la situation nutritionnelle, c'est de permettre l'expression en paramètres mesurables de concepts généraux qui ne sont pas toujours très bien définis compte tenu de leur complexité. Ainsi vouloir caractériser la «sécurité alimentaire» ne suffit pas. Il faut préciser à quelle définition on se réfère parmi celles qui existent, quels sont les aspects auxquels on s'intéresse, et les paramètres correspondants.

L'utilisation de modèles conceptuels dans le contexte de la mise en oeuvre de programmes ou de la planification alimentaire et nutritionnelle n'est pas nouvelle. De nombreux exemples ont été développés concernant différents aspects. Le plus classique en est la mise en ordinogramme de la chaîne d'approvisionnement alimentaire avec la mise en relief des informations nécessaires et des indicateurs correspondants à chaque étape (FAO, FISE & OMS, 1976); on peut trouver de nombreux exemples ou utilisations de ce type (FAO, 1996; Von Braun & Puetz, 1993; Maxwell & Frankenberger, 1992; FAO, 1984 a, 1984 b, 1985).

Il est évident que ce n'est pas tant le diagramme final qui a de l'importance, que le processus au cours duquel il a été élaboré. Dans la mesure où les relations entre tous les maillons de la chaîne d'évènements (ou éléments des flux selon le type de représentation) ont été discutées pas à pas, argumentées avec des faits à l'appui, la réflexion sera adaptée à la situation locale et deviendra opérationnelle.

Des méthodologies ont été élaborées pour rendre efficace ce processus dans le contexte de la planification. C'est le cas de la méthode de «planification par objectifs» (ZOPP^[7]/PPO), qui comprend une phase d'analyse des problèmes à partir d'études antérieures, afin d'identifier clairement le contexte de départ des programmes, une phase d'identification des options d'intervention possibles, une autre de définition des objectifs plus spécifiques des programmes et enfin une phase d'élaboration finale d'un cadre logique d'ensemble qui servira de 'modèle' de référence pour l'ensemble des participants. Au cours du processus, on identifiera successivement toutes les activités, les partenaires correspondants, les moyens nécessaires et les indicateurs d'application et d'évaluation des résultats. La méthode sert de fil conducteur à un travail en équipe qui favorise une analyse intersectorielle, et propose une visualisation simplifiée servant à fixer les résultats des discussions.

Une autre méthode a encore été proposée par des chercheurs de l'Institut de Médecine Tropicale d'Anvers, à partir de leur expérience de terrain en collaboration avec différents partenaires (Lefèvre et al., 2001). Elle met essentiellement l'accent sur l'aspect participatif, le but étant d'obtenir un véritable consensus sur la situation locale, la rationalité des objectifs des interventions compte tenu de cette situation, et le choix des indicateurs nécessaires.

Elle comprend d'abord une phase d'élaboration d'un modèle causal dont le but est de fournir une compréhension des mécanismes conduisant aux situations de malnutrition dans le contexte considéré. Le modèle se construit sous la forme d'un diagramme schématique, hiérarchisé, des hypothèses causales formulées après discussions entre tous les partenaires concernés. Son mode de construction tend à privilégier une visualisation claire, 'verticale', de séries de chaînes causales, en éliminant les liaisons latérales ou les boucles qui sont souvent sources de confusion dans nombre de représentations.

Dans une deuxième phase, des tableaux mettent en regard les ressources humaines ou matérielles de départ, les procédures envisagées, les résultats d'application correspondants, et les résultats intermédiaires ou finaux attendus pour chaque programme ou activité. Cet outil est très utile pour définir tous les indicateurs nécessaires.

Enfin, la cohérence de l'ensemble des procédures définies est portée sur un 'modèle dynamique' destiné à visualiser l'organisation des hypothèses sur lesquelles reposent les programmes et à mettre en évidence les éléments convergents qui permettent d'espérer qu'ils aient un impact positif en final. C'est la formalisation d'un véritable schéma conceptuel.

En termes opérationnels, l'établissement d'un modèle conceptuel permet de définir de façon cohérente les différents types d'indicateurs utilisables à chaque niveau. Après la définition des activités à entreprendre, on définit les indicateurs de situation (groupe cible), ou des causes qui seront ou non modifiées par ces activités; on fixe ensuite les indicateurs qui reflètent le niveau ou la qualité des activités réalisées. Enfin sont retenus les indicateurs qui reflètent les changements obtenus, qu'ils soient ou non dus au programme. L'identification d'objectifs précis permet de suivre l'évolution des indicateurs de résultat non seulement par rapport à la situation de départ mais aussi en termes d'atteinte des objectifs fixés.

Au cours de cette phase initiale, on procède à un bilan des indicateurs existants et de ceux dont il faudra aller chercher les données correspondantes dans des registres ou par des enquêtes spécifiques. On définit également pour qui cette information est nécessaire et qui doit élaborer les indicateurs ou collecter les données, à chaque niveau. En effet, il est important que ce choix soit piloté par la demande, pour être sûr que les informations sélectionnées soient ensuite réellement utilisées. On peut avoir affaire à plusieurs groupes d'utilisateurs, qui n'ont pas exactement les mêmes besoins: responsables politiques et leurs conseillers, fonctionnaires aux différents niveaux de décision, y compris provinces et districts, autorités administratives locales, donateurs, universitaires, etc. On peut ainsi jeter les bases du système d'information indispensable à l'évaluation et au suivi.

Eléments de choix selon les caractéristiques des indicateurs

• La première qualité à laquelle il faut être attentif est la validité. Bien souvent l'indicateur 'idéal' de ce point de vue n'est pas disponible ou difficile à recueillir. On va donc être amené à rechercher un indicateur approché, souvent indirect, et la limite de sa validité dans le contexte devra être soigneusement vérifiée. Elle va dépendre de l'objectif exact poursuivi. Est-ce qu'une mesure des stocks alimentaires à une période donnée peut remplacer de façon valide, dans le contexte considéré, une mesure de la consommation alimentaire, pour en déduire le taux d'insécurité alimentaire d'un groupe cible? Est-ce qu'une mesure de diversité alimentaire est un bon indicateur approché de la consommation en micronutriments? Classe t-il au moins les consommateurs de façon cohérente en forts et faibles consommateurs? Permet-il de définir un niveau acceptable de consommation par rapport aux recommandations? Est-ce qu'il va permettre de classer de façon cohérente les enfants par rapport à un objectif de meilleure croissance?

  Des études de validité sont parfois disponibles localement; lorsqu'on hésite, on pourra faire procéder à des études spécifiques en préalable; d'où l'intérêt d'associer des groupes d'études ou de recherches, universitaires par exemple, qui seront à même de mener ce genre d'études de validation dans de bonnes conditions. Une illustration concrète et très détaillée est présentée dans un ouvrage de l'IFPRI (Chung et al., 1997).

  Le lien qui unit deux variables, permettant de baser un indicateur sur l'une plutôt que sur l'autre, peut varier au cours du temps ou en fonction de l'application d'un programme; il faut en tenir compte. Si dans un contexte donné il existe une liaison manifeste entre la taille de la famille et l'insécurité alimentaire, on pourra facilement se baser sur ce critère de taille de la famille pour identifier les familles à risque. Mais si un programme spécifique a été mené avec succès auprès de ces familles, la validité de cet indicateur en sera modifiée.

• On doit prendre en compte les aspects de comparabilité. L'idéal serait d'utiliser les mêmes indicateurs partout et tout le temps afin de pouvoir bénéficier d'une expérience commune en matière de collecte et d'analyse et de permettre des comparaisons directes. En pratique, les concepts sur les indicateurs les plus pertinents évoluent régulièrement avec le progrès des connaissances, et on se trouve confronté au dilemme soit de ne pas pouvoir procéder à des comparaisons avec des séries plus anciennes d'indicateurs, soit de ne pas pouvoir comparer avec ce qui se fait ailleurs. La comparabilité dans le temps est évidemment la plus recherchée dans le cas d'un suivi. En fait, le choix réside dans des indicateurs qui sans être forcément identiques, sont comparables, c'est-à-dire qui donnent une information du même ordre. Le problème de la comparabilité de données de différentes sources a fait l'objet d'études particulières dans le domaine des indicateurs de santé^[8].

  Pour autant, il ne faut pas négliger la valeur d'indicateurs «novateurs» potentiellement prometteurs, possédant d'excellentes qualités intrinsèques, chaque fois que les indicateurs traditionnels ne paraissent pas adéquats ou suffisants pour cerner la réalité qui nous intéresse. Il faut être bien sûr qu'ils ont été validés pour des circonstances proches de celles que l'on étudie. Nécessitant dans la plupart des cas une collecte 'active' de données, surtout au niveau des communautés, l'arbitrage repose alors souvent, pour le choix de ces indicateurs novateurs, sur la faisabilité technique, garantie de la pérennité de la collecte des données correspondantes.

• On recherche des indicateurs dynamiques plutôt que statiques, orientés vers la mesure de tendances, c'est-à-dire qui rendent compte de phénomènes susceptibles d'évoluer plus ou moins rapidement sous l'effet de changements socio-économiques ou de programmes d'intervention; et tout particulièrement s'ils comportent une vision prédictive.

  Un indicateur qui exprime la structure de la consommation alimentaire (par exemple le pourcentage de calories d'origine lipidique) est davantage soumis à des changements importants, dans un contexte de transition alimentaire, que le niveau moyen de consommation exprimé en calories, tout en fournissant dans le même temps une information prospective significative sur le plan de la santé de la population considérée. Inversement, les données sur les habitudes alimentaires sont peu susceptibles de changer rapidement, à moins qu'un programme d'éducation ne soit spécifiquement mis en place dans ce but: la collecte répétée des indicateurs correspondants ne présente donc guère d'intérêt pour un suivi de situation à court ou moyen terme.

• Enfin, les qualités opérationnelles, notamment simplicité et coût de collecte, vont orienter largement le choix. La lenteur de la collecte et de la remontée des données au niveau d'utilisation sont importantes à considérer: nombre de systèmes d'information sont paralysés par ce problème, alors qu'il existe un besoin fréquent d'information qui parvienne en temps opportun pour la prise de décision, ou la modification du programme ou des interventions (cas de systèmes d'alerte notamment).

  De ce point de vue, la nature des sources potentielles de données pour ces indicateurs ou la disponibilité directe de ces indicateurs au niveau adéquat de décision, pourront constituer un élément déterminant de choix.

Utilité d'une «ligne de base»

Les données recueillies en vue de l'élaboration d'indicateurs doivent souvent être confrontées à une valeur de référence ou à une valeur seuil. Il peut s'agir d'un seuil reposant sur un consensus international, au sein de la communauté scientifique ou du monde politique, ce qui évite les polémiques quant à l'interprétation et permet des extrapolations régionales ou des comparaisons entre pays. Mais l'information n'est pas toujours suffisante cependant; d'autre part, pour plusieurs catégories d'indicateurs, de tels seuils internationaux n'existent pas. Dans ce cas on se réfère plutôt à une valeur de cette même variable à une date antérieure. C'est d'ailleurs une démarche nécessaire en cas d'évaluation. L'interprétation de l'évolution d'un indicateur ne peut se faire qu'en fonction de la connaissance que l'on a de la situation de départ; la connaissance d'une ligne de base fait donc partie de la valeur informative d'un certain nombre d'indicateurs.

L'existence de séries chronologiques est par exemple un élément en faveur du choix d'un type d'indicateur. Elles permettent d'interpréter rapidement les résultats en termes de tendance.

Lorsque les données antérieures sont anciennes, on recherche la possibilité d'évaluer leur niveau actuel par projection, comme c'est habituellement le cas pour les grands indicateurs démographiques ou économiques.

Dans un certain nombre de cas, la réalisation d'une enquête préalable pour établir le niveau actuel de plusieurs indicateurs, apparaît nécessaire. Nombre de pays se sont livrés, en préliminaire à l'établissement d'une politique ou d'un programme national, à des enquêtes nationales d'appréciation de la situation nutritionnelle, pour décider du type ou de l'importance du programme à mettre en place et pouvoir en évaluer l'impact ensuite. Le coût de ces enquêtes n'est pas négligeable, mais il est à comparer à celui du programme mis en place, et au coût potentiellement lié au manque d'évaluation d'un programme qui ne donne pas les résultats attendus.

Collecte et analyse

Méthodes de collecte

Lorsque la collecte «passive» de données dans les sources existantes ne permet pas d'établir les indicateurs nécessaires sous une forme appropriée, il faut envisager une collecte 'active' par enquêtes auprès de la population, à un niveau de désagrégation approprié. Ce peut être le cas aussi quand la couverture administrative de la population, particulièrement des groupes à risque, est insuffisante ou déficiente.

Types d'enquêtes

Il est d'abord important de considérer que le niveau d'échelle privilégié d'expression des indicateurs n'est pas forcément le même selon les disciplines (les individus pour l'expression de risques épidémiologiques, les ménages pour le niveau de sécurité alimentaire, des subdivisions administratives pour un économiste, etc.). Les unités statistiques de mesure des données correspondantes ne seront donc pas forcément les mêmes.

Inversement, un mode d'expression relevant de la même échelle peut être élaboré à partir de données dont l'unité statistique de mesure diffère: une donnée de consommation alimentaire exprimée en kcal/pers/jour peut être construite aussi bien à partir d'une donnée nationale divisée par le nombre d'habitants du pays, que de données moyennes mesurées par ménages et divisées par le nombre d'individus dans le ménage, que de mesures effectuées directement auprès de chaque personne. Il s'agit de trois expressions de la même situation, mais qui ne peuvent être traitées de la même manière du point de vue statistique. Dès lors qu'on analyse des données recueillies à différentes échelles, il faut en tenir compte.

Selon le type d'indicateurs requis, on utilisera des techniques d'enquêtes quantitatives ou qualitatives, chacune procédant de méthodologies particulières.

• Les enquêtes quantitatives obéissent à un certain nombre de règles de collecte précises dans chaque domaine considéré. Il est essentiel de bien connaître les limites des données ainsi collectées en termes de signification, de représentativité, d'exactitude et de précision. Il existe en général des ouvrages pratiques connus par les spécialistes de chaque domaine^[9]. Les problèmes de représentativité et d'intervalle de confiance des échantillons dans des conditions où il n'existe pas véritablement de base de sondage fiable sont notamment assez bien codifiées (stratification, échantillonnage en grappes, etc.). On ne détaillera pas ces aspects ici.

• Des enquêtes auprès des communautés privilégiant une approche qualitative sont nécessaires pour recueillir un certain nombre d'indicateurs qui ne relèvent pas de données immédiatement quantifiables, et qui sont cependant utiles pour permettre une analyse d'ensemble. Ces méthodes, mises au point et utilisées depuis longtemps dans le secteur des sciences sociales, notamment en anthropologie, sont largement utilisées dans celui de l'économie et de l'agronomie (Chambers, 1992), en combinaison avec les enquêtes quantitatives plus classiques, mais ne sont pas toujours familières aux personnels travaillant dans le secteur de la nutrition et de l'alimentation.

  Difficiles à utiliser dans leur forme originelle, ces méthodes ont été simplifiées et on voit apparaître des méthodologies d'enquêtes 'rapides' de nature diverse selon les buts recherchés: RAP («rapid assessment procedures»), PRA («participatory rural appraisal») ou RRA («rapid rural appraisal»). Ce dernier type d'enquête, par exemple, peut porter sur les préférences alimentaires, les modes de stockage des aliments ou les pratiques de sevrage; il est surtout adapté à la mise en évidence de différences régionales. En revanche les méthodes PRA sont plus adaptées à des investigations au niveau d'un village; elles permettent de décrire en détail les perceptions et attitudes au sein d'une communauté, mais elles servent surtout à renforcer les capacités d'analyse et d'action de la communauté.

  On peut trouver une description de ces méthodologies, adaptées à différents usages, dans divers ouvrages (Maxwell et Frankenberger, 1992; Chambers, 1992; Den Hartog et van Staveren, 1985; Kidima, Scrimshaw et Hurtado, 1990). Des exemples d'application et des commentaires sur les limites d'interprétation figurent aussi dans l'ouvrage de l'IFPRI déjà cité (Von Braun et Puetz, 1993) et dans Scrimshaw et Gleason (1992). Enfin un ouvrage récent présente l'analyse d'une large somme d'expériences dans des domaines divers (Cornwall et Pratt, 2003).

  Elles reposent sur des observations ou des entretiens, ouverts ou structurés, de durée variable, portant sur les croyances, perceptions, connaissances, comportements ou pratiques d'individus ou de groupes sociaux, avec un degré variable de précision, recoupement ('triangulation') ou participation, et différents modes d'expression des résultats (diagrammes, cartes, calendriers, études de cas). La difficulté principale est de conclure de façon synthétique, pour rendre utilisable l'information ainsi récupérée, sans la transformer en éléments numériques abusifs ou réducteurs.

  Mais malgré des limites évidentes (représentativité, biais de questionnaire, problèmes de reproductibilité dans le cas de suivi), surtout en situations d'enquêtes 'rapides' comme c'est le cas la plupart du temps, ces enquêtes fournissent des éléments irremplaçables pour comprendre l'enchaînement d'un certain nombre de processus, et partant, les effets des programmes. Nombre d'indicateurs 'novateurs' relèvent d'enquêtes de ce type. Elles sont parfaitement complémentaires des enquêtes quantitatives.

• Il est souvent utile, voire nécessaire, de grouper la collecte d'un certain nombre d'indicateurs de nature différente, par souci d'économie et afin de pouvoir faire des croisements entre indicateurs par la suite. Toute enquête ne peut cependant pas traiter de tout de façon satisfaisante. Il est donc important, dans ce cas, de vérifier que la période, le niveau de recueil, la représentativité et l'intervalle de confiance sont pertinents pour chaque indicateur; sinon il vaut mieux procéder à des enquêtes séparées mais adaptées à l'indicateur considéré. Des enquêtes par sous-échantillons chaque fois que nécessaire représentent souvent un gain de temps et de moyens. Il faut veiller également à ce que les résultats puissent être agrégés par la suite au niveau adéquat de façon cohérente.

Il faut souvent combiner des enquêtes lourdes avec des enquêtes plus légères pour établir des points particuliers, et travailler à différents niveaux de représentativité; définir une stratégie d'enquêtes devient alors essentiel pour articuler dans le temps et dans l'espace des méthodes d'investigation focalisées sur des unités statistiques différentes (enquêtes nationales avec échantillon représentatif d'individus de différents groupes d'âge; enquêtes légères dans des communautés particulières, au niveau des ménages, basées sur un choix raisonné, etc.). Dans le cadre d'une évaluation ou d'un suivi à grande échelle, cela peut devenir difficile à gérer si on ne s'organise pas, et les résultats vont arriver en ordre dispersé, à contretemps ou sans le niveau de désagrégation ou de représentativité requis. Il est donc nécessaire de structurer la collecte, en fonction de l'information requise et des niveaux d'analyse correspondants, dès la phase conceptuelle initiale.

L'évaluation et le suivi

Dans le cadre de l'évaluation ou du suivi de programmes ou de situations, où l'on procède à des comparaisons entre régions et dans le temps, le premier problème est celui de l'échantillon: représentatif (aléatoire), raisonné (avec risques de biais) ou reposant sur des sites sentinelles; ce dernier choix présente un avantage pratique certain, mais il faut avoir des éléments d'appréciation périodique sur la modification éventuelle, en fonction de l'application du programme ou des circonstances, de ce que représentent ces sites sentinelles par rapport à la population dans son ensemble. Ce choix reste valable, en général, si l'on s'intéresse davantage à des tendances qu'à une valeur strictement représentative.

Se pose ensuite le problème d'une collecte en longitudinal ou par enquêtes transversales répétées; «longitudinal» implique une collecte de données sur les mêmes individus ou les mêmes ménages à chaque fois (quelle que soit la fréquence des mesures), 'transversal' implique au contraire un ré-échantillonnage à chaque passage. Un argument d'ordre statistique milite pour la conservation du même échantillon d'une fois sur l'autre: c'est en effet une façon de diminuer la variance liée à l'échantillon, et de mettre mieux en évidence la variance liée à l'intervention ou aux phénomènes extérieurs. Mais cet argument devient secondaire dès lors qu'il n'est pas possible de retrouver les mêmes individus d'une enquête à l'autre.

Le longitudinal est intéressant, et parfois nécessaire, pour l'évaluation de programmes d'intervention spécifiques; il l'est moins pour le suivi global d'une situation ou pour des programmes de développement socio-économique de portée générale: dans ce cas, c'est en effet davantage l'évolution de la population dans son ensemble que l'on suit, plus que l'impact d'une intervention donnée sur les individus (ou d'autres unités).

Un des inconvénients du longitudinal est inévitablement le biais entraîné par la perte d'une partie de l'échantillon d'une enquête à l'autre (migrations, décès, refus de participation des personnes; pertes de documents, oublis de recueil, etc.). Il est d'autant plus fort que les mesures sont faites à des intervalles de temps plus espacés ou que le programme est de longue durée.

La fréquence de collecte est plus difficile à déterminer; elle dépend en fait de la combinaison de plusieurs paramètres:

• d'abord le phénomène suivi: l'évolution du retard de taille, par exemple, est plus lente que celle de la maigreur; les mesures des indicateurs correspondants ne se feront pas nécessairement à la même fréquence pour évaluer l'effet d'un programme;

• les besoins des programmes (un simple avant/après, ou au contraire une alerte rapide en continu);

• la sensibilité aux changements de l'indicateur retenu (pour la maigreur, par exemple, l'indice poids-taille est plus sensible aux changements que le tour de bras);

• l'importance et la rapidité d'évolution attendue (mais une fréquence choisie au départ peut être modifiée selon l'évolution réelle ou la survenue d'évènements imprévus, comme une crise économique brutale);

• la variance habituelle du phénomène mesuré et la taille des échantillons;

• la facilité et le coût avec lesquels l'indicateur peut être collecté;

Lorsque le paramètre étudié peut normalement fluctuer autour de valeurs moyennes d'une fois sur l'autre, on procèdera à des mesures plus fréquentes pour mieux déceler les tendances significatives. Attention, toutefois, au côté illusoire de mesures trop fréquentes en cas de variations cycliques importantes (saisonnières, par exemple).

Il faut, enfin, maintenir une relative homogénéité des principaux indicateurs entre les différents points de collecte et dans le temps, afin que les comparaisons gardent un sens.

Principes d'analyse

Avant toute analyse se pose le problème de la mise en regard des données issues de toutes les sources. Une analyse locale des données est toujours possible et souhaitable; c'est souvent la garantie d'obtenir les indicateurs nécessaires à temps pour la prise de décision. Mais il est nécessaire, à un moment donné, de concevoir le rassemblement des données jugées indispensables à l'évaluation des activités ou au contrôle de la situation de manière plus centralisée et cohérente. Disposer d'un informaticien système peut être utile, si les données sont sur des supports physiques différents, ou sous des formats différents, pour procéder à une organisation logique de cette étape et en assurer la pérennité.

Les services de statistique dans la plupart des pays sont préparés à ce type de travail. Une action constante de concertation tout le long de la chaîne de collecte et d'analyse facilitera grandement le fonctionnement de l'ensemble.

Plutôt que de procéder à de nombreuses analyses fastidieuses, comportant en outre le risque de trouver des associations par hasard, on favorisera une stratégie d'analyse basée sur le modèle conceptuel initial et les questions qui en découlent. Bien que les analyses ne soient pas nécessairement très complexes, on aura avantage à disposer des services d'un statisticien compétent qui aidera à formuler correctement les questions en termes d'analyse et à choisir les méthodes les plus appropriées; on préparera ainsi un véritable plan d'analyse, qui comprend en général plusieurs phases.

Une première phase va consister à vérifier les données brutes, à calculer éventuellement des taux ou des indices variés, et à les structurer en faisant appel à la statistique descriptive pour établir un résumé numérique (moyennes, médianes, écarts-types), des tableaux ou graphiques pertinents, un lissage éventuel (moyennes mobiles).

On procèdera ensuite à l'étude des relations entre variables selon les hypothèses de causalité retenues, à l'aide des techniques de la statistique inférentielle. Il est impératif de tenir compte de la variabilité liée à l'échantillonnage. Les techniques employées seront conditionnées par la nature des variables étudiées, le type d'échantillonnage, la période et le niveau de collecte, les objectifs de l'étude. En bref,

• pour les variables quantitatives continues: tests de comparaisons de moyennes, analyses de variance et utilisation du modèle linéaire général pour prendre en compte d'éventuelles variables de confusion;

• pour les variables qualitatives (ou quantitatives discrétisées) exprimées sous forme de fréquences: comparaisons de proportions par la méthode du Chi-carré et mesures du Chi-carré de tendance. La prise en compte des facteurs de confusion peut être faite par diverses techniques d'analyse multivariée (régression logistique par exemple).

Dans le cas d'analyse de données longitudinales, compte tenu du fait que ce sont les mêmes individus qui ont été enquêtés à chaque fois, on utilisera des techniques du type 'analyse de variance à mesures répétées', basée sur une généralisation du test de Student (t-apparié).

De même, dans le cas de séries importantes d'observations, on pourra utiliser tout l'arsenal des techniques d'analyse de séries chronologiques (désaisonnalisation, tendances, modélisation, etc.).

On trouvera l'ensemble de ces points largement exposés dans les ouvrages courants de statistique et dans les références: Schlach, 1992; Mascie-Taylor, 1994; Watier, 1995; ils ne seront pas développés ici. De même on pourra consulter avec profit: Analysis of health surveys, de Korn et Granbard (1999), ou encore pour l'ensemble des problèmes liés à la collecte, la saisie, la gestion et l'analyse des données, le petit ouvrage de Juul (2001), accessible sous internet.

Dans le cadre de l'évaluation de programmes, il est essentiel de vérifier d'une part le degré de comparabilité initial entre groupes, s'il y a lieu, et d'autre part le degré d'application des programmes à la population cible; dans ce dernier cas, il faut en tenir compte à l'analyse en distinguant les unités qui ont effectivement bénéficié du programme. L'intervalle de confiance donnera une idée de l'importance des effets observés (y compris lorsque la différence n'est pas significative).