Entretien avec Mark Myatt et Grant Aaron
L’importance de l’évaluation de la couverture des programmes fait l’objet d’une grande attention de la part des acteurs de l’enrichissement des aliments. Qu’est-ce que la couverture ? Et pourquoi la couverture est-elle importante pour atteindre l’impact du programme ? Nous nous sommes entretenus avec Mark Myatt et Grant Aaron qui, au cours des quatre dernières années, ont mis au point des outils destinés à aider les acteurs de l’enrichissement à évaluer la couverture des programmes :
Lisez la suite pour en savoir plus sur leur rencontre et sur certains des travaux qu’ils ont réalisés ensemble et qui contribuent à donner une image plus claire de l’impact réel des programmes de nutrition.
Le début : Comment vous êtes-vous rencontrés ?
Mark Myatt : J’ai travaillé pendant plusieurs années avec VALID International et un certain nombre d’ONG, d’organisations des Nations Unies, de départements universitaires et de ministères de la santé sur le développement de méthodes d’évaluation de la couverture des programmes de traitement de la malnutrition aiguë sévère (MAS). Vers 2010, nous avions mis au point un ensemble de méthodes éprouvées et estimé qu’elles pouvaient être utilisées pour évaluer la couverture d’un plus grand nombre de programmes.
En 2013, VALID International a organisé deux ateliers techniques – l’un pour les gouvernements et les agences donatrices et l’autre pour les agences de mise en œuvre. Grant Aaron a participé à l’un de ces ateliers.
Grant Aaron : J’ai quitté l’atelier convaincu que les sujets abordés pouvaient être appliqués à mon travail à l’époque au GAIN : interventions à grande échelle de fortification des aliments de base et de fortification à domicile (par exemple, poudres de micronutriments). Dans ce domaine, les évaluations de l’efficacité ont reçu beaucoup plus d’attention que les évaluations de la couverture. La couverture n’a pas reçu beaucoup d’attention
Qu’est-ce qui a fait tilt ?
Grant Aaron : Plusieurs choses. Tout d’abord, j’ai apprécié la façon dont les méthodes discutées lors de l’atelier ont été présentées sous la forme d’une boîte à outils complète. Elles étaient faciles à comprendre sur le plan conceptuel et, surtout, utilisables par les programmes et pas seulement dans le cadre d’exercices académiques. Deuxièmement, les méthodes intègrent une dynamique spatiale pour évaluer la couverture des programmes. Il est intuitif que la disponibilité, l’accès et l’utilisation varient en fonction de la géographie de la population. Les méthodes de couverture devraient pouvoir en tenir compte.
Qu’est-ce que la couverture ? Qu’est-ce que cela signifie ?
Mark Myatt : La couverture est la proportion de personnes qui ont besoin d’un service et qui l’obtiennent. Dans le cas de la MAS, il s’agit de la proportion d’enfants souffrant de malnutrition sévère dans la population qui sont traités pour la MAS au moyen d’un protocole de traitement dont l’efficacité a été prouvée. L’impact est la couverture multipliée par l’efficacité du traitement. Avec une couverture de 5 % et une efficacité de traitement de 100 %, l’impact n’est que de 5 %. C’est pourquoi la couverture a été qualifiée de « voie royale vers l’impact ».
La couverture n’a d’impact que si l’on atteint les personnes qui ont besoin de l’intervention. Dans le cadre des programmes d’enrichissement, il est possible d’identifier les ménages susceptibles d’être dans le besoin à l’aide d’indicateurs tels qu’un faible statut socio-économique, une faible diversité alimentaire ou une mauvaise IYCN. Nous pouvons ensuite examiner la couverture dans les ménages identifiés comme étant dans le besoin. Nous appelons ce type de couverture « besoin satisfait ». Il est possible qu’un programme ait des niveaux assez élevés de couverture brute mais que les besoins satisfaits soient faibles si le produit a tendance à ne pas être utilisé par les ménages les plus pauvres (par exemple). Nous divisons également la couverture en utilisant un modèle de « goulots d’étranglement ». Nous pouvons considérer (par exemple) la « couverture du message » qui, pour un programme IYCN basé sur le marché, comprendrait la sensibilisation à la nécessité de bonnes pratiques IYCN, la connaissance des bonnes pratiques IYCN et la connaissance du produit. Il s’agit là de couvertures à part entière. Sans couverture du message, nous ne pouvons pas nous attendre à ce que de nombreuses personnes s’occupant d’enfants achètent et utilisent un produit. Nous disposons d’une échelle de couvertures. Elle va de la couverture du message à la « couverture effective » (achat et utilisation soutenus et fréquents), en passant par la « couverture de contact » (quelques achats et utilisations). Il est surprenant de constater que de nombreux programmes échouent au niveau le plus élémentaire.
Qu’est-ce que la dynamique spatiale et en quoi est-elle importante ?
Mark Myatt : Un modèle de base pour la description épidémiologique est le temps, le lieu et la personne (TPP). La plupart des enquêtes dans le secteur de la nutrition ont tendance à ignorer la dimension spatiale, qui est le « lieu » dans le modèle TPP. En termes de couverture, la « dynamique spatiale » signifie qu’elle est généralement très inégale. La distance est un problème important. Les personnes qui vivent loin des services n’y ont généralement pas accès. Dans le cadre d’un programme d’enrichissement, la couverture peut dépendre d’éléments tels que les habitudes alimentaires, qui varient dans la zone couverte par le programme.
Comment avez-vous commencé à évaluer la couverture des programmes de fortification ?
Grant Aaron : Notre premier projet commun s’est déroulé au Ghana et visait à évaluer la couverture d’une approche basée sur les ventes pour la distribution de poudres de micronutriments (MNP) aux nourrissons et aux enfants. Nous avons intégré une évaluation de la couverture des aliments de base en tant que projet pilote de développement de méthodes. Nous avons passé le mois de juillet 2013 au Ghana, avec une excellente équipe de Valid International et de l’Université du Ghana, à évaluer la couverture du programme MNP et à travailler sur les méthodes pour la composante de couverture de la fortification des aliments de base.
À peu près au même moment, le donateur qui soutient la plupart des programmes d’enrichissement des aliments de base au sein du GAIN a demandé que des études de cas soient réalisées pour évaluer la couverture des programmes.
Ce fut une grande avancée pour le développement des méthodes, car cela a mis la couverture au premier plan des priorités organisationnelles. Ce travail nous a permis de formaliser ce que nous avons ensuite appelé l’outil d’évaluation de la couverture de la fortification (FACT). Il s’agissait d’un outil normalisé destiné à aider le GAIN et, plus largement, les parties prenantes de la fortification, à évaluer la couverture de la fortification. A ce jour, le GAIN et ses partenaires ont réalisé près de 20 enquêtes qui ont appliqué ces méthodes ou une variante de celles-ci.
Quels ont été les plus grands défis et/ou apprentissages ?
Grant Aaron: D’un point de vue opérationnel, je dirais que mon plus grand défi a été de passer de la phase pilote à la mise à l’échelle assez rapidement. Il a été difficile de trouver un équilibre entre les exigences organisationnelles liées à la réalisation d’enquêtes et le temps nécessaire à la finalisation d’un outil. En termes d’enseignements généraux tirés de l’ensemble des travaux, deux choses ressortent : premièrement, rien ne peut remplacer une diligence raisonnable et une conception adéquate du programme avant son déploiement ; et deuxièmement, nous devons veiller à ce que les programmes atteignent une couverture élevée dans les groupes de population à risque.
Mark Myatt : La principale difficulté rencontrée au cours du développement a été de passer très rapidement de projets pilotes à petite échelle à des enquêtes à grande échelle. Aujourd’hui, le défi consiste à amener les partenaires de l’enquête à utiliser l’échantillonnage spatial. La plupart des partenaires préfèrent s’en tenir à ce qu’ils connaissent, et ce qu’ils connaissent, ce sont les enquêtes en grappes simples.
L’apprentissage du développement méthodologique consiste à insister sur le maintien d’un plan de développement. L’utilisation d’une évaluation par des pairs tiers s’est avérée très utile. Les enseignements tirés des enquêtes (le but de la boîte à outils) sont qu’une bonne conception du programme, un suivi et une évaluation continus, ainsi qu’une attention particulière à la couverture et à la satisfaction des besoins sont les clés de l’impact. Je pense que les donateurs et les partenaires de mise en œuvre ont simplement supposé que leurs programmes étaient bons.
Vous avez fait appel à BioAnalyt pour vous aider à analyser les spécimens dans le cadre de plusieurs de ces enquêtes. Parlez-nous un peu de cette partie du travail.
Grant Aaron : Comme nous avions affaire à un grand nombre de spécimens alimentaires, des milliers d’échantillons répartis dans plusieurs pays, nous voulions garantir la cohérence, la haute qualité et la rapidité d’exécution, tout en maintenant un faible coût. BioAnalyt nous a aidés dans tous ces domaines.
Mark Myatt : Un grand nombre d’échantillons de farine, d’huile, de sel, etc. Nous voulions qu’ils soient analysés correctement (c’est-à-dire avec une bonne exactitude et une bonne précision) et rapidement. BioAnalyt nous a aidés dans cette tâche. Je pense qu’il s’agit d’un bon choix de collaborateur.
Quelle est la prochaine étape ?
Grant Aaron : Nous avons travaillé sur un certain nombre de publications à partir de ce travail collectif. L’objectif est de tout mettre dans le domaine public !
Mark Myatt : Je pense qu’en plus des publications scientifiques, nous devons produire un nouveau manuel pour les méthodes. J’aimerais qu’une organisation comme le Coverage Monitoring Network soit créée pour réaliser ou soutenir des enquêtes FACT de qualité pour toutes les agences ayant des programmes de nutrition pour les nourrissons et les jeunes enfants (IYCN) et d’enrichissement.
