De l’argent et des preuves
Lancer des projets de coopération ne suffit pas: il faut s’assurer de leur efficacité. Oui, mais comment?
Les dossiers des patients sont archivés, mais pas disponibles rapidement. Une infrastructure IT et des ordinateurs en état de marche font défaut dans la plupart
des hôpitaux du Cameroun.
Aucun médecin responsable ne prescrirait des médicaments dont les effets thérapeutiques et secondaires n’ont pas été correctement contrôlés. Ce genre de standards n’existe pas pour les programmes de développement sociaux, qui drainent des sommes colossales.» Ce constat désabusé a été fait en 2006 par un groupe de travail du Center for Global Development à Washington dans le rapport «When Will We Ever Learn? Improving Lives Through Impact Evaluation». Les experts y pointaient l’évaluation lacunaire de l’impact de la coopération au développement et plaidaient pour le développement systématique de l’approche des décisions fondées sur les preuves.
Spécialisée dans l’étude de la pauvreté, Esther Duflo a contribué à ce rapport critique. Son institut au MIT, le Poverty Action Lab, s’appuie sur des études randomisées de terrain pour mesurer scientifiquement l’effet des mesures politiques de développement. Dans une étude retentissante, l’économiste a démontré que si les microcrédits tant prisés réduisaient bien la pauvreté, ils n’amélioraient pas autant qu’espéré l’existence de la population concernée en Inde.
Les experts n’ont pas ignoré la critique du manque de standards et l’appel à se fonder davantage sur les preuves. L’une des réponses est l’International Initiative for Impact Evaluation, lancée en 2008. Elle établit des réseaux entre scientifiques, représentants du monde politique et de la pratique, organise des conférences sur ce qui fonctionne et encourage l’évaluation fondée sur les preuves. Depuis sa création, l’ONG a soutenu plus de 200 études d’impact dans 200 pays à hauteur totale d’environ 85 millions de dollars.
Eviter l’autoévaluation
Ces dix dernières années, les pays donateurs et partenaires ont également affûté et professionnalisé leurs instruments d’évaluation. En 2005, la Déclaration de Paris sur l’efficacité de l’aide au développement a posé les bases pour des standards communs. Le Comité d’aide au développement de l’OCDE a défini cinq critères d’évaluation: pertinence, efficacité, efficience, impact et viabilité. Ils ne sont pas contraignants, mais servent de norme de référence internationale.
L’OCDE contrôle elle-même ces critères. Ses rapports critiquent régulièrement le manque de cohérence dans la politique des pays donateurs, par exemple quand les pratiques du commerce extérieur contredisent les objectifs de lutte contre la pauvreté. Les pays donateurs évaluent aussi l’efficacité de leurs mesures de politique de développement. Les sceptiques doutent cependant de l’indépendance des départements d’évaluation, qui sont le plus souvent basés au sein des organisations concernées.
L’Allemagne s’est engagée dans une nouvelle voie avec la création en 2012 d’un institut autonome d’évaluation, le Deval (Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit). «Nos exigences de scientificité et d’indépendance sont élevées, souligne Jörg Faust, directeur du Deval et chercheur en sciences politiques. Nous sommes aussi très axés sur la pratique et nous voulons initier des processus d’apprentissage.» Selon lui, les sujets devant être évalués sont heterogenes et complexes, ce qui impose un haut niveau d’expertise en termes de contenus et de méthodologie.
Sortir de la guerre de tranchées
Pour Jörg Faust, le défi méthodologique réside dans la question de fond de savoir comment une situation aurait évolué s’il n’y avait pas eu d’intervention de politique de développement. Pour y répondre, l’institut combine des méthodes qualitatives et quantitatives. «Lors de l’évaluation, il ne s’agit pas seulement d’identifier l’impact, mais aussi de mettre en évidence ce qui l’a rendu possible.» Cela nécessite aussi bien une recherche rigoureuse sur l’efficacité que le recours à des méthodes qualitatives élaborées. «Un débat éclairé ne cherche pas à opposer ces deux approches», insiste le directeur du Deval.
Il y a encore quelques années, une guerre de tranchées divisait les «randomistas» – les adeptes des essais randomisés sur le terrain – et leurs critiques. Le débat méthodologique est aujourd’hui plus modéré, estime Jörg Faust: «Il y a plus de soutien pour la position consistant à se poser ouvertement la question de la meilleure manière de combiner les éléments quantitatifs et qualitatifs dans un bouquet méthodologique pour obtenir le maximum de connaissances.»
Micro et macro
Chercher à savoir ce qui rend efficace la coopération au développement ne signifie pas se limiter aux expériences randomisées de terrain, souligne Isabel Günther, directrice du Center for Development and Cooperation à l’ETH Zurich. Selon elle, les méthodes expérimentales sont surtout adéquates au niveau micro. Pour analyser des facteurs au niveau macro – comme l’impact des politiques fiscales – il faut souvent recourir à d’autres procédés quantitatifs. «Le point central consiste toujours à identifier quelle est la forme de coopération au développement qui s’avère efficace – ou non – dans quel contexte.» L’identification des interventions efficaces basée sur les faits et réalisée à l’aide de méthodes scientifiques reconnues est dans l’intérêt de tous, estime-t-elle.
Mais cela ne veut pas dire qu’il faille «évaluer chaque projet ou programme», poursuit Isabel Günther. Les études sur l’efficacité de l’aide au développement ne doivent pas seulement permettre à une entreprise d’honorer son obligation de rendre des comptes, mais surtout entraîner une amélioration continuelle des programmes. L’apprentissage doit se faire au-delà des institutions: «L’avenir, c’est investir davantage dans des connaissances globales sur la réduction de la pauvreté.»
On ne dispose pas de chiffres comparatifs sur les montants consacrés à évaluer la coopération au développement. Selon Jörg Faust de Deval, 1 à 2% des fonds d’aide au développement de l’OCDE sont utilisés pour des évaluations. «Cela n’est certainement pas excessif étant donné le besoin d’en savoir plus sur des sujets tels que le développement durable ou les relations avec les Etats fragiles.»
Les deux scientifiques rappellent les objectifs de l’agenda 2030 de l’ONU (qui remplacent les objectifs du millénaire): en 2015, la communauté internationale a adopté 17 objectifs de développement durable, assortis de 169 cibles. La coopération au développement ne doit pas seulement contribuer à réduire la pauvreté, mais aussi à amortir les répercussions du changement climatique.
Ces nouveaux défis ne concernent pas que les experts en charge de l’évaluation. Isabel Günther pose la question fondamentale: «Est-il possible de relever tous ces défis avec les instruments de la coopération au développement dont les moyens financiers ont été réduits? L’aide au développement ne peut pas résoudre l’ensemble des problèmes globaux.»
Theodora Peter est journaliste libre à Berne et spécialisée dans le développement.
en Suisse. Un exemple actuel: la promotion de la santé, qui reçoit une partie importante des fonds d’aide au développement (les montants ont triplé entre 2000 et 2010 pour atteindre 28 milliards de dollars par an au niveau mondial). Mais les études sur l’impact de ces programmes de santé publique restent rares. Les sociologues Manfred Max Bergman et Kristen Jafflin de l’Université de Bâle étudient dans un projet soutenu par le FNS l’impact de la promotion de la santé dans les pays bénéficiaires et les facteurs liés à un usage des ressources financières plus efficace.
Pas de solution universelle
La première phase consiste à identifier des pays pour des études de cas plus approfondies. Pour leurs travaux, les chercheurs combinent différentes méthodes avec des composantes quantitatives et qualitatives. Ils contribuent ainsi à l’élaboration de programmes de
développement davantage basés sur les preuves. Cela implique de considérer les forces et les faiblesses des différentes approches.
«Les évaluations d’impact et les méthodes expérimentales ne sont pas des solutions miracles par définition», rappellent les deux
sociologues. A leurs yeux, un problème réside dans le fait que cette approche encourage une pensée «Best Practice»: celle-ci «définit
les bénéficiaires des programmes d’aide comme des feuilles vierges, tous identiquement réceptifs aux interventions les plus diverses».
Alors que les bénéficiaires constituent des «groupes sociaux complexes avec leurs cultures propres, leurs contextes nationaux et leurs
conditions de vie».
Ce qui fonctionne quelque part ne fonctionne pas forcément partout, et les méthodes correspondantes ne sont pas adéquates pour toutes les questions, estiment-ils. Elles ne permettent pas, par exemple, de répondre aux interrogations que soulèvent les modalités de la coopération entre pays donateurs et pays bénéficiaires.
