Lettres à la rédaction

Nous sommes de retour ! De nouveaux articles seront disponibles dès la semaine prochaine.

En attendant, nous avons recueilli les réactions de nos lecteurs à nos articles précédents. Nous serions ravis de publier les vôtres également ; veuillez les envoyer par courriel à letters@indevelopmentmag.com . Les lettres pourront être modifiées pour plus de clarté et pour respecter notre charte éditoriale.

En réponse à l'article « Ce que les données du Soudan du Sud peuvent nous apprendre et pourquoi nous devrions nous en préoccuper »

Chers rédacteurs,

Je m'appelle Augustino (August) Ting Mayai. Je suis actuellement directeur général du Bureau national des statistiques.

Je vous remercie pour vos réflexions, partagées dans votre article du 6 août. L'honorable Margaret est assurément une personne exceptionnelle. J'ai pu constater son dévouement remarquable en 2007, lorsque j'ai visité le bureau en tant que doctorant à l'Université du Wisconsin, à la recherche de données démographiques pour ma thèse. Margaret et son collègue démographe, Eliaba Damundu, se sont investis pleinement pour me fournir les données nécessaires à l'étude des problèmes de santé au Soudan du Sud. Ce sont en effet des personnes comme Margaret et Eliaba qui font la renommée des pays et des organisations.

Je tiens également à souligner que votre article est particulièrement touchant. Depuis une dizaine d'années, le monde n'a pas été très optimiste quant à l'avenir du Soudan du Sud. Il est encourageant de constater que tout le monde ne nous a pas abandonnés. Cela m'a personnellement donné l'énergie nécessaire pour préparer le pays à son premier recensement depuis son indépendance.

Augustino (Auguste) Ting Mayai

Directeur général du Bureau national des statistiques du Soudan du Sud

Chers rédacteurs,

C’est avec un pincement au cœur et une certaine frustration que j’écris cette réponse. J’apprécie l’idée de cette réussite au Soudan du Sud, mais j’ai été sceptique face aux affirmations péremptoires selon lesquelles, lors du séjour de l’auteur au Soudan du Sud en 2012, « les données » étaient « d’une qualité exceptionnelle » et « semblaient exactes au premier abord ». Malheureusement, ces affirmations paraissent tout simplement fausses. Après examen des données, j’ai constaté qu’elles étaient de piètre qualité.

Bien que l'auteur ne précise pas à quelles « données » il fait référence, un article antérieur qu'il cite abondamment indique clairement que Margaret se référait à son travail sur le recensement de 2008. Par exemple, il déclare dans cet article : « Le premier recensement de 2008 a mobilisé 11 000 enquêteurs… comment Labanya pouvait-elle savoir si son équipe avait recueilli des données exactes, faute de point de comparaison ? » Si Dan faisait référence à d'autres données que celles du recensement de 2008, cela aurait dû être clairement indiqué.

Concernant le recensement de 2008 :

1. L'article affirme que « les gens ont fait confiance aux données qu'ils ont reçues ; les donateurs, le gouvernement et les ONG semblaient me communiquer les données gouvernementales sans la moindre hésitation. » Or, cela passe sous silence un incident majeur : le gouvernement du Soudan du Sud a publiquement rejeté les chiffres du recensement et affirmé que la population réelle était supérieure de 50 % à celle recensée.
2. Lorsque j'ai examiné les données du recensement, trois signaux d'alarme indiquaient que la qualité des données était médiocre :
   1. L'indice de Whipple examine le nombre de personnes dont l'âge se termine par un 0 ou un 5. La catégorie la plus défavorable est celle des personnes de plus de 175 ans, et le chiffre du recensement de 2008 était de 178,4.
   2. Le ratio hommes/femmes était de 108 hommes pour 100 femmes. Compte tenu du faible accès aux soins de santé et du conflit en cours, cela semble très improbable.
   3. Le recensement de 2008 est incompatible avec l'estimation de population de 2021. En 2021, la population était estimée à 12 444 018 habitants. Pour que ce chiffre soit cohérent avec l'estimation de 2008, la population devrait croître de 5 % par an, compte tenu d'hypothèses plausibles concernant les migrations et la mortalité. Cela semble également improbable.

L'une ou l'autre de ces études, voire les deux, sont inexactes.

Si c'est là le principal exemple de données de haute qualité provenant du Soudan du Sud, cela semble contredire l'argument de l'article.

De plus, les méthodes statistiques impressionnantes dont il est question ont été mises en œuvre bien après le passage de l'auteur en 2012. Les études de l'enquête à haute fréquence ont été menées à partir de 2015 et reposaient en grande partie sur les données du recensement de 2008 (déjà signalées comme inexactes). Les chercheurs de la Banque mondiale qui affirment que ces données étaient particulièrement précises sont également ceux qui ont mené ces recherches.

Enfin, je ne pense pas que cette vision positive reflète les défaillances institutionnelles qui caractérisent le Soudan du Sud. Margaret Labanya a elle-même déclaré que le gouvernement sud-soudanais avait sapé le département des statistiques et l'avait pratiquement ruiné. Elle affirme que « ceux qui détenaient le pouvoir politique ont commencé à marginaliser les statistiques ».

Le Soudan du Sud est un État failli, et des millions de réfugiés se trouvent toujours à l'extérieur du pays. C'est une dictature d'une violence inouïe, dotée de certaines des pires institutions au monde. Bien que l'article tente de présenter les choses sous un jour favorable, il reste quelque peu malhonnête de consacrer un article entier au Soudan du Sud sans même évoquer cette situation.

Dans un pays immense, extrêmement pauvre, où la confiance est faible et les institutions défaillantes, envoyer des milliers d'enquêteurs peu encadrés et pour la plupart inexpérimentés à travers le pays ne permettra pas de recueillir des données fiables, aussi compétents que soient Margaret Labanya et les autres dirigeants. En réalité, compte tenu de la situation, mon respect pour Margaret Labanya n'en est que plus grand.

Elle-même ne reprend pas les affirmations péremptoires de l'auteur selon lesquelles les statistiques seraient excellentes. Elle explique avoir tout mis en œuvre pour obtenir les meilleures statistiques possibles. Elle n'hésite pas non plus à critiquer le gouvernement du Soudan du Sud, ce qui pourrait lui avoir coûté cher.

Les données qu'elle a contribué à générer peuvent être utiles, éclairer certains programmes et avoir un impact sur la vie des gens, tout en étant assez imprécises. Je pense qu'il vaut mieux être honnête face à ces réalités plutôt que de les édulcorer.

Nick Laing

PDG de OneDayHealth

Réponse de Dan Honig :

Je suis reconnaissante à l'auteur de la critique d'avoir pris mon article suffisamment au sérieux pour en examiner les éléments de preuve. Sur certains points factuels et de présentation, nous divergeons, comme je l'expliquerai plus loin. Mais je souhaite commencer par ce qui me semble le plus important dans cette réponse : un point sur lequel je pense que nous sommes presque entièrement d'accord. Margaret est remarquable.

En effet, cette affirmation est bien plus proche de l'idée centrale de mon article que la question de l'exactitude du recensement de 2008 au Soudan du Sud.

Mon intérêt pour cette histoire a commencé par une observation faite lors d'une mission au Soudan du Sud en 2012. Dans un contexte opérationnel difficile, j'ai constaté (plutôt que par une recherche systématique ou des données probantes, précisons-le) que les données gouvernementales que j'ai reçues étaient utiles, cohérentes et considérées par mon entourage – représentants du gouvernement, bailleurs de fonds et ONG – comme suffisamment fiables pour éclairer leurs travaux. Cela m'a surpris.

Des années plus tard, lors de mes recherches sur « Les bureaucrates guidés par leur mission », j’ai rencontré Margaret Labanya et j’ai commencé à comprendre un élément essentiel expliquant comment un organisme statistique, dans un tel contexte, avait pu obtenir d’aussi bons résultats. Elle incarne parfaitement ce que j’appelle un bureaucrate guidé par sa mission : une personne profondément motivée par l’objectif de son travail, qui fait preuve de discernement et qui contribue à susciter l’engagement de ses collaborateurs.

Je ne cherche pas à défendre (et je n'ai jamais prétendu affirmer) que toutes les statistiques produites par le Bureau national des statistiques, y compris celles du recensement de 2008, étaient nécessairement exactes. Mon propos (et si cela a pu prêter à confusion, j'en assume l'entière responsabilité et je vous remercie de me donner l'occasion de le préciser) est le suivant : même dans un État confronté à des difficultés institutionnelles, il peut exister des îlots de performance bureaucratique remarquable. Comprendre les personnes, le management et l'environnement organisationnel qui rendent ces îlots possibles est un aspect important – et encore peu exploré – de la compréhension des capacités de l'État. Sur ce point, je pense que l'auteur de la critique et moi sommes bien plus proches d'un accord.

Le recensement, les enquêtes à haute fréquence et les données du Soudan du Sud

La critique soutient que la performance dont je parle n'a pas pu avoir lieu pendant mon séjour au Soudan du Sud en 2012, car l'Enquête à Haute Fréquence (EHF) a été menée à partir de 2015. Or, plusieurs générations d'EHF ont été réalisées, la première ayant eu lieu avant mon arrivée au Soudan du Sud (elles n'ont en réalité pas commencé en 2015). De plus, d'autres organismes statistiques ont collecté des données entre le recensement de 2008 et ces enquêtes. Il est donc tout simplement faux d'affirmer que j'ai observé le bureau en 2012 et que j'ai ensuite attribué a posteriori à ce que j'avais vu des techniques développées des années plus tard.

Cela dit, je pense que la critique a mis en lumière un point où mon propos aurait pu être plus précis. Après avoir exposé la méthode employée par Margaret pour structurer l'organisation, je cite l'Enquête à Haute Fréquence comme preuve. Mon intention était de souligner les capacités remarquables du bureau et la qualité des données recueillies, ayant fait l'objet d'une enquête externe rigoureuse (ce qui est, bien sûr, relativement rare). Je n'avais pas l'intention de valider toutes les statistiques produites par le Bureau national des statistiques, ni de donner l'impression d'utiliser les données de l'Enquête à Haute Fréquence « pour » le recensement de 2008 ou toute autre publication spécifique du Bureau national des statistiques du Soudan du Sud. J'aurais pu préciser que mon affirmation générale portait sur la qualité des données produites par cet organisme.

Revenons-en au recensement de 2008, auquel la critique consacre une place importante. Je tiens à préciser que mon analyse des données sud-soudanaises présentée dans cet article ne repose pas principalement sur le recensement de 2008. C'est pourquoi je n'y fais aucune mention. Il est possible que certaines données auxquelles j'ai eu accès en 2012 proviennent de ce recensement ; mais je n'en suis pas certain, et je ne pense pas que mes principales affirmations dans l'article dépendent de la réponse à cette question.

Je reconnais que certaines affirmations statistiques de la critique semblent effectivement révéler des failles dans le recensement de 2008, et je l'admets volontiers. Je ne crois pas avoir jamais avancé d'argument contraire à ce point de vue, ni dans mon article « En développement », ni ailleurs.

Et, comme le souligne à juste titre la critique, Margaret elle-même parle moins en termes de perfection statistique que de l'effort extraordinaire requis pour générer les meilleures informations possibles dans des circonstances extrêmement difficiles.

Voilà, à mon sens, l'enseignement essentiel à tirer de l'analyse des données statistiques du Soudan du Sud, notamment du recensement de 2008. La « qualité des données » n'est pas une question binaire : un ensemble de données n'est ni parfaitement exact, ni totalement inutile. L'important, c'est que ces données aient été utiles à la prise de décision. C'est ce qui nous permet d'appréhender les statistiques sud-soudanaises et de tirer des leçons de l'expérience de Margaret au sein de l'agence, bien plus que les détails techniques d'un recensement vieux de près de vingt ans. La véritable réussite n'a pas été de créer un système statistique parfait, mais de bâtir une institution capable de produire des informations suffisamment utiles pour que les acteurs puissent s'y fier, et ce, dans des circonstances extrêmement difficiles.

La critique affirme que la formulation positive de mon article paraît « hypocrite » compte tenu du bilan plus large de l'État sud-soudanais en matière de défaillance, et suggère que dans un pays aussi pauvre, où la confiance est faible et les institutions fragiles, il est tout simplement très difficile d'imaginer que des milliers d'enquêteurs puissent produire des données de qualité. Or, il est vrai que le Soudan du Sud a été confronté – et continue d'être confronté – à des difficultés politiques, humanitaires et institutionnelles.

Mais comme je l'écris dans cet article, les États ne sont pas des entités monolithiques. « Juba », « Washington » ou « Londres » ne désignent pas une seule et même réalité. Au sein de gouvernements globalement peu performants, certaines organisations obtiennent de bons résultats. Au sein de gouvernements performants, certaines organisations sont peu performantes. Au sein même des agences, certaines équipes prospèrent tandis que d'autres échouent.

Une grande partie de mon article « En développement » porte sur des preuves que le même phénomène fondamental se manifeste partout dans le monde : la performance des gouvernements varie énormément d’un pays à l’autre, voire d’une organisation à l’autre. Là où l’on observe des îlots de performance exceptionnelle, on trouve très souvent des fonctionnaires engagés, des gestionnaires efficaces, une réelle autonomie, des relations solides entre pairs et un fort sentiment d’appartenance à une mission.

C'est important car une grande partie du débat sur les capacités de l'État prend racine ailleurs. Face aux faiblesses des systèmes, nous cherchons à renforcer les règles, la surveillance et les mécanismes de conformité pour éviter les erreurs. Parfois, ces mesures s'avèrent efficaces. Mais les individus ne sont pas de simples rouages de la machinerie organisationnelle. Leur motivation, leur jugement et leurs relations influencent les actions que les États peuvent entreprendre et qu'ils entreprennent réellement.

Si nous réfléchissions plus sérieusement aux fonctionnaires autonomes et motivés par une mission — et aux conditions organisationnelles qui les attirent, les fidélisent et aident les autres à leur ressembler —, je crois que nous pourrions accomplir beaucoup plus dans nos efforts pour renforcer les capacités de l'État, tant dans les pays en développement que dans les pays développés.

En réponse à « Pourquoi les économistes n'écoutent pas »

Chers rédacteurs,

Ce billet confond deux points. Le premier est incontestable : les économistes devraient utiliser davantage de données. Les transcriptions et les entretiens ouverts constituent des preuves, et rien dans la révolution de la crédibilité ne les exclut. Le programme de gestion de Nick Bloom et John Van Reenen repose sur des entretiens ouverts. Nombre d’entre nous rédigeons des articles en nous appuyant sur des données textuelles.

Le second point est d'ordre idéologique : l'idée que la distance par rapport aux sujets invalide la recherche, que les participants devraient devenir des co-analystes, que la séparation n'est qu'une simple « mise en scène de l'objectivité ». Cette idée égare les chercheurs. Je souhaite pouvoir vérifier vos résultats, et non substituer la sympathie à la vérifiabilité. Si vous rédigez un article, je ne le lirai pas si je sais que vous êtes déterminé à raconter une histoire particulière. Peu m'importe avec qui vous sympathisez ; votre sympathie réduit la vérifiabilité et l'intérêt de votre recherche. Certes, la séparation est plus un idéal qu'une réalité toujours atteignable. Mais dès l'instant où nous y renonçons, et que nous connaissons déjà le résumé et le titre avant même d'avoir examiné les données, c'est la recherche elle-même qui devient une performance.

Luis Garicano

Professeur de politique publique à la LSE

Chers rédacteurs,

J'ai lu avec beaucoup d'intérêt l'article de Biju Rao sur les raisons pour lesquelles les économistes n'écoutent pas . Il reflète bien les propos que mes directeurs de thèse m'ont tenus au début de mon doctorat. J'avais passé deux ans au Vanuatu à réfléchir aux petits États insulaires, à la population réellement nécessaire au fonctionnement d'un pays et aux moyens d'inciter les décideurs politiques à s'intéresser aux analyses économiques. Lorsque j'ai présenté certaines de ces idées à mon directeur de thèse, il m'a dit : « Ce sont des idées intéressantes… pour un article de journal. Pas pour une revue d'économie. Votre travail consiste à publier dans des revues d'économie. » Un autre mentor a réagi à mes suggestions en disant : « C'est une bonne idée pour la sociologie. Mais n'oubliez pas, nous sommes économistes. Notre avantage comparatif réside dans les grands échantillons ; nous devons laisser les questions à petits échantillons à d'autres disciplines. »

Je partage donc pleinement le point de vue de Biju sur ce sujet. Cependant, son article a soulevé plus de questions que de réponses.

1. Devrions-nous même avoir des frontières disciplinaires ? Un domaine se définit-il par ses questions ou par ses méthodes ? On pourrait interpréter les préceptes de Biju comme une nouvelle forme d’impérialisme économique. On imagine déjà les sociologues et les anthropologues s’écrier : « D’abord, vous vous en prenez à nos questions, vous écrivez dans vos articles que l’on sait encore peu de choses sur X alors qu’il existe une mine d’informations sur le sujet dans des revues que vous ne lisez même pas, et maintenant, vous voulez aussi nous imposer nos méthodes ? » De manière générale, je pense que l’avantage comparatif est une bonne chose, l’humilité épistémique aussi, et qu’il faudrait trouver un moyen de valoriser les collaborations entre économistes et praticiens d’autres sciences sociales plutôt que d’apprendre aux économistes à tout faire.
2. Est-ce inné ou acquis ? Je ne crois pas qu’on puisse former des experts en méthodes mixtes à partir d’étudiants en économie. Nous savons que le travail qualitatif ne se résume pas à « écouter les gens ». Il s’agit d’acquérir suffisamment de connaissances pour interpréter ce que l’on écoute, pour élaborer des théories à partir de ce que l’on entend et de ce que l’on n’entend pas. C’est une compétence différente de l’analyse quantitative et de la programmation. D’autres disciplines sont reconnues pour ces compétences, et les personnes intéressées s’orientent souvent vers ces formations.
3. Comment se construit l'empathie cognitive ? Jeremy Weinstein explique à ses étudiants : « Il faut être proche des enjeux politiques que l'on souhaite étudier. » Plus concrètement, le lieu de résidence influence les personnes dont on recherche la validation, ce qui a un impact sur les sujets et les méthodes de recherche.

Si je devais porter un jugement, je pourrais dire que j'espère que davantage de chercheurs en sciences sociales comme Biju retourneront en Inde à terme, mais je sais que la réalité est plus complexe. Les pays du Nord disposent de bien plus de capitaux, de services et de libertés. Dans la mesure où nous avons besoin de capitaux pour mener des recherches, il est important d'être joignables par ces investisseurs. En réalité, la distance qui importe n'est pas celle qui sépare les économistes des populations qu'ils étudient, mais celle qui sépare les détenteurs de capitaux philanthropiques des populations qu'ils souhaitent aider.

Karan Nagpal

Directeur principal chez IDinsight