Estamos de volta! Teremos novos artigos para vocês a partir da próxima semana.
Enquanto isso, recebemos respostas de leitores sobre nossos artigos anteriores. Adoraríamos publicar também as suas reações — envie um e-mail para letters@indevelopmentmag.com . As cartas podem ser editadas para maior clareza e adequação ao estilo da revista.
Em resposta a "O que os dados do Sudão do Sul podem nos ensinar e por que devemos nos importar com isso"
Prezados editores,
Meu nome é Augustino (August) Ting Mayai. Atualmente sou o Diretor Geral do Instituto Nacional de Estatística.
Agradeço seus comentários, compartilhados em seu artigo de 6 de agosto. A Sra. Margaret é, sem dúvida, uma pessoa única, tendo testemunhado sua dedicação excepcional em 2007, quando visitei o órgão como estudante de doutorado em Wisconsin, em busca de dados populacionais para minha dissertação. Margaret e sua colega demógrafa, Eliaba Damundu, se empenharam ao máximo para garantir que eu tivesse os dados necessários para elucidar os problemas de saúde do Sudão do Sul. De fato, são pessoas como Margaret e Eliaba que fazem com que países e organizações se destaquem.
Gostaria também de destacar que seu artigo é particularmente comovente. Há cerca de 10 anos, o mundo não tem demonstrado muita positividade em relação ao Sudão do Sul. É encorajador ver que nem todos desistiram de nós. Isso me deu energia extra, especialmente agora que estou preparando o país para seu primeiro censo desde a independência.
Augustino (Agosto) Ting Mayai
Diretor-Geral do Gabinete Nacional de Estatísticas do Sudão do Sul
Prezados editores,
Estou um pouco triste e frustrado por estar escrevendo esta resposta. Adorei a ideia desta história de sucesso no Sudão do Sul, mas fiquei desconfiado das afirmações categóricas de que, quando o autor esteve no Sudão do Sul em 2012, “os dados” “eram de altíssima qualidade” e que “à primeira vista, pelo menos, pareciam precisos”. Infelizmente, essas afirmações parecem claramente falsas. Quando examinei os dados, constatei que eram de baixa qualidade.
Embora o autor não deixe claro a que “os dados” ele se refere, um artigo anterior , que ele cita amplamente, deixa claro que Margaret estava se referindo ao seu trabalho no censo de 2008. Por exemplo, ele afirma nesse artigo: “o primeiro censo, em 2008, envolveu 11.000 coletores de dados… como Labanya poderia saber se sua equipe havia coletado dados precisos, se não havia nada com que compará-los?”. Se Dan estivesse se referindo a outros dados além do censo de 2008, isso deveria ter sido esclarecido.
Com relação ao censo de 2008:
- O artigo afirma que “As pessoas confiavam nos dados que recebiam; doadores, governo e ONGs pareciam me reportar dados governamentais sem qualquer tom de desaprovação”. Isso ignora um incidente bastante significativo. O governo do Sudão do Sul rejeitou publicamente a contagem populacional do censo e alegou que o número real da população era 50% maior do que o registrado no censo.
- Ao analisar os dados do censo, identifiquei três sinais de alerta que indicavam a má qualidade dos dados:
- O índice de Whipple analisa quantas pessoas terminam a idade com 0 ou 5. Acima de 175 anos é a pior categoria, e o número do censo de 2008 foi de 178,4.
- A proporção entre homens e mulheres era de 108 homens para cada 100 mulheres. Considerando o acesso precário aos serviços de saúde e a existência de um conflito armado, isso parece muito improvável.
- O censo de 2008 é incompatível com a estimativa populacional de 2021. Em 2021, a população foi estimada em 12.444.018 habitantes. Para que esse número seja consistente com a estimativa de 2008, a população teria que crescer 5% ao ano, considerando suposições plausíveis sobre migração e mortalidade. Isso também parece improvável.
Um ou ambos os estudos são imprecisos.
Se este é o principal exemplo de dados sul-sudaneses de alta qualidade, isso parece contradizer o argumento do artigo.
Além disso, os métodos estatísticos específicos e impressionantes elogiados foram utilizados bem depois da passagem do autor pelo país, em 2012. Os estudos de Pesquisa de Alta Frequência ocorreram a partir de 2015 e basearam-se em grande parte nos dados do censo de 2008 (já apontados como imprecisos). Os pesquisadores do Banco Mundial que afirmam que os dados eram particularmente precisos são também os que conduziram a pesquisa.
Por fim, não creio que a visão positiva reflita as instituições falidas que caracterizam o Sudão do Sul. A própria Margaret Labanya afirmou que o governo sul-sudanês minou o departamento de estatística e, na prática, o levou à ruína. Ela diz que “aqueles que detêm o poder político começaram a marginalizar as estatísticas”.
O Sudão do Sul é um estado falido, com milhões de refugiados ainda fora do país. É uma ditadura completamente brutal, com algumas das piores instituições do mundo. Embora o artigo tente apresentar uma visão positiva, ainda parece um pouco desonesto dedicar um artigo inteiro ao Sudão do Sul sem sequer mencionar essa situação.
Num país enorme, extremamente pobre, com baixíssima confiança e instituições falidas, enviar milhares de recenseadores mal supervisionados e, em sua maioria, inexperientes por todo o país não gerará dados de boa qualidade, por mais fantásticas que Margaret ou outros líderes possam ser. Aliás, dada a situação, meu respeito por Margaret Labanya só aumenta.
Ela própria não faz as afirmações ousadas do autor de que as estatísticas são muito boas. Ela fala sobre ter feito tudo o que era possível para obter as melhores estatísticas possíveis. Ela também está disposta a criticar o governo do Sudão do Sul, o que pode muito bem ter lhe custado caro.
Os dados que ela ajudou a gerar podem ser úteis, informar programas até certo ponto e fazer diferença na vida das pessoas, embora ainda sejam bastante imprecisos. Acho melhor sermos honestos sobre essas realidades do que suavizá-las.
Nick Laing
CEO da OneDayHealth
Resposta de Dan Honig:
Agradeço ao autor da crítica por levar meu texto a sério o suficiente para investigar as evidências que o sustentam. Discordamos em alguns pontos factuais e de apresentação, que abordarei adiante. Mas quero começar pelo que me parece o ponto mais importante da resposta: um ponto em que acredito que concordamos quase que completamente. Margaret é extraordinária.
Na verdade, essa afirmação está muito mais próxima do cerne do meu artigo do que a precisão do censo de 2008 do Sudão do Sul.
Meu interesse por essa história começou com algo que observei enquanto trabalhava no Sudão do Sul em 2012. Em um ambiente operacional difícil, tive a experiência (e não uma pesquisa/evidência sistemática, para ser claro) de receber dados governamentais que eram úteis, coerentes e tratados pelas pessoas ao meu redor — funcionários do governo, doadores e ONGs — como suficientemente confiáveis para orientar seu trabalho. Isso me surpreendeu.
Anos mais tarde, enquanto pesquisava sobre "Burocratas Orientados por Missão", deparei-me com Margaret Labanya e comecei a compreender uma parte importante de como uma agência estatística, em tal ambiente, conseguiu ter um desempenho tão bom. Ela é um exemplo do que chamo de burocrata orientada por missão: alguém profundamente motivada pelo propósito do seu trabalho, que exerce o seu próprio discernimento e ajuda a cultivar o comprometimento entre aqueles que gerencia.
Não tenho interesse em defender (e não era minha intenção afirmar) a alegação de que todas as estatísticas produzidas pelo Escritório Nacional de Estatísticas, incluindo o censo de 2008, devem ter sido precisas. A alegação que eu pretendia fazer (e se isso ficou ambíguo no texto, a responsabilidade é minha, e agradeço a oportunidade de esclarecer) é a seguinte: mesmo em um estado que enfrenta desafios institucionais, podem existir focos de desempenho burocrático genuinamente impressionantes. Compreender as pessoas, a gestão e os ambientes organizacionais que tornam esses focos possíveis é uma parte importante — e pouco explorada — da compreensão da capacidade estatal. Sobre isso, suspeito que o autor da crítica e eu estejamos muito mais próximos de um acordo.
O Censo, as Pesquisas de Alta Frequência e os Dados do Sudão do Sul
A crítica argumenta que o desempenho que discuto não poderia ter ocorrido enquanto eu estava no Sudão do Sul em 2012, porque a Pesquisa de Alta Frequência (High Frequency Survey – HFS) ocorreu a partir de 2015. Houve várias gerações da HFS, a primeira das quais ocorreu antes da minha chegada ao Sudão do Sul (na verdade, elas não começaram em 2015). E, claro, havia outros produtos de agências estatísticas coletando dados entre o censo de 2008 e essas pesquisas. Simplesmente não é verdade que eu tenha observado o departamento em 2012 e, retroativamente, atribuído técnicas desenvolvidas anos depois ao que eu havia visto.
Dito isso, acho que a crítica identificou um ponto em que meu texto poderia ter sido mais preciso. Após discutir a abordagem de Margaret para a construção da organização, citei a Pesquisa de Alta Frequência como evidência. Minha intenção era descrever a capacidade surpreendente do órgão e a qualidade de um produto de dados que passou por uma rigorosa investigação externa (o que, obviamente, é relativamente raro). Não pretendia atestar todas as estatísticas já produzidas pelo Escritório Nacional de Estatísticas (NBS), nem usar os dados da Pesquisa de Alta Frequência "para" o censo de 2008 ou qualquer outro produto específico do Escritório Nacional de Estatísticas do Sudão do Sul. Eu poderia ter deixado mais claro que minha afirmação geral era de que se tratava de uma agência que produzia dados geralmente robustos.
Vamos analisar o censo de 2008, ao qual a crítica dedica atenção considerável. Deixe-me ser explícito: o censo de 2008 não é a base principal da minha descrição dos dados do Sudão do Sul no artigo. É por isso que não o menciono em nenhum momento do texto. É possível que parte do que vi em 2012 tenha vindo desse censo; mas não sei se é esse o caso, nem creio que minhas principais alegações no artigo dependam da resposta a essa pergunta.
Concordo que algumas das afirmações estatísticas na crítica parecem sugerir falhas no censo de 2008, e reconheço isso sem problemas. Não creio ter feito nenhuma afirmação que contradiga essa visão, seja no meu artigo "Em Desenvolvimento" ou em qualquer outro lugar.
E, como observa corretamente a crítica, a própria Margaret fala menos em termos de perfeição estatística do que do esforço extraordinário necessário para gerar a melhor informação possível em circunstâncias extremamente difíceis.
Para mim, essa é a principal conclusão ao analisarmos os produtos estatísticos do Sudão do Sul — incluindo, potencialmente, o censo de 2008. “Qualidade dos dados” não é uma questão binária em que um conjunto de dados é ou perfeitamente preciso ou inútil. O fato de os dados serem úteis para a tomada de decisões é o ponto central para entendermos como devemos pensar sobre as estatísticas sul-sudanesas e quais lições a experiência de Margaret na agência representa para o mundo, e não os detalhes técnicos de um censo de quase 20 anos atrás. A conquista surpreendente não foi criar um sistema estatístico perfeito, mas sim construir uma instituição capaz de gerar informações suficientemente úteis para que os atores pudessem utilizá-las em circunstâncias extremamente difíceis.
A crítica afirma que a abordagem positiva do meu artigo parece "hipócrita", considerando o histórico de falências estatais do Sudão do Sul, e sugere que, em um país tão pobre, com baixa confiança e instituições frágeis, é simplesmente muito difícil imaginar milhares de recenseadores produzindo dados de alta qualidade. E é verdade que o Sudão do Sul enfrentou — e continua a enfrentar — dificuldades políticas, humanitárias e institucionais.
Mas, como escrevo no artigo, os Estados não são atores unitários. “Juba”, “Washington” ou “Londres” não refletem apenas uma coisa. Em governos com desempenho ruim no geral, algumas organizações têm bom desempenho. Em governos com alto desempenho, algumas organizações têm baixo desempenho. Em agências individuais, algumas equipes prosperam enquanto outras fracassam.
Grande parte do meu artigo "Em Desenvolvimento" trata de evidências de que o mesmo fenômeno básico ocorre em todo o mundo. O desempenho governamental varia enormemente dentro de um mesmo país e até mesmo dentro de uma mesma organização. Onde encontramos focos de desempenho excepcional, frequentemente encontramos servidores públicos comprometidos, gestores eficazes, autonomia significativa, fortes relações entre pares e um senso de propósito.
Isso é importante porque grande parte da discussão sobre a capacidade do Estado começa em outro lugar. Observamos sistemas frágeis e buscamos mais regras, mais monitoramento, mais sistemas de conformidade para garantir que erros não aconteçam. Às vezes, essas medidas ajudam. Mas as pessoas não são meros insumos em uma engrenagem organizacional. Sua motivação, seu julgamento e seus relacionamentos afetam o que os Estados podem fazer e o que de fato fazem.
Se pensássemos mais seriamente em burocratas capacitados e motivados por uma missão — e nas condições organizacionais que os atraem, os sustentam e ajudam outros a se tornarem mais parecidos com eles — acredito que poderíamos alcançar muito mais em nossos esforços para fortalecer a capacidade do Estado tanto em países em desenvolvimento quanto em países desenvolvidos.
Em resposta a "Por que os economistas não ouvem?"
Prezados editores,
A postagem confunde dois pontos. Um deles é incontroverso: economistas deveriam usar mais tipos de dados. Transcrições e entrevistas abertas são evidências, e nada na revolução da credibilidade as exclui. A agenda de gestão de Nick Bloom e John Van Reenen é construída sobre entrevistas abertas. Muitos de nós escrevemos artigos usando texto como dado.
O segundo ponto é ideológico: a ideia de que o distanciamento dos sujeitos invalida a pesquisa, que os respondentes devem se tornar coanalistas e que a separação é uma mera “performance de objetividade”. Essa ideia leva os pesquisadores ao erro. Quero poder verificar suas descobertas, não substituir a verificabilidade pela simpatia. Se você escrever um artigo, não o lerei se souber de antemão que você está determinado a contar uma história específica. Não me importa com quem você simpatiza; sua simpatia reduz a verificabilidade e o interesse da sua pesquisa. Sim, a separação é mais uma aspiração do que uma possibilidade. Mas, no momento em que desistimos e sabemos o que o resumo e o título dirão antes mesmo de analisarmos os dados, é a própria pesquisa que se torna performativa.
Luís Garicano
Professor de Políticas Públicas na LSE
Prezados editores,
Li com muito interesse o artigo de Biju Rao sobre por que os economistas não escutam . Ele captura bem o tipo de coisa que meus orientadores me diziam quando comecei meu doutorado. Passei dois anos em Vanuatu pensando sobre pequenos estados insulares, quantas pessoas um país realmente precisa para se autogovernar e como fazer com que os formuladores de políticas se engajassem com análises econômicas. Quando levei algumas dessas ideias ao meu orientador, ele disse: “Essas são ideias interessantes… para um artigo de jornal. Não para uma revista de economia. Seu trabalho é publicar em revistas de economia.” Outro mentor reagiu às minhas sugestões com: “Essa é uma boa ideia para a sociologia. Mas lembre-se, somos economistas. Nossa vantagem comparativa é trabalhar com amostras grandes (n), temos que deixar as questões com amostras pequenas (n) para outras disciplinas.”
Tenho muita simpatia pela perspectiva de Biju sobre este assunto. Mas o texto dele me deixou com mais perguntas do que respostas:
- Será que deveríamos ter fronteiras disciplinares? Um campo de estudo é definido por suas perguntas ou por seus métodos? Poderíamos interpretar as prescrições de Biju como mais uma forma de imperialismo econômico. Seria possível ouvir sociólogos e antropólogos gritando: “Primeiro vocês vieram atrás das nossas perguntas, escreveram em seus artigos que ainda se sabe pouco sobre x, quando há MUITO conhecimento sobre o assunto em periódicos que vocês não leem, e agora querem se apropriar também dos nossos métodos?”. De modo geral, acredito que a vantagem comparativa é benéfica, a humildade epistêmica é positiva e devemos encontrar uma maneira de recompensar as colaborações entre economistas e profissionais de outras ciências sociais, em vez de ensinar os economistas a fazer tudo.
- Isso é inato ou adquirido? Não creio que possamos formar mestres em métodos mistos a partir de pessoas que ingressam em cursos de economia. Sabemos que o trabalho qualitativo não se resume a "ouvir as pessoas". Trata-se de ter conhecimento suficiente para interpretar o que se ouve, para formular teorias com base no que se ouve e no que não se ouve. Essa é uma habilidade diferente da análise quantitativa e da codificação. Existem outras disciplinas reconhecidas por essas habilidades, e as pessoas interessadas nelas geralmente ingressam nesses cursos.
- Como se constrói a empatia cognitiva? Jeremy Weinstein diz aos seus alunos: É preciso estar próximo da política que se deseja estudar. De forma um pouco menos benevolente, o local onde se vive influencia a validação que se busca, o que, por sua vez, afeta o trabalho e os métodos utilizados.
Se eu estivesse emitindo um julgamento, poderia dizer que espero que mais cientistas sociais como Biju voltem para a Índia com o tempo, mas sei que a vida não é tão simples. O Norte Global tem muito mais capital, comodidades e liberdades. Na medida em que precisamos de capital para fazer pesquisa, é importante sermos acessíveis a esse capital, e, portanto, a distância que realmente importa não é a distância entre os economistas e as pessoas que eles estudam, mas entre os detentores do capital filantrópico e as pessoas que eles desejam beneficiar.
Karan Nagpal
Diretor Sênior na IDinsight