Мы вернулись! Начиная со следующей недели, вас ждут новые статьи.
Тем временем мы получили отзывы читателей на наши предыдущие статьи. Мы будем рады опубликовать и ваши комментарии — пожалуйста, присылайте их по адресу letters@indevelopmentmag.com . Письма могут быть отредактированы для ясности и соответствия стилю издания.
В ответ на статью «Чему могут научить нас данные из Южного Судана и почему это должно нас волновать»
Уважаемые редакторы,
Меня зовут Аугустино (Август) Тин Маяи. В настоящее время я являюсь генеральным директором Национального статистического бюро.
Я благодарна за ваши мысли, изложенные в вашей статье от 6 августа. Уважаемая Маргарет, безусловно, уникальна, и я убедилась в ее выдающейся преданности делу еще в 2007 году, когда, будучи аспиранткой в Висконсине, посещала бюро в поисках данных о населении для своей диссертации. Маргарет и ее коллега-демограф Элиаба Дамунду сделали все возможное, чтобы предоставить мне необходимые данные для освещения проблем здравоохранения в Южном Судане. Действительно, именно такие люди, как Маргарет и Элиаба, выделяют страны и организации среди других.
Также хочу отметить, что ваша статья особенно трогательна. Уже около 10 лет мир не проявляет особого позитива в отношении Южного Судана. Отрадно видеть, что не все от нас отвернулись. Это лично меня воодушевило, поскольку сейчас я готовлю страну к первой переписи населения после обретения независимости.
Августино (Август) Тин Маяй
Генеральный директор Национального бюро статистики Южного Судана
Уважаемые редакторы,
Мне немного грустно и неприятно писать этот ответ. Мне нравится идея этой истории успеха в Южном Судане, но меня насторожили смелые заявления автора о том, что, когда он был в Южном Судане в 2012 году, «данные» «были чрезвычайно высокого качества» и что «по крайней мере, на первый взгляд, они казались точными». К сожалению, эти заявления кажутся откровенно ложными. Когда я проверил данные, они оказались низкого качества.
Хотя автор не уточняет, о каких именно «данных» идёт речь, в более ранней статье , на которую он часто ссылается, ясно указано, что Маргарет имела в виду свою работу над переписью населения 2008 года. Например, в этой статье он пишет: «В первой переписи 2008 года участвовало 11 000 сборщиков данных… как Лабанья могла знать, что её сотрудники собрали точные данные, если сравнивать их было не с чем?» Если Дэн имел в виду другие данные, помимо переписи 2008 года, это следовало бы уточнить.
Что касается переписи населения 2008 года:
- В статье говорится: «Люди доверяли полученным данным; доноры, правительство, НПО, казалось, сообщали мне правительственные данные без всякого намёка на пренебрежение». При этом игнорируется довольно значительный инцидент. Правительство Южного Судана публично отвергло данные переписи населения и заявило, что реальная численность населения на 50% выше, чем указано в переписи.
- Когда я проанализировал данные переписи населения, я обнаружил три тревожных признака низкого качества данных:
- Индекс Уиппла показывает, сколько людей заканчивают свой возраст цифрой 0 или 5. Худшая категория — старше 175 лет, а по данным переписи 2008 года этот показатель составлял 178,4.
- Соотношение мужчин и женщин составляло 108 мужчин на каждые 100 женщин. Учитывая плохой доступ к здравоохранению и активный конфликт, это кажется крайне маловероятным.
- Данные переписи 2008 года несовместимы с оценкой численности населения на 2021 год. В 2021 году численность населения оценивалась в 12 444 018 человек. Для того чтобы это соответствовало оценке 2008 года, численность населения должна была бы расти на 5% в год, при условии правдоподобных предположений о миграции и смертности. Это также представляется маловероятным.
Одно или оба из этих исследований являются неточными.
Если это основной пример высококачественных данных по Южному Судану, то это, кажется, подрывает основную мысль статьи.
Кроме того, конкретные впечатляющие статистические методы, которые автор хвалит, применялись значительно позже его пребывания там в 2012 году. Исследования с использованием высокочастотного опроса проводились начиная с 2015 года и в значительной степени опирались на данные переписи населения 2008 года (уже отмеченные как неточные). Исследователи Всемирного банка, которые утверждают, что данные были особенно точными, также проводили это исследование.
Наконец, я не думаю, что позитивная трактовка отражает провал институтов, характерный для Южного Судана. Маргарет Лабанья сама заявила, что правительство Южного Судана подорвало работу статистического департамента и фактически довело его до краха. Она говорит, что «те, кто обладал политической властью, начали отодвигать статистику на второй план».
Южный Судан — это несостоявшееся государство, миллионы беженцев до сих пор находятся за пределами страны. Это совершенно жестокая диктатура с одними из худших институтов в мире. Хотя статья пытается представить ситуацию в позитивном свете, всё же кажется несколько неискренним посвятить целую статью Южному Судану, даже не упомянув эту ситуацию.
В огромной, крайне бедной стране с низким уровнем доверия и неэффективными институтами отправка тысяч плохо контролируемых, в основном неопытных переписчиков по всей стране не позволит получить качественные данные, какими бы замечательными ни были Маргарет или другие руководители. Более того, учитывая ситуацию, я испытываю к Маргарет Лабанье ещё больше уважения.
Сама она не делает смелых заявлений автора о том, что статистика очень хороша. Она говорит о том, что делает все возможное, чтобы получить максимально точные данные. Она также готова критиковать правительство Южного Судана, что вполне могло дорого ей обойтись.
Данные, в сборе которых она помогла, могут быть одновременно полезными, в некоторой степени использоваться в программах и влиять на жизнь людей, но при этом оставаться довольно неточными. Я думаю, лучше быть честным в отношении этих реалий, чем приукрашивать их.
Ник Лэинг
Генеральный директор OneDayHealth
Ответ от Дэна Хонига:
Я благодарна автору критики за то, что он отнёсся к моей статье достаточно серьёзно, чтобы углубиться в представленные в ней доказательства. По некоторым фактическим и содержательным вопросам мы расходимся во мнениях, к чему я вернусь ниже. Но я хочу начать с того, что мне кажется наиболее важным пунктом в ответе: по которому, как мне кажется, мы почти полностью согласны. Маргарет — замечательная личность.
Действительно, это утверждение гораздо ближе к основной идее моей статьи, чем точность переписи населения Южного Судана 2008 года.
Мой интерес к этой истории начался с наблюдения, которое я сделал во время работы в Южном Судане в 2012 году. В сложных условиях работы я получил опыт (а не результаты систематических исследований/доказательств, чтобы было понятно), когда правительственные данные были полезными, последовательными и воспринимались окружающими меня людьми — государственными чиновниками, донорами и НПО — как достаточно надежные для использования в своей работе. Это меня удивило.
Спустя годы, изучая тему «бюрократы, движимые миссией», я познакомился с Маргарет Лабанья и начал понимать одну важную деталь того, как статистическому агентству в таких условиях удалось добиться таких успехов. Она является примером того, что я называю бюрократом, движимым миссией: человеком, глубоко мотивированным целью своей работы, который как самостоятельно принимает решения, так и способствует формированию приверженности среди тех, кем он руководит.
Я не заинтересован в защите (и не намеревался утверждать) утверждения о том, что вся статистика, опубликованная Национальным бюро статистики, включая перепись 2008 года, должна быть точной. Я хотел сказать следующее (и если это было неясно в тексте, это моя вина, и я ценю возможность уточнить): даже в государстве, сталкивающемся с институциональными проблемами, могут существовать очаги действительно впечатляющей бюрократической эффективности. Понимание людей, управления и организационной среды, которые делают эти очаги возможными, является важной — и недостаточно изученной — частью понимания потенциала государства. В этом вопросе, я подозреваю, мы с автором критики гораздо ближе к согласию.
Перепись населения, высокочастотные обследования и данные по Южному Судану
В критике утверждается, что описанное мной мероприятие не могло состояться во время моего пребывания в Южном Судане в 2012 году, поскольку высокочастотное обследование проводилось с 2015 года. Существовало несколько этапов высокочастотного обследования, первый из которых состоялся до моего приезда в Южный Судан (фактически они не начались в 2015 году). И, конечно же, существовали и другие статистические агентства, собиравшие данные в период между переписью 2008 года и этими обследованиями. Просто неверно утверждать, что я наблюдал за работой бюро в 2012 году, а затем задним числом приписывал увиденному мне методу методы, разработанные много лет спустя.
Тем не менее, я думаю, что критика выявила место, где мой текст мог бы быть более точным. После обсуждения подхода Маргарет к созданию организации я привожу в качестве доказательства данные высокочастотного опроса. Мое утверждение заключалось в описании удивительных возможностей бюро и качества данных, прошедших тщательную внешнюю проверку (что, конечно, относительно редко). Я не намеревался подтвердить каждую статистику, когда-либо предоставленную Национальным статистическим бюро, или создать впечатление, что данные высокочастотного опроса используются «для» переписи 2008 года или каких-либо других конкретных результатов работы Национального статистического бюро Южного Судана. Я мог бы яснее выразить свою основную мысль о том, что это агентство в целом производит качественные данные.
Обратимся к переписи населения 2008 года, которой критический анализ уделяет значительное внимание. Позвольте мне уточнить: перепись 2008 года не является основным источником информации, на котором основывается мое описание данных по Южному Судану в статье. Именно поэтому я нигде в тексте не упоминаю перепись 2008 года. Возможно, часть информации, с которой я столкнулся в 2012 году, получена именно из этой переписи; но я не знаю наверняка, и не считаю, что мои основные утверждения в статье основаны на ответе на этот вопрос.
Я согласен с тем, что некоторые статистические утверждения в критике, кажется, указывают на недостатки переписи населения 2008 года, и я готов это признать. Я не считаю, что когда-либо делал утверждение, противоречащее этой точке зрения, ни в своей статье в разделе «В разработке», ни где-либо еще.
И, как справедливо отмечается в критике, сама Маргарет говорит не столько о статистическом совершенстве, сколько об extraordinary усилиях, необходимых для получения максимально достоверной информации в чрезвычайно сложных условиях.
Для меня это самый важный вывод, когда мы рассматриваем статистические данные Южного Судана, включая, возможно, перепись 2008 года. «Качество данных» — это не бинарное понятие, в котором набор данных либо идеально точен, либо бесполезен. Главное, что эти данные оказались полезными для принятия решений, — это не технические детали переписи почти 20-летней давности, а то, как следует оценивать статистику Южного Судана и какие уроки из опыта работы Маргарет в этом агентстве могут извлечь для всего мира. Удивительным достижением стало не создание идеальной статистической системы, а построение института, способного генерировать информацию, достаточно полезную для того, чтобы заинтересованные стороны могли полагаться на нее в условиях, когда это было чрезвычайно сложно.
В критике говорится, что позитивная трактовка моей статьи кажется «неискренней», учитывая общую историю несостоятельности государства в Южном Судане, и предполагает, что в такой бедной стране с низким уровнем доверия и слабыми институтами просто очень трудно представить, чтобы тысячи переписчиков смогли собрать действительно качественные данные. И это правда, что Южный Судан сталкивался — и продолжает сталкиваться — с политическими, гуманитарными и институциональными трудностями.
Но, как я пишу в статье, государства не являются едиными субъектами. «Джуба», «Вашингтон» или «Лондон» не отражают чего-то одного. В правительствах, которые в целом показывают плохие результаты, некоторые организации работают хорошо. В правительствах, показывающих высокие результаты, некоторые организации работают плохо. В отдельных ведомствах одни команды процветают, а другие терпят неудачу.
В своей статье «В развитии» я подробно рассказываю о том, что одно и то же базовое явление наблюдается по всему миру. Эффективность работы правительства сильно различается внутри стран и даже внутри организаций. Там, где мы находим примеры исключительной эффективности, очень часто встречаются преданные своему делу государственные служащие, эффективные менеджеры, значимая автономия, прочные взаимоотношения с коллегами и чувство причастности к цели.
Это важно, потому что большая часть дискуссий о потенциале государства начинается с чего-то другого. Мы видим слабые системы и стремимся к ужесточению правил, усилению мониторинга, созданию систем контроля, чтобы исключить возможность ошибок. Иногда это помогает. Но люди — это не просто ресурсы для организационного механизма. Их мотивация, суждения и взаимоотношения влияют на то, что государство может и делает.
Если бы мы всерьез задумались о наделенных полномочиями, целеустремленных бюрократах — и об организационных условиях, которые их привлекают, поддерживают и помогают другим стать похожими на них, — я считаю, мы могли бы добиться гораздо большего в наших усилиях по укреплению государственного потенциала как в развивающихся, так и в развитых странах.
В ответ на статью «Почему экономисты не слушают»
Уважаемые редакторы,
В этом посте смешиваются два момента. Один из них бесспорен: экономистам следует использовать больше типов данных. Стенограммы и интервью с открытыми вопросами являются тому доказательством, и ничто в революции доверия не исключает их. Управленческая программа Ника Блума и Джона Ван Ринена построена на интервью с открытыми вопросами. Многие из нас пишут статьи, используя текст как данные.
Второй момент носит идеологический характер: считается, что дистанцирование от субъектов делает исследование недействительным, что респонденты должны стать соавторами, что разделение — это всего лишь «показная объективность». Эта идея сбивает исследователей с пути истинного. Я хочу иметь возможность проверить ваши выводы, а не заменять проверяемость сочувствием. Если вы пишете статью, я не буду её читать, если буду знать, что вы заранее настроены рассказать определённую историю. Мне всё равно, кому вы сочувствуете; ваше сочувствие снижает проверяемость и интерес к вашему исследованию. Да, разделение — это скорее стремление, чем всегда возможное решение. Но как только мы сдаёмся и знаем, что будет написано в аннотации и заголовке, ещё до того, как посмотрим на данные, само исследование становится перформативным.
Луис Гарикано
Профессор государственной политики в Лондонской школе экономики.
Уважаемые редакторы,
Я с большим интересом прочитал статью Биджу Рао о том, почему экономисты не прислушиваются к мнению других . Она хорошо отражает то, что говорили мне мои научные руководители, когда я начинал свою докторскую диссертацию. Два года я провел в Вануату, размышляя о малых островных государствах, о том, сколько людей действительно нужно стране для управления ею, и о том, как заставить политиков заниматься экономическим анализом. Когда я поделился некоторыми из этих идей со своим научным руководителем, он сказал: «Это интересные идеи… для газетной статьи. Не для экономического журнала. Ваша задача — публиковаться в экономических журналах». Другой наставник отреагировал на мои предложения так: «Это хорошая идея для социологии. Но помните, мы экономисты. Наше сравнительное преимущество заключается в работе с большими выборками, вопросы с малыми выборками мы должны оставить другим дисциплинам».
Поэтому я очень сочувствую точке зрения Биджу по этому вопросу. Но его статья оставила у меня больше вопросов, чем ответов:
- Нужны ли вообще дисциплинарные границы? Определяется ли область исследований своими вопросами или своими методами? Предписания Биджу можно интерпретировать как еще одну форму экономического империализма. Можно услышать, как социологи и антропологи кричат: «Сначала вы пришли за нашими вопросами, вы писали в своих статьях, что о чем-то еще мало известно, хотя в журналах, которые вы не читаете, об этом известно ОЧЕНЬ МНОГО, а теперь вы еще и наши методы возьмете?» В целом, я считаю, что сравнительное преимущество — это хорошо, эпистемологическая скромность — это хорошо, и нам следует найти способ поощрять сотрудничество между экономистами и специалистами других социальных наук, а не учить экономистов делать все.
- Это наследственность или воспитание? Я не думаю, что мы можем сделать из людей, поступающих на экономические программы, мастеров смешанных методов. Мы знаем, что качественная работа — это не просто «слушать людей». Это значит обладать достаточными знаниями, чтобы понимать то, что вы слышите, и формировать теории на основе услышанного и неуслышанного. Это совершенно иной навык, чем количественный анализ и кодирование. Существуют другие дисциплины, известные своими подобными навыками, и люди, заинтересованные в них, часто поступают именно на такие программы.
- Как формируется когнитивная эмпатия? Джереми Вайнштейн говорит своим студентам: «Вы должны быть близки к той политике, которую хотите изучать». Менее благосклонно можно сказать, что место вашего проживания влияет на то, чьего одобрения вы ищете, и это, в свою очередь, влияет на то, над чем вы работаете и какие методы используете.
Если бы я выносил суждение, я мог бы сказать, что надеюсь, что со временем больше социальных ученых, таких как Биджу, вернутся в Индию, но я понимаю, что жизнь не так проста. В странах Глобального Севера гораздо больше капитала, удобств и свобод. В той мере, в какой нам нужен капитал для проведения исследований, важно быть доступным для этого капитала, и поэтому на самом деле важна не дистанция между экономистами и людьми, которых они изучают, а дистанция между владельцами благотворительного капитала и людьми, которым они хотят помочь.
Каран Нагпал
Старший директор в IDinsight