Saya memberikan survei kepada mereka untuk dijawab: banyak pertanyaan yang membutuhkan jawaban numerik tentang konsumsi dan struktur keluarga — siapa yang tinggal di rumah tangga tersebut, berapa usia mereka, apa yang mereka makan, terbuat dari apa atap rumah mereka. Ini adalah hal standar dalam ekonomi pembangunan.

Kami baru beberapa menit berada di sana ketika pintu dibanting terbuka. Suami seorang wanita menerobos masuk ke ruangan, menjambak rambut istrinya dan menyeretnya keluar, sambil berteriak bahwa makan siang belum matang dan istrinya hanya membuang-buang waktu bersama kami.

Saat itu saya masih seorang ekonom muda, dengan gelar PhD yang baru saja saya raih. Kuesioner saya tidak memuat pertanyaan tentang apa yang baru saja saya lihat. Kami tidak datang untuk mempelajari kekerasan dalam rumah tangga; kami datang untuk mengumpulkan bukti tentang pertanyaan yang lebih sederhana, yaitu bagaimana sistem sosiobudaya dan ekonomi membentuk pasar perkawinan dan standar hidup.

Ruang lingkup ini cukup kabur sehingga, pada prinsipnya, hampir apa pun seharusnya dianggap relevan; seharusnya mudah untuk menyesuaikan dan mengumpulkan lebih banyak data yang secara akurat mencerminkan kehidupan perempuan. Tetapi survei yang kami bawa—dengan semua asumsi yang melekat di dalamnya—dirancang untuk mencatat apa yang dapat diukur dengan jelas dan tidak banyak hal lain. Pelatihan disiplin ilmu kami tidak sesuai dengan tujuan.

Kami menghabiskan waktu seminggu tinggal di desa itu, minum buttermilk dan kopi, duduk dalam keheningan yang panjang, sebelum akhirnya salah satu wanita membuka diri dan berkata: “Kalian telah menjadi teman kami dan kami tidak bisa berbohong kepada kalian lagi. Kami merasa seperti berada di penjara. Suami kami selalu memukuli kami. Mereka menghabiskan uang keluarga untuk alkohol. Tidak ada yang membantu.”

Itu adalah informasi baru. Kami langsung menulis ulang kuesioner kami, menambahkan item tentang kekerasan dalam rumah tangga, yang menghasilkan analisis metode campuran tentang kekerasan dalam rumah tangga dan salah satu makalah ekonomi pertama tentang subjek tersebut di negara berkembang .

Saya telah memikirkan minggu itu selama lebih dari 30 tahun. Bukan karena ceritanya tidak biasa — siapa pun yang telah melakukan penelitian lapangan serius pasti memiliki versi cerita serupa — tetapi karena apa yang diajarkannya kepada saya tentang disiplin ilmu saya sendiri. Saya seorang ekonom, dan ilmu ekonomi terkenal karena ketelitiannya, penekanannya pada metode kuantitatif — dan jaraknya dari subjek penelitian. Ilmu ekonomi cenderung berfokus pada hal-hal yang terukur, yang dapat mengesampingkan hal-hal yang penting; jika tidak dapat dimasukkan dalam modul survei, maka tidak layak untuk dipelajari. Tetapi hidup lebih dari sekadar modul survei, dan tembok antara ekonom dan subjek penelitian bukanlah kemudahan metodologis. Itu adalah masalah utama dalam disiplin ilmu ini.

Sepanjang karier saya, saya berperan sebagai semacam mata-mata — seorang ekonom yang menyelundupkan metode antropologi melewati tembok. Saya telah menulis versi akademis yang cermat dari argumen ini. Berikut ini adalah versi yang akan saya bicarakan sambil minum.

Bagaimana Kita Sampai di Sini

Segalanya tidak dimulai seperti ini. Pada akhir abad ke-19, Charles Booth, seorang taipan perkapalan yang beralih menjadi sosiolog amatir, berinisiatif untuk mencari tahu bagaimana sebenarnya kehidupan kaum miskin di London. Ia menghabiskan 17 tahun untuk pekerjaan itu. Timnya mengumpulkan informasi tentang 4 juta penduduk London: inspektur sekolah, pemilik pabrik, pendeta, polisi, dan banyak lagi. Mereka melakukan survei, tetapi mereka juga melakukan lebih dari itu: mereka mencatat, melakukan wawancara terbuka, dan membuat peta berkode warna. Booth menggunakan angka dan cerita karena pertanyaannya—seperti apa kemiskinan di London?—membutuhkan keduanya. Ia dan timnya menyatukan semua itu ke dalam 17 jilid "Kehidupan dan Kerja Rakyat di London," yang menunjukkan, blok demi blok, siapa yang kaya, siapa yang miskin, dan siapa yang berada di antara keduanya. Integrasi antara cerita dan data ini membentuk kebijakan ekonomi dan sosial di Inggris selama satu generasi.

Sepanjang abad ke-20, integrasi itu mulai runtuh. Ilmu ekonomi, dalam upayanya untuk mencapai status ilmiah, mempersempit dirinya pada analisis data kuantitatif. Antropologi budaya terpecah menjadi tradisi etnografi — sebagian di antaranya sangat mendalam, dan sebagian lagi dipenuhi kritik dan introspeksi diri. Sosiologi terfragmentasi menjadi banyak bagian dan spiral perdebatan internal tentang metode. Psikologi menjadi eksperimental. Ilmu politik semakin dipengaruhi oleh ekonomi baik dalam teori maupun metode tetapi tetap terbuka terhadap pencampuran metode kualitatif dan kuantitatif. Pada tahun 1980-an, disiplin ilmu tersebut membedakan diri satu sama lain terutama berdasarkan apa yang mereka tolak untuk diteliti.

Dalam bidang ekonomi, terdapat beberapa upaya untuk menjembatani kesenjangan ini yang tidak memberikan dampak signifikan. Pada tahun 1984, Pranab Bardhan menyelenggarakan konferensi penting bertema “Percakapan Antara Ekonom dan Antropolog” mengenai data dan metode campuran. Pada tahun 2002, saya mencoba mengemukakan argumen untuk “ekonometrika partisipatif.”

Kemudian terjadilah revolusi kredibilitas. Dalam upaya untuk membuat penelitian lebih kredibel dan dapat diandalkan, inferensi kausal menjadi pedoman utama ekonomi empiris. Ini berarti bahwa para ekonom dapat mengatakan dengan yakin bahwa A menyebabkan B, tetapi itu juga berarti mengabaikan jenis pertanyaan yang tidak dapat dijawab dengan alat-alat ini.

Saya tidak ingin disalahartikan. Revolusi kredibilitas merupakan lompatan besar bagi ilmu sosial. Kita sekarang dapat menjawab pertanyaan-pertanyaan yang benar-benar di luar kemampuan kita 30 tahun yang lalu. Tetapi ketika satu-satunya alat yang dapat diterima adalah palu, orang cenderung mencari pertanyaan yang dapat dijawab dengan paku. Para ekonom cenderung lebih menyukai pertanyaan yang dapat dijawab dengan jelas dan mengesampingkan pertanyaan yang tidak dapat dijawab. Dalam bidang pembangunan, konsekuensinya sangat mencolok. Kita sekarang dapat memperkirakan hingga tiga angka desimal bagaimana transfer tunai memengaruhi tinggi badan seorang anak. Kita hampir tidak memiliki informasi tentang bagaimana program tersebut berhasil (atau tidak berhasil) dan kita hampir tidak pernah mendengar langsung dari anak dan keluarganya tentang apa yang mereka katakan tentang hal itu — dengan kata-kata mereka sendiri.

Masalah Jarak

Pada tahun 2002, sosiolog Michael Burawoy menarik garis tegas antara apa yang disebutnya sains positif dan sains reflektif . Sains positif—yang secara garis besar adalah ekonomi—mengisolasi dirinya dari subjeknya. Pengumpulan data distandarisasi sehingga tidak masalah siapa yang mengumpulkan data. Peneliti tidak harus berada di lokasi; perusahaan survei dapat melakukan survei sebaik peneliti itu sendiri. Dunia harus diamati, bukan diikutsertakan. Sains reflektif—etnografi, dalam bentuk terbaiknya—mencakup sudut pandang yang berlawanan. Wawancara tidak terpisah dari intervensi; wawancara adalah bagian dari intervensi tersebut. Peneliti tidak terpisah dari penelitian; sebaliknya, kehadirannya merupakan bagian kunci dari proses tersebut.

Burawoy berpendapat bahwa kedua cara melakukan ilmu sosial ini sangat berbeda sehingga tidak mungkin dapat disatukan. Saya tidak setuju, dan saya telah menghabiskan sebagian besar karier saya untuk mencoba menyatukan dua hal yang menurutnya tidak mungkin bertemu. Tetapi dia benar tentang satu hal. Jarak antara peneliti dan yang diteliti itu nyata, dan dalam ekonomi pembangunan, jarak itu sangat mencolok.

Hampir semua orang yang saya kenal yang mempelajari kemiskinan belum pernah miskin. Kami sering berasal dari negara yang berbeda, kelas sosial yang berbeda, kasta dan ras yang berbeda, seringkali berbicara bahasa yang berbeda, dari orang-orang yang kami tulis. Semua itu tidak mendiskualifikasi Anda untuk bekerja di bidang kemiskinan — akan menjadi profesi yang aneh jika hanya orang miskin yang boleh mempelajari kemiskinan — tetapi hal itu seharusnya memberi kita sedikit kerendahan hati. Sebagian besar ekonom pembangunan tidak tahu seperti apa kehidupan orang miskin sebenarnya, dari hari ke hari.

Yang dihargai oleh disiplin ilmu ini justru adalah kinerja objektivitas: Peneliti tidak boleh memengaruhi subjek penelitian mereka; mereka harus menjaga jarak dan menggunakan alat yang sama seperti orang lain. Kecurigaan subjektif Anda tidak boleh mencemari analisis Anda. Anda bukan bagian dari kelompok subjek, dan Anda seharusnya tidak menjadi bagian darinya; pengaruh Anda terhadap mereka akan membuat penelitian Anda kurang valid.

Singkatnya: semakin jauh jarak kita dari objek yang kita teliti, semakin jelas kita akan melihat mereka. Sebaliknya, yang lebih mendekati kebenaran adalah jarak. Jarak tidak menghasilkan kejelasan; jarak menghasilkan kejelasan seperti yang Anda dapatkan saat menyipitkan mata melalui lingkaran kecil yang telah Anda bersihkan di dalam jendela yang kotor. Hal itu meyakinkan Anda bahwa apa yang dapat Anda lihat dari tempat Anda berdiri adalah semua yang ada untuk dilihat.

Empat Hal yang Sebenarnya Bisa Kita Lakukan

Jadi, apa yang dibutuhkan? Saya menyarankan empat hal yang dapat dilakukan ilmu ekonomi (pembangunan atau lainnya) untuk membatasi jarak peneliti dari subjek penelitian mereka.

Empati Kognitif

Sosiolog Mario Small menggunakan frasa "empati kognitif" untuk merujuk pada kemampuan memahami kesulitan seseorang sebagaimana mereka memahaminya. Tidak cukup hanya memikirkan bagaimana perasaan Anda jika berada di posisi mereka; Anda harus memikirkannya sebagaimana mereka memahaminya dari sudut pandang mereka. Ini jauh lebih sulit daripada kedengarannya. Hal ini mengharuskan Anda untuk mempertimbangkan dengan serius kemungkinan bahwa teori subjek Anda tentang kehidupan mereka sendiri lebih akurat daripada teori Anda.

Beberapa ekonom pembangunan terbaik yang saya kenal memiliki hal ini secara berlimpah. Jean Drèze telah tinggal selama beberapa dekade di pedesaan India yang ia tulis, menolak pendanaan dari lembaga-lembaga seperti Bank Dunia yang menurutnya akan mengkompromikan independensinya, dan berhasil mendorong salah satu jaminan pekerjaan pedesaan terbesar di dunia. Meskipun demikian, ia hampir tidak pernah menerbitkan analisis kualitatif; karyanya sebagian besar bersifat kuantitatif. Tetapi setiap kalimat dibentuk oleh pengalaman bertahun-tahun mendengarkan langsung. Ia tidak sendirian di antara para ekonom; Christopher Bliss dan Nicholas Stern menghabiskan delapan bulan di desa Palanpur pada pertengahan tahun 1970-an dan menginspirasi apa yang sekarang menjadi proyek penelitian lintas generasi .

Intinya bukanlah bahwa empati harus muncul sebagai paragraf kualitatif dalam makalah. Hanya dengan melakukan focus group yang Anda laporkan dalam catatan kaki sebagai pelengkap (dan untuk menunjukkan kredibilitas bidang Anda) tidaklah cukup. Banyak ekonom sudah melakukan ini; jelas ini tidak cukup untuk mengurangi jarak antara peneliti dan yang diteliti.

Intinya adalah, karya tersebut harus dibentuk olehnya. Dan inilah kebenaran yang canggung: Hampir semua ekonomi pembangunan kontemporer tidak demikian. Kita merancang eksperimen berdasarkan masukan dari ekonom lain. Kita membaca makalah, kita berdiskusi dalam seminar, kita membuat model baru berdasarkan teori ekonomi daripada pengalaman. Intervensi dilakukan melalui mitra pelaksana, dan survei akhir dilakukan melalui perusahaan survei. Bahkan analisisnya mungkin ditangani oleh asisten peneliti (atau, sekarang, agen pengkodean). Hasilnya adalah kumpulan karya yang secara teknis sempurna tetapi secara substansi dangkal. Untuk mengutip pepatah lama: Ini adalah cara yang mahal untuk menjadi sangat sepele daripada samar-samar benar.

Narasi Adalah Data

Orang tidak berbicara dalam angka. Mereka berbicara dalam kata-kata. Mereka bercerita, mereka saling bertentangan, mengubah topik dan kembali lagi. Mereka melupakan sesuatu dan mengingatnya di tengah-tengah topik berikutnya; mereka teralihkan dan menceritakan sesuatu yang menarik tetapi tidak terkait. Instrumen survei adalah semacam kekerasan terhadap hal ini — kekerasan yang bermanfaat, seringkali, tetapi tetap saja kekerasan. Alih-alih kekacauan kehidupan manusia, Anda mendapatkan sejumlah kecil kotak centang. Jika kotak-kotak tersebut dirancang dengan baik, Anda mendapatkan banyak informasi. Tetapi Anda tidak pernah mendapatkan semuanya, dan seringkali, Anda akan melewatkan bagian-bagian yang paling penting.

Buku “Portfolios of the Poor” adalah buku yang wajib dibaca oleh setiap ekonom mengenai hal ini. Para penulisnya—seorang ekonom pembangunan (Jonathan Morduch), seorang antropolog, seorang praktisi keuangan mikro, dan seorang ahli keuangan—meninggalkan survei standar dan malah mengunjungi 250 rumah tangga di Bangladesh, Afrika Selatan, dan India setidaknya dua kali sebulan selama setahun, membangun “buku harian keuangan” dari percakapan panjang dan terbuka. Mereka memperkirakan bahwa survei satu kali melewatkan sekitar setengah dari aktivitas keuangan rumah tangga miskin. Setengahnya. Ternyata, kaum miskin tidak hanya sekadar meratakan konsumsi. Mereka mencoba mengelola portofolio aset dalam kondisi ketidakpastian yang mengerikan, dengan sedikit ruang untuk kesalahan. Tidak ada survei konsumsi standar yang akan menunjukkan tingkat kompleksitas bagaimana kaum miskin mengelola rumah tangga mereka; para peneliti harus membiarkan rumah tangga menggambarkan keuangan mereka dengan kata-kata mereka sendiri.

Saya sendiri pernah melakukan hal serupa. Bersama Paromita Sanyal, saya menghabiskan 10 tahun menganalisis transkrip dari 300 pertemuan desa di India Selatan — yang kami sebut "demokrasi lisan" — untuk memahami apakah komunitas miskin, berpendidikan rendah, dan sangat tidak setara benar-benar dapat berdiskusi secara bermakna. (Sebagai informasi tambahan: Mereka bisa, dan kualitas diskusi tersebut jauh lebih bergantung pada kebijakan pemerintah negara bagian daripada tingkat melek huruf desa.)

Sepuluh tahun adalah waktu yang lama. Itulah juga mengapa hanya sedikit ekonom yang melakukan pekerjaan semacam ini. Evaluasi pengangkatan dosen tetap seringkali lebih lambat dari itu; berinvestasi pada sesuatu yang mungkin tidak membuahkan hasil sampai setelah pengangkatan dosen tetap adalah pilihan yang sulit bagi banyak dosen di awal karier mereka. Lebih buruk lagi, data semacam ini tidak selalu menghasilkan publikasi yang mengantarkan Anda pada pengangkatan dosen tetap. Karya saya akhirnya diterbitkan sebagai buku, bukan artikel jurnal lima besar—sesuatu yang nilainya jauh lebih rendah ketika seseorang sedang dalam proses pengangkatan dosen tetap.

Dan hingga belum lama ini, teknologi untuk meningkatkan skala analisis data naratif sama sekali belum ada. Jangka waktu 10 tahun tersebut merupakan fungsi dari teknologi pada saat itu, bukan persyaratan dari metode tersebut. Dengan teknologi saat ini—perangkat perekam, AI untuk transkripsi—pengumpulan data kualitatif jauh lebih mudah daripada sebelumnya. Mengintegrasikan beberapa minggu wawancara terbuka ke dalam RCT standar, membaca transkrip yang mungkin dikumpulkan oleh enumerator perusahaan survei Anda, memanfaatkan data kualitatif yang sudah ada—semua ini sesuai dengan jangka waktu disertasi, dan alat untuk meningkatkan skalanya semakin murah setiap tahun.

Intinya terletak pada refleks disiplin ilmu. Narasi terbuka masih secara rutin diperlakukan dalam ilmu ekonomi sebagai "anekdot" dan bukan data. Para peneliti yang menggabungkan metode kuantitatif dan kualitatif, mengutip lelucon yang sangat cerdas dari ilmuwan politik Atul Kohli, "terjebak di antara batu dan tempat yang empuk." Para peninjau menolak karya mereka karena dianggap kurang teliti, dan para editor tidak melihat nilai tambah yang diberikan.

Saya pernah mengalami hal ini secara langsung. Dua makalah awal tentang kekerasan dalam rumah tangga yang saya sebutkan sebelumnya — satu menggunakan kombinasi metode etnografi dan ekonometrik, yang lain membangun model teori permainan tentang kekerasan terkait mahar dan mengujinya dengan data survei — awalnya merupakan satu makalah tunggal. Ketika saya memasukkan metode kualitatif ke dalam makalah tersebut, makalah itu ditolak oleh beberapa jurnal ekonomi. Saya dan rekan penulis saya, Francis Bloch, menyerah dan membaginya menjadi dua — salah satu makalah yang dihasilkan diterima di salah satu jurnal ekonomi paling bergengsi.

Ketidaksukaan terhadap metode kualitatif ini adalah salah satu takhayul yang paling aneh dalam disiplin ilmu ini; tidak ada alasan metodologis mengapa transkrip kurang informatif daripada skala Likert.

Anggaplah Proses dengan Serius

Ekonomi empiris, terutama sejak revolusi kredibilitas, hampir secara obsesif berfokus pada hasil. Apakah intervensi berhasil? Seberapa besar keberhasilannya? Untuk siapa? Ini adalah pertanyaan yang bagus, tetapi bukan satu-satunya. Jarang sekali makalah ekonomi empiris menghabiskan banyak waktu untuk berfokus pada bagaimana suatu hasil terjadi. Siapa yang mengatakan apa kepada siapa untuk memulai proses perubahan? Siapa yang menjadi pengadopsi awal, dan siapa yang harus dilibatkan kemudian? Apa pendapat orang tentang intervensi tersebut? Uji coba acak terkontrol (RCT) dapat memberi tahu Anda apakah suatu intervensi berhasil; etnografi dapat memberi tahu Anda mengapa. Mekanisme seringkali kurang diperhatikan dalam ekonomi empiris. Anda melakukan RCT, Anda mendapatkan hasilnya, Anda menemukan beberapa penjelasan yang masuk akal, Anda menulis model tentang bagaimana penjelasan tersebut akan bekerja (jika benar). Ini baik-baik saja sejauh itu, tetapi tidak terlalu jauh.

Peta mekanisme yang dapat Anda bangun hanya dari teori saja merupakan sebagian kecil dari mekanisme yang sebenarnya beroperasi di dunia nyata, dan penalaran dari hasil kembali ke mekanisme adalah latihan yang terkenal tidak dapat diandalkan. Alternatifnya adalah benar-benar pergi, berbicara dengan orang-orang, dan mengamati.

Beberapa tahun lalu, saya dan kolega mengerjakan uji coba acak di pedesaan Karnataka untuk menguji apakah pelatihan intensif dalam perencanaan partisipatif akan meningkatkan tata kelola desa. Intervensi tersebut menugaskan 50 desa untuk pelatihan partisipatif, perencanaan, dan pemantauan, dan 50 desa lainnya sebagai kelompok kontrol. Alih-alih hanya mengandalkan survei awal dan akhir (yang juga kami lakukan), kami melakukan hal yang tidak biasa dengan menempatkan lima ahli etnografi terlatih di pasangan desa perlakuan-kontrol yang sesuai selama durasi penelitian. Mereka menghasilkan 240 laporan bulanan selama empat tahun.

Hasil utama yang dilaporkan adalah nol. Intervensi tersebut tidak menghasilkan peningkatan yang signifikan secara statistik dibandingkan dengan desa-desa pembanding. Dalam genre ekonomi standar, itu akan menjadi akhir dari cerita — hasil nol yang mengecewakan. Mungkin makalah tersebut akan menyertakan model teoretis tentang mengapa partisipasi gagal, tetapi tidak akan banyak yang bisa dipelajari di sini.

Namun karena kami memiliki etnografi, kami dapat melihat apa yang sebenarnya terjadi: "Kegagalan" bukanlah kegagalan ide, melainkan kegagalan kondisi di mana ide tersebut diuji. Kualitas implementasi sangat bervariasi: Beberapa fasilitator sangat baik dan beberapa buruk. Pejabat tinggi di pemerintahan tidak menganggap intervensi tersebut serius dan sering memindahkan serta mengganti fasilitator dengan alasan yang tidak ada hubungannya dengan intervensi. Ketidaksetaraan berbasis kasta yang terus-menerus secara aktif menghancurkan setiap keuntungan yang dihasilkan dari pelatihan tersebut. Etnografi adalah inti dari makalah ini, bukan hanya sekadar pelengkap.

Responden sebagai Analis

Jika tujuan kita sebagai peneliti adalah untuk membantu orang menjadi lebih sejahtera, maka setidaknya orang-orang itu sendiri harus diberitahu tentang temuan kita. Para praktisi pembangunan telah berbicara tentang melibatkan orang-orang yang mereka teliti dalam proses tersebut selama beberapa dekade — namun, hal ini jarang diimplementasikan. Dan melaporkan temuan hanyalah langkah pertama. Akan lebih baik jika mereka membantu merancang apa yang kita tanyakan. Yang terbaik dari semuanya, mereka seharusnya dapat melakukan penelitian tentang kehidupan mereka sendiri tanpa campur tangan kita sama sekali.

Pada tahun 2014, bersama sekelompok kolega di Bank Dunia, saya mencoba hal ini . Kami bekerja sama dengan perwakilan dari lebih dari 200 desa suku di India Selatan untuk bersama-sama menghasilkan metode yang kami sebut pelacakan partisipatif. Penduduk desa menghabiskan waktu berminggu-minggu untuk menentukan sendiri apa yang dianggap sebagai kehidupan yang baik, mengubah ide-ide tersebut menjadi pertanyaan survei, menguji pertanyaan-pertanyaan tersebut di desa mereka sendiri, dan kemudian—menggunakan tablet dan sistem pelatihan berbasis video—mensurvei tetangga mereka sendiri. Di satu distrik, kami melakukan sensus terhadap 32.000 rumah tangga dalam waktu sekitar enam minggu.

Hanya 17% dari pertanyaan yang tumpang tindih dengan Survei Sampel Nasional India standar. Penduduk desa mengajukan pertanyaan yang berbeda karena mereka ingin mengetahui hal yang berbeda. Misalnya, untuk menilai apakah suatu rumah tangga miskin, mereka merancang pertanyaan berikut, yang terbukti sangat efektif: “Apakah orang terakhir yang makan dalam keluarga pernah kelaparan dalam seminggu terakhir?” Bagi responden, ini jelas merupakan pertanyaan yang ditujukan kepada ibu, dan ibu-ibu di rumah tangga yang kekurangan makanan seringkali kelaparan untuk memberi makan laki-laki dewasa dan anak-anak dalam keluarga.

Tingkat melek huruf rendah, jadi kami berkolaborasi dengan penduduk desa untuk menghasilkan visualisasi data dari hasilnya. Kami melakukan iterasi hingga orang-orang yang tidak bisa membaca dapat melihat sekilas bagaimana keadaan desa mereka terkait hal-hal yang mereka pedulikan. Data tersebut kemudian digunakan dalam pertemuan desa. Kualitas pertemuan tersebut meningkat secara signifikan, karena semua orang bekerja berdasarkan gambaran yang sama alih-alih berdebat tentang fakta.

Alih-alih tabel LaTeX biasa, berikut adalah visualisasi pola pernikahan yang kami buat bersama.

Setiap wanita di desa direpresentasikan sebagai bunga. Tinggi bunga menunjukkan usia wanita tersebut saat menikah. Jumlah daun menunjukkan jumlah anak yang lahir dari pernikahan tersebut. Bunga merah menunjukkan bahwa wanita tersebut menikah dengan kerabat sedarah, dan bunga kuning berarti tidak. Kuncup bunga berarti pernikahan tersebut tidak berdasarkan persetujuan, dan bunga yang mekar berarti pernikahan tersebut berdasarkan persetujuan. Pemetaan antara penampilan dan makna bunga disesuaikan oleh para wanita agar lebih relevan dengan konteks lokal mereka, dan karenanya lebih intuitif.

Beberapa penduduk desa yang melihat visualisasi ini langsung mengabaikan proporsi bunga merah yang tinggi yang mereka lihat, karena pernikahan dalam keluarga diterima dan dipraktikkan secara luas. Namun, komunitas lain ingin mengurangi rasio bunga merah terhadap bunga kuning dengan mendidik generasi perempuan mendatang tentang masalah yang terkait dengan pernikahan dalam keluarga.

Percayalah, saya tahu bagaimana kedengarannya. Sebagian besar peneliti lain akan menganggap eksperimen ini sebagai "menarik tetapi tidak dapat diskalakan." Itu memang sedikit benar; proses survei partisipatif yang diproduksi bersama lebih lambat dan lebih melelahkan daripada kuesioner standar. Kami tidak dapat menggunakan serangkaian pertanyaan standar, karena serangkaian pertanyaan standar bukanlah yang sebenarnya ingin diketahui orang. Dan alternatifnya adalah status quo: di mana kami akan datang, mengajukan banyak pertanyaan kepada orang-orang tentang kehidupan mereka — yang sebenarnya tidak mereka rasa relevan bagi mereka — dan menulis makalah yang tidak akan pernah dibaca oleh siapa pun yang disurvei. Mengingat hal itu, survei yang diproduksi bersama tampaknya sepadan dengan waktu yang dihabiskan.

Masalah LLM

Teknologi untuk mengkode pertanyaan wawancara terbuka juga telah jauh lebih baik dalam dekade terakhir. Model bahasa besar sangat mahir dalam menelusuri sejumlah besar teks tidak terstruktur dan menarik tema; kemampuan Claude saat ini akan tampak seperti fiksi ilmiah pada tahun 2014. Sekarang, mereka pada dasarnya dapat menggantikan asisten peneliti dalam mengkode teks berbahasa Inggris . Saya juga telah menggunakan LLM. Beberapa pekerjaan saya baru-baru ini memanfaatkan panel pengungsi Rohingya dan tuan rumah Bangladesh di mana kami melakukan wawancara terbuka panjang dengan 2.000 responden dan mengembangkan metode yang kami sebut iQual. Metode ini menganalisis sub-sampel kecil menggunakan pengkodean kualitatif sosiologis interpretatif dan kemudian menggunakan pembelajaran mesin untuk meningkatkan skala kode ke sampel penuh. Proyek semacam ini sebelumnya tidak mungkin dilakukan.

Namun, menggunakan LLM di luar konteks Barat tidak selalu mudah. Kami membandingkan metode "khusus" kami dengan pengkodean berbasis LLM dan menemukan bahwa LLM memberi kami hasil yang sangat bias — mungkin karena LLM tidak dilatih pada teks dialek Bengali dan Rohingya. Bias dari survei yang dirancang dengan buruk setidaknya dapat dibaca. Bias dari model bahasa mutakhir yang dilatih di internet tidak. Mudah-mudahan ini adalah masalah sementara; dengan upaya yang dilakukan untuk meningkatkan AI dengan bahasa yang kurang sumber daya , LLM akan menjadi lebih baik dalam hal ini seiring waktu.

Jadi seharusnya saya bersemangat, dan hampir setiap hari memang begitu. Tapi saya ingin berhati-hati di sini. Memang benar ada versi masa depan di mana LLM (Learning and Learning Model) mendemokratisasi analisis naratif dengan cara yang sama seperti kalkulator mendemokratisasi aritmatika. Mereka lebih cepat dan lebih murah, dan mereka dapat memperluas secara signifikan siapa yang dapat melakukan analisis kualitatif. Namun sayangnya, saya khawatir kemungkinan besar mereka akan digunakan untuk memperlebar jarak antara peneliti dan responden. Jika seorang peneliti tidak pernah menghabiskan waktu dengan orang-orang yang mereka teliti dan hanya membaca ringkasan LLM, tidak ada empati kognitif. Hanya LLM yang mendengarkan — bukan peneliti. Aturan praktis saya adalah bahwa LLM tidak dapat menggantikan manusia. Mereka dapat memperluas jangkauan Anda — membantu Anda memproses data lebih cepat — tetapi mereka tidak dapat menggantikan Anda. Anda tetap perlu menghabiskan waktu di lapangan; Anda tetap perlu berbicara dengan orang-orang tentang kehidupan dan kebutuhan mereka. Anda harus membaca transkripnya sendiri; Anda harus cukup mengenal orang-orang dan konteksnya untuk dapat mengetahui apakah pengkodean LLM telah salah. LLM mungkin cukup ampuh untuk melakukan 90% pekerjaan — tetapi 10% sisanya tidak boleh diotomatisasi. Empati bukanlah keahlian Claude.

Apa yang Sebenarnya Dibutuhkan untuk Mendengarkan Responden

Sebagian dari hal ini dapat dicapai oleh para peneliti individual yang memutuskan untuk melakukan pekerjaan mereka secara berbeda. Namun, sebagian besar lainnya membutuhkan perubahan pada disiplin ilmu itu sendiri. Saat ini, insentif profesional masih mendorong para sarjana muda untuk tetap menjalankan "cara kerja seperti biasa."

Para editor jurnal harus berhenti secara refleks menolak materi kualitatif. Program pascasarjana harus memperluas pengajaran mereka di luar ekonometrika hingga mencakup metode kualitatif juga. Komite perekrutan harus mulai menghargai waktu yang dihabiskan di lapangan. Para pemberi dana harus menerima bahwa pekerjaan metode campuran yang baik bisa mahal dan lambat — tentu lebih lambat daripada menjalankan regresi dari kantor di Cambridge. Tetapi hal itu juga akan membuat ekonomi menjadi disiplin ilmu yang lebih kuat. Menghabiskan waktu bersama orang-orang akan menghasilkan wawasan yang tidak dapat diperoleh dengan cara lain.

Dalam jangka pendek, saya tidak optimis. Disiplin ilmu itu sulit diubah, dan ekonomi lebih sulit diubah daripada kebanyakan disiplin ilmu lainnya. Ekonomi adalah disiplin ilmu yang sudah berjuang untuk melakukan diversifikasi di luar beberapa program unggulan , dan tampaknya ekonomi sangat rentan untuk mereproduksi hierarki kelas . Tetapi saya tidak sepesimis yang seharusnya, karena tampaknya keadaan sudah mulai berubah.

Generasi ekonom pembangunan yang lebih muda kini lebih nyaman melakukan kerja lapangan daripada generasi saya. Disiplin ilmu yang berdekatan—ilmu politik, sosiologi, kesehatan masyarakat—telah lama mencampur metode kualitatif dan kuantitatif tanpa kehilangan identitas disiplin ilmu mereka. Beberapa disiplin ilmu ini bahkan berkolaborasi dengan ekonom, menambah kedalaman pada ketelitian sebuah makalah ekonomi. Dan beberapa lembaga pendanaan juga mulai, perlahan-lahan, mengajukan pertanyaan yang lebih sulit tentang suara siapa yang diwakili dalam pekerjaan yang mereka danai.

Intinya, argumen saya tidak terlalu rumit. Jika Anda mempelajari orang, Anda harus mendengarkan mereka. Ini sangat penting jika Anda mempelajari orang-orang yang menjalani kehidupan yang sangat berbeda dari kehidupan Anda sendiri. Sebagai peneliti, Anda berkewajiban untuk mencoba menjembatani jarak antara Anda dan subjek penelitian Anda — membangun jembatan, bukan tembok.

Tiga puluh tahun yang lalu, Robert Chambers mengajukan pertanyaan penting: “Realitas siapa yang diperhitungkan?” Pertanyaan itu hingga kini belum terjawab. Ilmu ekonomi lebih memilih untuk menghindari pertanyaan tersebut, berpura-pura bahwa data empiris dapat menggantikan jawabannya. Saya rasa ilmu ekonomi tidak seharusnya terus melakukan hal itu. Bahkan, saya pikir ini tetap menjadi salah satu pertanyaan terbuka terpenting dalam penelitian pembangunan.

Wanita di Karnataka yang diseret keluar dari kelompok fokus kami dengan menarik rambutnya itu memberi tahu kami sesuatu — bahwa realitasnya tidak terwakili oleh pertanyaan-pertanyaan kami. Butuh waktu seminggu bagi kami untuk dapat mendengarnya, dan satu-satunya alasan kami akhirnya bisa mendengarnya adalah karena kami masih berada di desa itu seminggu kemudian. Tidak ada jalan pintas untuk ini.

Angka memang membantu. Kata-kata juga. Tetapi yang terpenting adalah duduk di desa dan mendengarkan cukup lama, dan dengan empati kognitif yang cukup, sampai seseorang mengatakan kebenaran kepada Anda.

Vijayendra Rao adalah seorang ekonom pembangunan dan ilmuwan sosial yang menggabungkan metode ekonometrik dengan etnografi. Ia menghabiskan 27 tahun sebagai Kepala Ekonom di Kelompok Riset Ekonomi Pembangunan di Bank Dunia, dan saat ini menjabat sebagai Roberta Buffett Distinguished Scholar-Practitioner in Residence di Northwestern University. Minatnya meliputi gender, budaya, partisipasi, demokrasi deliberatif, ekonomi politik, dan inovasi dalam metode campuran. Karya metodologis terbarunya bersama Julian Ashwin, Monica Biradavolu, dan lainnya menggunakan pemrosesan bahasa alami untuk menganalisis wawancara terbuka dalam skala besar dan membandingkannya dengan analisis kualitatif berbasis LLM. Buku terbarunya, Revolution by Stealth: How Women's Groups Catalyzed a Cultural Transformation in Bihar (bersama Shruti Majumdar dan Paromita Sanyal), akan diterbitkan oleh Cambridge University Press pada September 2026.

Jika Anda memiliki komentar tentang artikel ini, atau ingin berkontribusi dalam diskusi, silakan kirimkan melalui email ke letters@indevelopmentmag.com. Tanggapan Anda akan ditampilkan di bagian surat pembaca.