Survei AI Bukan Survei Asli: Mengungkap Fakta di Balik Polling Sintetis

Beberapa minggu setelah kemenangan Donald Trump untuk kedua kalinya sebagai presiden, saya naik kereta dari London (tempat saya tinggal saat itu) ke Oxford untuk menghadiri konferensi tentang polling dan prediksi Pemilu 2024. Sebagian besar peserta adalah ahli polling atau akademisi, namun saya juga menyaksikan presentasi dari dua perusahaan, Aaru dan Electric Twin, yang melakukan apa yang disebut synthetic sampling, silicon sampling, atau synthetic audiences. Singkatnya, mereka menggunakan model bahasa besar (LLM) untuk mensimulasikan tanggapan dalam survei opini publik dengan agen AI yang berperan sebagai responden survei.

Saya sudah mendengar tentang Aaru dari beberapa artikel dengan judul menarik seperti "Tanpa Orang, Tidak Masalah: Chatbot AI Memprediksi Pemilu Lebih Baik daripada Manusia" beberapa bulan sebelum Hari Pemilu. Para pendirinya membuat klaim besar, bahkan terkesan berlebihan, seperti "dalam dua tahun, kami akan mensimulasikan seluruh dunia — mulai dari cara pertanian di Ukraina hingga dampaknya terhadap produksi minyak di Irak, perdagangan melalui Selat Malaka, dan pemilihan walikota Baltimore." Ketika Semafor mewawancarai pendiri Aaru, Cameron Fink dan Ned Koh, mengenai saya, mereka mengatakan "kami menghormati semua yang telah datang sebelum kami." Nate (seperti biasa) juga membagikan pemikirannya di Twitter.

Fink dan Koh bersikap cukup santai ketika kami berbicara di Oxford. Mereka bahkan menawarkan mengirimi saya kaos dengan kutipan Nate yang mereka buat. Saya tidak pernah menerima tawaran itu, yang sekarang agak saya sesali.

Perusahaan synthetic sampling sempat menghilang dari perhatian saya, tetapi mereka masih ada. Bahkan, Aaru baru-baru ini mendapat valuasi sebesar $1 miliar. Apakah apa yang mereka lakukan merupakan terobosan utama dalam pengembangan AI? Jauh dari itu, terutama ketika Anthropic baru saja mengembangkan model yang sangat mahir mengeksploitasi kerentanan perangkat lunak sehingga hanya dirilis ke 40 perusahaan saja.

Namun, silicon sampling makin banyak digunakan dalam polling publik. Axios melaporkan pada Maret bahwa "mayoritas orang percaya pada dokter dan perawat mereka" berdasarkan temuan dari Aaru — tanpa menyebut bahwa "orang-orang" itu sebenarnya adalah LLM. Pada waktu yang sama, Public Sentiment Institute "meningkatkan" sampel online mereka yang terdiri dari 373 responden nyata dengan 114 agen AI. (Spoiler: bahkan salah satu pendiri Electric Twin tidak menganggap ini pendekatan yang layak.) Perusahaan polling seperti Qualtrics dan Ipsos juga mengembangkan panel data sintetis.

Apa Itu Polling AI dan Mengapa Bukan Polling Asli?

Jadi, bagaimana kita harus memandang survei semacam ini? Mari kita luruskan dulu: apapun namanya, survei ini bukan polling dalam arti tradisional yang biasa kita pahami.

Di satu sisi, menggunakan LLM untuk membuat responden survei palsu terdengar seperti ide paling bodoh yang hanya akan meniru polling asli dengan hasil yang kurang akurat dan penuh bias. Namun di sisi lain, dengan LLM yang terus berkembang pesat, mungkin saya sudah ketinggalan zaman karena masih percaya pada survei yang mewawancarai manusia nyata.

Saya tidak mengatakan bahwa sampel sintetis sama sekali tidak berguna. Justru ada bukti bahwa beberapa teknik dapat meniru hasil survei utama secara cepat dan murah. Tapi pemasaran dari beberapa perusahaan ini cenderung terlalu optimis. "Tidak akan ada polling tradisional saat pemilu berikutnya," kata Fink pada 2024. Saat ini kita tinggal 206 hari lagi dari pemilu sela, dan berdasarkan fakta saya masih mengumpulkan banyak polling setiap hari, saya rasa seharusnya dia meminta pendapat sekelompok agen AI dulu sebelum wawancara itu.

Bagaimana Cara Kerja Synthetic Sampling?

Untuk memahami mengapa sampel sintetis tidak bisa menggantikan polling, berikut penjelasan singkat cara kerjanya. Versi paling sederhana adalah mengambil LLM (misalnya ChatGPT atau Claude), memberi profil demografis (misalnya wanita kulit putih, lulusan perguruan tinggi yang tinggal di Utah dan berpenghasilan $70 ribu per tahun), lalu meminta model itu menjawab pertanyaan survei. Proses ini diulang ribuan kali dengan profil yang berbeda-beda sehingga terbentuk sampel jawaban sintetis.

Model yang digunakan oleh perusahaan biasanya lebih kompleks karena memasukkan lebih banyak karakteristik demografis dan informasi tambahan. Aaru, misalnya, memberi agen mereka informasi berita dan data yang mungkin mereka konsumsi. Electric Twin menggunakan data pelanggan mereka yang eksklusif untuk meniru audiens target. Ben Warner, co-founder Electric Twin, menjelaskan: "Kami memiliki banyak data tentang, misalnya, 5.000 orang. Bisakah kami memprediksi bagaimana mereka akan menjawab pertanyaan lain dengan akurat?"

Namun jelas bahwa synthetic sampling bukan pengganti polling asli. Polling adalah proses pengumpulan data. Meskipun survei digunakan untuk memprediksi hasil, tujuan utama polling adalah mendapatkan data baru tentang pendapat dan perasaan orang. Sampling sintetis hanya menghasilkan model prediksi berdasarkan data yang sudah ada, tanpa menghasilkan data baru.

Banyak ahli polling berpendapat bahwa model bukanlah polling. Natalie Jackson, wakil presiden GQR Insights, mengatakan, "Saya rasa politik harus menjauh dari synthetic sampling karena kita berusaha mewakili suara rakyat." Pollster Demokrat John Hagner menyatakan skeptisisme: "Saya rasa ini bukan riset. Pada titik ini, Anda meminta mesin mengatakan apa yang sudah Anda yakini." Hagner juga mengungkapkan bahwa jika synthetic sampling dipakai dalam kampanye, itu masih sangat dirahasiakan.

Perbedaan Antara Polling Tradisional dan Synthetic Sampling

Memang benar bahwa polling tradisional juga melibatkan banyak keputusan model seperti metode sampling, definisi pemilih potensial, dan pemberian bobot data, yang berpengaruh pada hasil akhir. Bahkan Aaru menyebutkan keterbatasan ini dalam pernyataan metodologi mereka, meskipun penjelasan tersebut sangat minim.

Tetapi perbedaan krusial tetap ada: polling tradisional menggunakan data nyata dan menerapkan teknik statistik, sedangkan synthetic sampling menggunakan model untuk memprediksi apa yang akan dikatakan polling. Pendekatan terakhir lebih mirip dengan metode prakiraan pemilu seperti MRP — berguna sebagai model, tapi tidak bisa menggantikan polling asli.

Ben Warner dari Electric Twin mengibaratkan polling dan synthetic sampling sebagai alat yang berbeda dalam kotak perkakas: "Kesalahan kita adalah mengira alat baru harus bekerja sama atau menggantikan alat lama. Kita punya palu, obeng, dan sekarang gergaji. Tapi jangan gunakan gergaji untuk menggantikan palu."

Komentar Nate Silver

"Selain pemasaran yang sering menyesatkan, yang mengganggu saya dari hype polling AI adalah semakin murah dan baiknya inferensi statistik oleh AI justru meningkatkan nilai pengumpulan data asli. Anda bisa melatih model untuk memperkirakan jawaban responden yang sulit dijangkau, tapi Anda tidak tahu pikiran mereka kecuali Anda benar-benar mewawancarai mereka." — Nate Silver

Menurut Nate Silver, investasi lebih baik diarahkan untuk menemukan sampel representatif dari pemilih sulit dijangkau dan memanfaatkan data eksklusif untuk strategi kampanye, daripada menggantikan polling dengan model AI.

Seberapa Akurat Model Synthetic Sampling?

Jika polling AI hanyalah model baru, pertanyaan berikutnya adalah: apakah model ini akurat? Jawabannya bervariasi tergantung siapa yang ditanya.

Dari satu sisi, pendukung synthetic sampling mengklaim metode mereka lebih akurat daripada polling nyata. Ned Koh mengatakan kepada CNBC bahwa synthetic sampling adalah "ajaib" dan bisa lebih tepat memprediksi perilaku manusia dibandingkan wawancara langsung.

Memang ada bukti bahwa synthetic sampling bisa mereplikasi hasil utama survei, tapi jika Aaru punya contoh keberhasilan yang lebih baik dari polling, mereka belum membagikannya. Model pemilu Aaru 2024 sempat menunjukkan Kamala Harris memimpin di beberapa negara bagian, dan memberi peluang menang sebesar 50,5% pada 2 November. Setelah pemilu, Fink mengatakan hasil itu "dalam margin kesalahan," istilah yang tidak relevan untuk sampel AI.

Mereka juga mengklaim model mereka sekarang lebih murah, cepat, dan lebih akurat daripada polling tradisional. Dua klaim pertama benar, tapi klaim ketiga masih diperdebatkan.

Jackson dan Hagner tetap skeptis, terutama untuk menggali pandangan yang lebih bernuansa. Jackson memberi contoh pemilih di Arizona dan Nevada yang pada 2024 mendukung Trump sekaligus mendukung perluasan aborsi — jenis opini yang sulit ditangkap oleh mesin. Hagner menambahkan bahwa responden sintetis terlalu "baik" dan kurang menampilkan sikap negatif atau ekstrem seperti manusia.

Penelitian akademik juga mendukung pandangan ini, menunjukkan LLM sering kekurangan respons "tidak tahu" dan cenderung memprediksi tingkat popularitas politisi terlalu tinggi, serta kesulitan membedakan opini antar kelompok demografis.

Warner menanggapi bahwa kegagalan akademisi tidak berarti metode synthetic sampling gagal total. Electric Twin bahkan menggunakan teknik ensemble forecast yang menggabungkan berbagai model dan prompt untuk meningkatkan akurasi.

Meski bukan "bola kristal," Warner percaya sistemnya berguna untuk pemodelan partisipasi pemilih hari ini. Saat ini, metode ini makin populer dalam riset pasar dengan klien seperti EY dan McDonald's.

Masa Depan Polling dan AI

AI juga mulai digunakan dalam proses polling, misalnya untuk mengode jawaban terbuka dan menguji penggunaan LLM untuk mengajukan pertanyaan survei. Namun ada risiko serius: agen AI bisa menyusup ke survei online, memengaruhi hasil. Meskipun ada filter keamanan, efektivitasnya masih dipertanyakan. Jika agen AI sulit dideteksi, mungkin ini akan mengakhiri survei online, tapi solusinya bukan mengganti semua responden dengan ChatGPT.

Menurut laporan asli Nate Silver, kita harus waspada terhadap klaim berlebihan tentang polling AI dan memahami perbedaan fundamental antara model dan data asli.

Analisis Redaksi

Menurut pandangan redaksi, meskipun teknologi AI dan synthetic sampling menawarkan kemudahan dan efisiensi dalam prediksi, mereka tidak bisa menggantikan nilai esensial dari pengumpulan data asli melalui wawancara langsung kepada responden manusia. Data asli menangkap dinamika opini yang berubah-ubah dan nuansa sosial yang sulit direplikasi oleh model AI.

Potensi penyalahgunaan polling sintetis dan infiltrasi AI ke survei online juga menjadi ancaman nyata bagi integritas data polling politik dan riset pasar. Publik dan pembuat kebijakan harus kritis dan menuntut transparansi lebih dalam penggunaan metode ini.

Ke depan, pembaca harus mengawasi perkembangan teknologi polling AI serta regulasi yang mengatur penggunaannya agar tidak menyesatkan publik dengan data hasil simulasi semu. Pemilu dan keputusan strategis yang bergantung pada data harus tetap didasarkan pada survei yang valid dan representatif.