Studi Mass General Brigham Ungkap Keterbatasan ChatGPT dalam Memberi Saran Medis

Seiring semakin sulitnya mendapatkan janji dengan dokter umum saat merasa sakit, banyak orang beralih menggunakan chatbot AI seperti ChatGPT untuk menganalisis gejala dan mengetahui penyakit yang mungkin diderita. Namun, studi terbaru dari Mass General Brigham memberikan peringatan agar masyarakat tidak terlalu mengandalkan teknologi ini secara penuh.

Hasil Studi Mass General Brigham tentang Akurasi Chatbot Medis

Penelitian yang dipublikasikan pada Senin di JAMA Network Open menunjukkan bahwa chatbot AI gagal memberikan diagnosis diferensial yang benar lebih dari 80 persen ketika hanya diberikan informasi awal seperti usia, jenis kelamin, dan gejala pasien.

Diagnosis diferensial adalah daftar kemungkinan penyebab gejala yang dibuat seorang dokter sebagai langkah awal dalam menentukan penyakit yang tepat.

Namun, ketika chatbot diberikan data lengkap, termasuk hasil pemeriksaan fisik dan tes laboratorium, akurasi diagnosis naik drastis hingga lebih dari 90 persen.

Potensi Risiko Kesalahan Diagnosis dari Chatbot AI

Dr. Marc Succi, direktur eksekutif MESH Incubator di Mass General Brigham, memperingatkan bahwa pengguna chatbot bisa saja salah mengambil tindakan medis berdasarkan informasi awal yang salah.

"Anda tidak bisa begitu saja mempercayai apa yang dikatakan chatbot," kata Dr. Succi. "Ini adalah awal yang baik, tapi perlu pengawasan dan peran manusia."

Menurutnya, manusia yang dimaksud adalah tenaga kesehatan profesional yang mampu mewawancarai pasien, meninjau riwayat medis, melakukan tes diagnostik, serta mempersempit kemungkinan diagnosis hingga yang tepat ditemukan dan penanganan segera dilakukan jika masalahnya darurat.

"Bagian dari tugas dokter adalah membuat diagnosis diferensial awal, lalu mempersempitnya dengan pertanyaan yang tepat dan pemeriksaan fisik, tes laboratorium yang sesuai — hingga akhirnya diagnosis akhir didapatkan," tambah Dr. Succi yang juga profesor radiologi di Harvard Medical School.

Metodologi Studi dan Temuan Detail

Tim peneliti membandingkan kinerja 21 model bahasa besar umum, termasuk versi terbaru ChatGPT, DeepSeek, Claude, Gemini, dan Grok. Mereka menggunakan 29 kasus medis nyata yang melibatkan penyakit umum seperti gagal jantung dan kehamilan ektopik.

Chatbot menunjukkan performa buruk saat hanya diberi data terbatas berupa usia, jenis kelamin, dan gejala. Baru setelah menerima hasil pemeriksaan fisik dan tes laboratorium, chatbot mampu mendekati diagnosis yang benar.

"Model-model ini sangat baik dalam menentukan diagnosis akhir jika data lengkap tersedia, tapi kesulitan pada tahap awal yang informasinya minim," ujar Arya Rao, penulis utama studi sekaligus mahasiswa MD-PhD di Harvard Medical School.

Inovasi AI di Sistem Kesehatan Mass General Brigham

Menanggapi kekurangan dokter umum, Mass General Brigham meluncurkan aplikasi AI bernama Care Connect pada September 2025. Aplikasi ini memiliki chatbot yang melayani pertanyaan 24/7, mengajukan pertanyaan kepada pasien, meninjau rekam medis, dan mengatur janji telehealth dalam waktu setengah jam.

Dr. Rajesh Patel, wakil presiden pengalaman pasien digital di MGB, menegaskan bahwa chatbot Care Connect berbeda dengan chatbot diagnosis mandiri.

"Chatbot AI di Care Connect digunakan untuk intake medis guna mempercepat proses janji dengan dokter, bukan untuk mendiagnosis," jelas Dr. Patel. "Pasien selalu bertemu dokter sungguhan yang mendiagnosis, merawat, dan melakukan tindak lanjut. Ini justru mendukung temuan studi bahwa keterlibatan dokter masih sangat penting dalam pengambilan keputusan medis."

Analisis Redaksi

Menurut pandangan redaksi, studi ini menggarisbawahi bahwa meskipun teknologi AI seperti ChatGPT memiliki potensi besar dalam dunia medis, saat ini mereka belum mampu menggantikan peran dokter, terutama dalam tahap awal diagnosis yang kritis. Ketergantungan berlebihan pada chatbot bisa berujung pada kesalahan diagnosis yang membahayakan pasien.

Selain itu, penelitian ini menegaskan pentingnya integrasi manusia dalam proses diagnosa medis. Chatbot sebaiknya berfungsi sebagai alat bantu, bukan pengganti profesional kesehatan. Sistem seperti Care Connect yang menggabungkan AI dengan supervisi dokter adalah model yang ideal untuk memaksimalkan manfaat teknologi tanpa mengabaikan keselamatan pasien.

Ke depan, publik perlu terus mengikuti perkembangan teknologi ini dan kebijakan regulasi yang mengatur penggunaan AI dalam bidang kesehatan agar manfaatnya optimal dan risiko dapat diminimalisir.

Untuk informasi lebih lengkap, Anda dapat membaca studi asli di Boston Globe.