Riset Microsoft: Backdoor AI Agent Cukup Edit 10 Neuron, Ancaman Baru Supply Chain

Peneliti Microsoft membuktikan model AI dapat disisipi backdoor tersembunyi hanya dengan mengedit kurang dari 10 neuron yang jarang aktif, tanpa perlu melatih ulang model. Saat pemicu muncul, model mengeluarkan perintah berbahaya yang akan dijalankan oleh agen AI dengan izinnya sendiri.

Metode ini diberi nama Lazarus. Tim mengujinya pada tiga model open-weight dan mempublikasikan hasilnya pekan ini. Microsoft menyatakan belum melihat aktor ancaman menggunakan teknik ini di lapangan, namun mereka telah menerbitkan panduan pertahanan.

Kronologi Riset dan Cara Kerja Metode Lazarus

Lazarus bekerja dengan mengubah bobot model secara langsung. Neuron yang dipilih adalah neuron yang jarang menyala dan hampir tidak memengaruhi jawaban model. Neuron-neuron itu kemudian diatur agar hanya aktif ketika string pemicu muncul, baik dalam permintaan pengguna maupun di output alat (tool) di kemudian hari.

Setiap neuron yang diedit memaksa satu token perintah masuk ke output model. Artinya, satu perintah utuh membutuhkan sekitar satu neuron per token. Nilai neuron baru dihitung secara langsung, lalu disetel dengan beberapa ratus langkah pelatihan pada neuron tersebut saja. Tidak ada perubahan lain pada file model atau kode yang menjalankannya.

Dalam demonstrasi yang diunggah di X, model Nemotron-Terminal-8B yang telah disisipi backdoor dengan 10 neuron diedit ditugaskan memperbaiki server Node.js. Model bekerja normal selama tiga giliran. Ketika server mengembalikan error koneksi, model mengeluarkan perintah untuk mengunduh dan menjalankan skrip jarak jauh. Skrip itu berjalan sebagai root di dalam kontainer uji dan mencetak banner yang menamai demonstrasi tersebut.

Karena perintah semacam itu dapat mengambil skrip apa pun, kerusakan bergantung pada apa yang diizinkan dilakukan agen, bukan pada ukuran edit. “The damage depends on what the agent is allowed to do rather than on the size of the edit,” tulis para peneliti dalam ringkasan riset.

Tingkat Keberhasilan dan Model yang Diuji

Pada Nemotron-Terminal-8B, tim mengedit dan menyetel tujuh dari lebih dari 12.000 neuron di lapisan feed-forward terakhir model, hanya dengan 23 sesi contoh. Model hasil edit mengeluarkan perintah pada setidaknya 98,8% sesi uji yang mengandung pemicu, dan tidak sama sekali pada sesi tanpa pemicu yang diperiksa.

Dengan versi edit yang disetel, tingkat keberhasilan pada Qwen3.6-27B dan Gemma-4-31B-IT berkisar antara 51% hingga 99,5%, tergantung pada pengaturan. Model Qwen menggunakan enam neuron.

Ketika Nemotron-Terminal-8B menghasilkan teks secara bebas, bukan dinilai berdasarkan sesi rekaman, model menghasilkan perintah pada sekitar 99% sesi yang dipicu. Dalam satu pengaturan, perintah juga muncul pada 0,14% sesi tanpa pemicu.

Model yang diedit masih lulus uji biasa. Kedua versi Qwen yang disisipi backdoor mempertahankan sebagian besar skor matematika AIME, dan tingkat kelulusan mereka pada Terminal-Bench, uji tugas agen, turun dari 46,59% menjadi 42,05%.

Angka-angka ini mengukur seberapa sering model mengeluarkan perintah, bukan seberapa sering serangan penuh berhasil. Makalah tersebut menyebut bahwa uji di mana model yang dipicu bertindak bebas sepanjang serangan akan membantu menunjukkan apakah hasilnya bertahan.

Siapa yang Bisa Menanam Backdoor dan Mengapa Ini Berbahaya

Siapa pun yang dapat mengubah checkpoint model, file yang menyimpan bobotnya, sebelum deployment dapat menanam backdoor. Itu termasuk orang dalam, penyerang dengan akun curian atau akses ke pipeline build, dan siapa pun yang menerbitkan model yang dimodifikasi di hub publik, kata para peneliti.

Penanaman backdoor tidak membutuhkan daya komputasi sebesar pelatihan penuh. Para peneliti juga mengakui Claude Code, yang menjalankan model Opus 4.5, telah menemukan ide inti, dan mengatakan agen coding dapat membuat serangan semacam ini lebih mudah dibangun.

Backdoor pada level bobot di model agen pernah ditunjukkan sebelumnya. Dalam proof of concept yang diterbitkan 6 Oktober, peneliti ProjectDiscovery menyetel model Qwen terbuka agar bereaksi terhadap frasa pemicu. Dengan frasa tersebut, Codex CLI dari OpenAI menjalankan skrip yang mengirim kredensial dummy ke server yang mereka kendalikan.

Lazarus berbeda karena mengedit beberapa neuron secara langsung, sedangkan demonstrasi sebelumnya menyetel model pada contoh pelatihan yang beracun. Perbedaan ini membuat Lazarus lebih sulit dideteksi dengan metode konvensional yang membandingkan perilaku model secara luas.

Deteksi dan Keterbatasan Audit Model

Deteksi yang andal memerlukan perbandingan checkpoint dengan bobot aslinya yang belum dimodifikasi, kata para peneliti dalam ringkasan riset. Fine-tune yang sah dan versi terkuantisasi mengubah bobot secara luas, sedangkan neuron yang diedit mengubah beberapa vektor bobot dengan jumlah besar.

Dalam makalah, detektor yang dilatih pada contoh edit metode ini menandai 91,4% checkpoint uji yang diedit tanpa salinan asli untuk dibandingkan. Detektor itu juga salah menandai 9,7% checkpoint bersih. Set ujinya kecil, 35 checkpoint diedit dan 31 bersih, dan detektor tidak diuji pada jenis edit backdoor lain.

Meminta model AI untuk memeriksa checkpoint secara langsung bekerja kurang baik. Claude Opus 5.5 menilai 41% checkpoint yang diedit sebagai bersih, dan GPT-6 Astra tidak memutuskan hampir semua checkpoint bersih. “No scan can prove beyond doubt that a model is safe,” kata para peneliti.

Microsoft juga menyediakan Microsoft Defender for Cloud yang dapat memindai model di Azure Machine Learning untuk malware, operator tidak aman, dan rahasia yang terekspos. Namun perusahaan menyatakan itu mencakup risiko tingkat kode dan tidak menggantikan audit tingkat bobot.

Langkah Mitigasi untuk Tim yang Menjalankan Agen AI

Panduan mitigasi Microsoft mencakup beberapa langkah operasional yang dapat segera diterapkan:

• Bandingkan setiap checkpoint dengan model dasar yang dideklarasikan sebelum deployment dan setelah setiap pembaruan, serta tolak model yang basisnya tidak dapat diperiksa.
• Unduh checkpoint hanya dari penerbit asli, periksa hash file penerbit, dan perlakukan fine-tune, merge, versi terkuantisasi, serta adapter pihak ketiga sebagai tidak tepercaya sampai lulus audit.
• Simpan model yang disetujui di registry privat, dan blokir agen mengunduh model langsung dari hub publik.
• Beri setiap agen hanya akses yang diperlukan, jalankan kode yang dihasilkan agen hanya di sandbox terisolasi, dan batasi koneksi jaringan keluar.
• Wajibkan persetujuan manusia untuk tindakan berdampak tinggi, seperti menjalankan perintah atau mengirim data ke luar jaringan.
• Tambahkan pemindaian backdoor perilaku, seperti metode pada riset scanner Microsoft sebelumnya, bersama perbandingan bobot.

Microsoft Foundry telah mengaitkan setiap model open-weight yang ditawarkannya dengan penerbit aslinya dan memindai kontainer tempat model berjalan. Perusahaan mengatakan itu melindungi pelanggan yang menggunakan model dari lab tepercaya, meskipun penyedia tepercaya yang disusupi tetap menjadi risiko. Perusahaan juga sedang membangun alat red-teaming berbasis metode deteksi dan menjajaki pemindaian bobot untuk model open-weight yang ditambahkan ke Foundry. Rencananya, Microsoft akan menandatangani model agar pelanggan dapat memeriksa asalnya.

Analisis Redaksi

Riset Lazarus membalik asumsi lama tentang keamanan AI. Selama ini, backdoor pada model sering dibayangkan sebagai hasil pelatihan beracun yang mahal dan rumit. Kenyataannya, tujuh neuron dari lebih dari 12.000 neuron sudah cukup untuk membuat model mengeluarkan perintah berbahaya pada 98,8% sesi yang dipicu. Ini bukan lagi ancaman teoretis, melainkan persoalan supply chain yang nyata.

Yang paling mengkhawatirkan adalah deteksi. Detektor berbasis perbandingan bobot masih salah menandai hampir 10% checkpoint bersih dan melewatkan sebagian checkpoint yang diedit. Meminta model lain untuk mengaudit checkpoint juga tidak cukup: Claude Opus 5.5 bahkan menilai 41% checkpoint terinfeksi sebagai bersih. Audit model tidak bisa lagi hanya mengandalkan kecerdasan model itu sendiri.

Bagi organisasi yang menjalankan agen AI, prioritasnya jelas: perlakukan setiap checkpoint sebagai artefak yang tidak tepercaya sampai terbukti sebaliknya. Registry privat, sandbox terisolasi, dan persetujuan manusia untuk tindakan berdampak tinggi bukan lagi kemewahan, melainkan kontrol dasar. Tanpa itu, satu neuron yang salah bisa menjadi pintu masuk bagi perintah yang berjalan dengan izin penuh agen.

Sumber: thehackernews.com, microsoft.com