AI Bisa Temukan Bug, Tapi Pengetahuan Manusia Masih Kunci Pembuktian

Kecerdasan Buatan (AI) telah merevolusi cara tim keamanan melakukan pengujian keamanan ofensif dengan kemampuan membaca kode secara cepat, menghasilkan payload, serta menjalankan pengujian berulang dengan kecepatan luar biasa. Namun, meskipun AI dapat membantu menemukan potensi bug, pengetahuan manusia tetap menjadi kunci utama untuk membuktikan validitas temuan tersebut.

AI Mempercepat Penemuan, Tapi Validasi Tetap Kewajiban Manusia

Alat berbasis AI mampu menghasilkan laporan yang terdengar meyakinkan dengan rating tingkat keparahan serta proof-of-concept yang tampak masuk akal. Namun, laporan yang dihasilkan AI belum tentu membuktikan keberadaan bug di lingkungan produksi, apalagi membuktikan exploitabilitas dan dampaknya secara nyata. Dalam pengujian ofensif, tantangan utama bukanlah membuat laporan yang terdengar seperti kerentanan, melainkan membuktikan apa yang benar-benar terjadi di lapangan.

Dengan semakin meluasnya penggunaan AI dalam workflow keamanan, peran pengetahuan mendalam tentang sistem, protokol, perilaku aplikasi, dan batasan identitas menjadi semakin penting. AI dapat mempercepat proses penemuan, tapi validasi tetap bergantung pada kemampuan manusia untuk memahami setiap detail teknis yang memisahkan teori yang mungkin dari eksploitasi nyata.

Biaya dari Temuan AI yang Dangkal Sudah Terasa

Industri keamanan sudah mulai merasakan dampak negatif dari laporan bug yang dihasilkan AI tanpa validasi memadai. Program bug bounty dan pengelola proyek menghadapi lonjakan laporan berkualitas rendah yang banyak menggunakan bahasa templated dan bukti minim. Bugcrowd bahkan mengubah kebijakan terkait laporan AI guna mengurangi beban triase akibat laporan yang tidak berguna.

Masalah ini bukan hanya di bug bounty, tapi menjadi gambaran apa yang terjadi jika AI dipakai tanpa pengawasan manusia yang cukup. Laporan AI yang meyakinkan dapat membanjiri tim keamanan dengan klaim yang belum diverifikasi, yang justru memperbesar antrean kerja tanpa meningkatkan keamanan secara nyata.

• Tim keamanan sudah kewalahan dengan output scanner, peringatan dependency, konfigurasi cloud, dan kepatuhan.
• Penambahan spekulasi AI tanpa standar kualitas yang tinggi hanya menambah beban.
• Laporan harus menjawab pertanyaan mendasar: apa yang terjadi, bagaimana cara mereproduksinya, apa kontrol yang dimiliki penyerang, batasan apa yang dilanggar, dan apa dampak nyata yang ditunjukkan.

Terlihat Rentan Bukan Berarti Rentan

Salah satu kebiasaan berbahaya dalam pengujian ofensif adalah menganggap pola mencurigakan sebagai kerentanan yang valid. AI semakin memperparah kebiasaan ini karena kemampuannya menjelaskan potensi risiko dengan meyakinkan.

Misalnya, AI mungkin melihat input pengguna dekat query database dan menduga SQL injection, atau melihat URL fetch dan menyebutnya SSRF. Namun, seringkali AI mengabaikan syarat-syarat penting seperti:

• Apakah input yang dikendalikan penyerang benar-benar sampai ke operasi berbahaya?
• Apakah autentikasi dibutuhkan?
• Apakah otorisasi ditegakkan di tempat lain?
• Apakah fitur rentan diaktifkan di konfigurasi produksi?
• Apakah aplikasi melakukan normalisasi, encoding, atau sanitasi payload sebelum berbahaya?
• Apakah masalah ini melewati batas kepercayaan yang berarti atau hanya mempengaruhi jalur internal tanpa dampak keamanan?

Inilah titik di mana pengujian ofensif yang sesungguhnya dimulai. AI dapat mengusulkan hipotesa dengan cepat, tapi hipotesa bukanlah temuan. Seorang penguji yang baik memanfaatkan output AI sebagai petunjuk untuk diselidiki, bukan sebagai kesimpulan final.

Pengetahuan Manusia Tetap Raja

Penguji keamanan terbaik dihargai bukan karena kemampuan menjalankan alat, tapi karena pemahaman mendalam tentang sistem. Alat hanyalah pendukung, bukan pengganti.

Pengalaman berulang seperti menelusuri permintaan, membaca kode sumber, membalikkan rekayasa, debugging, dan mengembangkan exploit membangun insting dan ingatan teknis yang tak tergantikan. Pengetahuan ini memungkinkan mereka membedakan kapan temuan benar, kapan alat menyesatkan, dan kapan bug kecil bisa menjadi serius jika digabungkan dengan kondisi lain.

Kemampuan ini sulit dipalsukan dan terlihat dari bagaimana penguji mengajukan pertanyaan, menulis laporan, dan menjelaskan jalur eksploitasi tanpa basa-basi. Apalagi saat upaya pertama gagal, orang yang memahami sistem dapat beradaptasi, sementara yang hanya mengandalkan alat terjebak.

AI Mempercepat Penguji Baik, Tapi Bisa Membuat Orang Malas

Terdapat kekhawatiran bahwa ketergantungan berlebihan pada AI dapat membuat penguji menjadi "karatan". Ini bukan argumen anti-AI, melainkan soal pembelajaran manusia.

Ketika alat menjawab semua pertanyaan dengan cepat, tergoda untuk tidak lagi mengingat detail. Saat AI menulis skrip pertama, tergoda berhenti berlatih. Saat AI menjelaskan setiap jalur kode dan kesalahan, tergoda berhenti membangun model mental sendiri.

Kerugian ini serius karena pengujian ofensif membutuhkan kedalaman, pengenalan pola, dan ingatan teknis. Temuan tersulit muncul dari pengenalan bahwa perilaku di satu area melanggar asumsi di area lain, atau mengetahui bagaimana berbagai komponen sistem pernah gagal sebelumnya.

Jika penguji terlalu bergantung pada AI, kemampuan kritis ini akan menurun. Risiko bukan AI membuat profesional keamanan tidak berguna, tapi orang mengira AI sudah cukup dan mengabaikan latihan dan pemahaman mendalam.

Mayoritas Teknik Pengujian AI Masih Teknik Konvensional

Meski pemasaran AI sering menggambarkan AI sebagai penemu kerentanan dengan cara baru, kenyataannya sebagian besar teknik yang digunakan AI masih metode klasik:

1. Mendata endpoint
2. Menginspeksi parameter
3. Menelusuri aliran data
4. Membandingkan perilaku saat autentikasi dan tanpa autentikasi
5. Menghasilkan payload
6. Menjalankan fuzzing
7. Mengamati respon
8. Menentukan perubahan status aplikasi yang relevan secara keamanan

AI mampu mengorkestrasi teknik ini dalam skala besar dengan kecepatan tinggi. Namun, hasilnya tetap harus dipahami manusia. Misalnya, jika sistem AI melaporkan celah otorisasi, manusia harus tahu apakah relasi objek terkait penting. Jika ada bug korupsi memori, manusia harus menilai konteks crash dan exploitabilitas. Jika kelemahan API ditemukan, manusia harus menentukan apakah perilaku itu melanggar model kepercayaan aplikasi.

Peran AI terbaik adalah mengurangi pekerjaan mekanis sehingga penguji berpengalaman fokus pada analisis dan validasi.

Standar Validasi yang Baik

Temuan ofensif yang tervalidasi harus spesifik, dapat direproduksi, dan terkait dampak nyata. Laporan tidak boleh membuat pembaca menebak mengapa isu itu penting. Jalur eksploitasi harus cukup jelas agar insinyur bisa mereproduksi dan pemimpin keamanan bisa memahami risikonya.

Tidak harus selalu dengan exploit chain dramatis atau proof-of-concept ala film, tapi bukti harus mendukung klaim temuan.

Dalam pengujian berbantuan AI, tim harus membedakan jelas antara lead (petunjuk yang perlu investigasi) dan temuan tervalidasi. Mencampur keduanya hanya menyebabkan kebingungan dan pemborosan waktu.

Checklist Validasi Praktis

Sebelum sebuah petunjuk dilaporkan sebagai temuan, penguji harus bisa menjawab pertanyaan berikut:

• Perilaku spesifik apa yang diamati dan di mana terjadi?
• Apa input, identitas, atau status yang dikendalikan penyerang?
• Batas keamanan apa yang dilanggar (autentikasi, otorisasi, tenancy, kepercayaan, hak istimewa, atau keamanan memori)?
• Langkah pasti apa yang mereproduksi perilaku di lingkungan target?
• Apa dampak yang terbukti, bukan hanya skenario terburuk teoretis?
• Apa bukti bahwa isu ini dapat dijangkau dan relevan pada konfigurasi produksi?
• Perbaikan apa yang dibutuhkan dan bagaimana tim dapat memastikan perbaikan berhasil?

Checklist ini membantu menjaga AI pada peran yang tepat: menghasilkan kandidat, menyarankan ide pengujian, dan mempercepat reproduksi, tanpa melewati tahap verifikasi manusia.

Peran Manusia Masih Sangat Teknis

Salah satu fakta yang kurang dihargai adalah validasi manusia tetap krusial di balik layar platform AI keamanan. Ini bukan sekadar fungsi administratif, tapi pekerjaan teknis yang memerlukan penilaian kompleks terkait realitas jalur eksploitasi, relevansi lingkungan, apakah isu itu terisolasi atau bisa digabung dengan isu lain, dan apakah klaim tingkat keparahan beralasan.

Misalnya, cacat otorisasi sering berhubungan dengan logika bisnis dan relasi objek. Kerentanan API perlu pemahaman interaksi peran, tenant, dan sumber daya. Kerusakan memori memerlukan analisa kondisi crash, mitigasi, dan exploit. Temuan cloud bergantung pada identitas, kebijakan kepercayaan, dan perilaku layanan spesifik.

AI membantu, tapi tidak menggantikan keahlian orang yang memahami konteks dan teknis ini. Semakin besar dampak temuan, semakin penting validasi manusia agar organisasi tidak hanya mengandalkan tebakan yang bisa mempengaruhi prioritas rekayasa, kepercayaan pelanggan, kepatuhan, dan keputusan eksekutif.

Menghindari Overestimasi Dampak

Laporan AI juga rawan melebih-lebihkan tingkat keparahan. Input yang dipantulkan bukan XSS sampai eksekusi skrip benar-benar ditunjukkan. URL fetch bukan SSRF berarti sampai akses ke resource yang seharusnya tidak dijangkau. Fungsi berbahaya bukan eksekusi kode jarak jauh tanpa pembuktian reachability, kontrol, dan eksekusi.

Kesalahan ini dapat menurunkan kepercayaan antara tim keamanan dan tim rekayasa. Sering terjadi temuan diberi rating CVSS 9.8, padahal mungkin bukan temuan sama sekali.

Peneliti berpengalaman berhati-hati karena dampak harus diperoleh secara nyata. Bug di fitur admin-only tidak sama risiko dengan bug tanpa autentikasi yang langsung terekspos internet. Crash bisa berarti DoS, jalan ke eksekusi kode, atau hanya masalah reliabilitas yang tidak bisa dieksploitasi, tergantung konteks. Tanpa validasi, mustahil memastikan hal ini.

Validasi yang tepat mencegah baik underreporting maupun overreporting, menghindarkan "cry wolf," sekaligus memberikan bukti kuat jika isu memang serius. Tenable juga menyoroti tantangan terkait kombinasi konteks kritis yang sering terlewatkan.

Bagaimana Tim Menggunakan AI Tanpa Kehilangan Kemampuan

Tujuan yang tepat bukan menghindari AI, melainkan menggunakan teknologi ini untuk memperkuat pengujian ofensif tanpa melemahkan penguji.

AI harus membantu penguji bergerak lebih cepat, menjelajahi lebih banyak hipotesa, dan mengurangi pekerjaan repetitif. Namun, bukan menjadi pengganti pembelajaran perilaku sistem.

Pemimpin keamanan dapat mendorong keseimbangan ini dengan menetapkan ekspektasi bukti dan pelatihan. Penguji junior harus memahami dasar sebelum mengandalkan AI terlalu banyak. Penguji senior harus menggunakan AI sebagai pengganda kekuatan, bukan otoritas mutlak. Tim harus menilai tidak hanya keberadaan temuan, tapi juga apakah penguji bisa menjelaskan dan mereproduksinya. Penjelasan ini menampilkan pemahaman nyata.

Program pengujian ofensif berbantuan AI yang sehat menghargai dampak tervalidasi daripada jumlah temuan. Fokus pada kualitas sinyal, bukan kuantitas. Tetap pertahankan latihan manual di area manipulasi permintaan, review kode, debugging, pengembangan exploit, threat modeling, dan analisis dampak. Gunakan AI sebagai alat pembelajaran: ketika AI menyarankan isu, penguji harus bertanya mengapa, menguji klaim, dan belajar dari hasilnya.

Standar Utama Tidak Pernah Berubah: Bukti Adalah Segalanya

AI akan terus berkembang—agen AI semakin mahir menavigasi aplikasi, membaca kode, menghasilkan payload, dan mendokumentasikan hasil. Beberapa kemajuan akan sangat mengesankan dan harus dimanfaatkan tim keamanan.

Namun, keamanan ofensif tidak bisa menjadi permainan volume di mana setiap teori yang mungkin menjadi beban triase bagi orang lain. Standar inti tetap sama: bukti nyata adalah syarat utama agar sebuah temuan dianggap valid dan siap untuk ditindaklanjuti.

Menurut laporan The Hacker News, ini menjadi peringatan penting bagi industri keamanan siber agar tidak terbuai oleh kemudahan AI tanpa menjaga kualitas dan akurasi validasi manusia.