Masalah Teknologi AI Agent Silicon Valley: Boros Token dan Sistem 'Kacau'

Teknologi AI agent yang tengah naik daun di Silicon Valley masih menghadapi berbagai tantangan serius, terutama terkait biaya operasional dan efisiensi penggunaan token. Meskipun CEO Nvidia, Jensen Huang, menyebut AI agent sebagai "pasti akan menjadi ChatGPT berikutnya," para eksekutif dan insinyur dalam dua acara teknologi terbaru mengungkap realita yang lebih kompleks di balik hype ini.

Tantangan Teknologi AI Agent di Silicon Valley

Dalam acara Generative AI and Agentic AI Summit di San Jose, para ahli dari perusahaan teknologi besar seperti Google, Amazon, Microsoft, dan Meta memaparkan bahwa membangun serta mengelola AI agent bukanlah pekerjaan mudah. Kevin McGrath, CEO startup AI Meibel, menyoroti kesalahan utama yang sering terjadi, yaitu anggapan bahwa semua tugas harus diproses melalui Large Language Model (LLM).

"Masalah terbesar yang kami hadapi saat ini adalah anggapan bahwa semuanya harus dijalankan melalui LLM, yang mengakibatkan pemborosan jutaan token dan biaya," ujar McGrath.

Menurutnya, perusahaan perlu lebih bijak dalam menentukan tugas mana yang memang tepat untuk AI agent agar tidak memboroskan sumber daya.

Biaya dan Kompleksitas Operasional AI Agent

Deep Shah, insinyur perangkat lunak Google, membahas teknik baru untuk mengelola biaya operasional saat menjalankan banyak AI agent sekaligus. Ia menegaskan bahwa biaya inference adalah salah satu kendala utama dalam menskalakan sistem AI agent.

Lebih lanjut, Ravi Bulusu, CEO startup Synchtron, menyoroti kompleksitas yang muncul dari beragam cara perusahaan mengatur data, memilih platform teknologi, serta mengelola perangkat lunak dan tenaga kerja. Semua aspek tersebut saling berinteraksi dan membuat pengelolaan AI agent menjadi chaotic bahkan di tingkat perusahaan besar.

Perspektif dari Startup China dan Kritik pada OpenClaw

Di acara lain di Mountain View, California, perusahaan asal Shanghai, ThinkingAI dan MiniMax, berbagi pandangan mengenai pengelolaan AI agent. ThinkingAI, yang sebelumnya bergerak di analitik game mobile, kini berfokus menjadi platform manajemen AI agent. Mereka juga berkolaborasi dengan MiniMax, salah satu laboratorium AI terkemuka di China yang menyediakan model AI secara terbuka.

"OpenClaw memang alat yang bagus untuk penggunaan personal, tapi tidak cukup untuk level enterprise karena terlalu rumit dan rawan celah keamanan," kata Chris Han, salah satu pendiri ThinkingAI.

Han menambahkan, di tingkat perusahaan, ada banyak hal yang harus diatur, mulai dari memori, manajemen agen, koordinasi tim, hingga komunikasi antar agen. Meski demikian, ThinkingAI tetap mendukung model AI dari OpenAI dan Google, dan menanggapi kemungkinan larangan pemerintah AS terhadap model AI asal China dengan humor.

"Kalau itu terjadi, mungkin itu tanda kami sudah berhasil," ujarnya.

OpenClaw dan Masa Depan AI Agent

OpenClaw merupakan sebuah "harness" yang memungkinkan pengembang menggunakan berbagai model AI untuk menciptakan dan mengelola banyak asisten digital sekaligus. Popularitasnya meningkat signifikan, terutama di China, namun masih dianggap terlalu kompleks untuk aplikasi bisnis besar dan berisiko pada sisi keamanan.

Menurut laporan CNBC, walau potensi AI agent sangat besar, pengembang harus mengatasi tantangan fundamental seperti biaya operasional, kompleksitas manajemen, dan efisiensi token untuk benar-benar merevolusi cara kerja digital.

Analisis Redaksi

Menurut pandangan redaksi, meskipun AI agent dipromosikan sebagai teknologi revolusioner yang akan mengubah produktivitas kantor dan otomatisasi tugas, kenyataannya teknologi ini masih dalam tahap pengembangan yang penuh tantangan. Permasalahan biaya yang tinggi dan pengelolaan sistem yang rumit menunjukkan bahwa adopsi luas AI agent masih memerlukan inovasi signifikan.

Lebih jauh, kegagalan memahami kapan dan bagaimana memanfaatkan LLM secara efisien dapat menyebabkan pemborosan sumber daya yang tidak perlu. Hal ini berpotensi membuat perusahaan ragu menginvestasikan lebih banyak pada AI agent tanpa bukti konkret penghematan biaya dan peningkatan produktivitas.

Kita juga perlu memantau perkembangan regulasi, terutama terkait penggunaan model AI asing seperti dari China, yang dapat mempengaruhi dinamika pasar dan strategi perusahaan AI di tingkat global. Masa depan AI agent sangat bergantung pada kemampuan industri untuk mengatasi masalah teknis sekaligus menjawab kekhawatiran keamanan dan privasi.

Untuk pembaca yang tertarik dengan perkembangan teknologi AI, penting untuk terus mengikuti berita terbaru agar memahami bagaimana AI agent akan mengubah lanskap teknologi dan bisnis dalam beberapa tahun ke depan.