TPU Generasi Kedelapan Google: Dua Chip Unggul untuk Era Agentik AI

Google baru-baru ini mengumumkan peluncuran Tensor Processing Unit (TPU) generasi kedelapan yang terdiri dari dua chip khusus: TPU 8t untuk pelatihan model dan TPU 8i untuk inferensi. Kedua chip ini dirancang untuk mendukung superkomputer buatan Google yang akan mempercepat pengembangan dan penerapan model AI canggih serta menangani beban kerja inferensi dalam skala besar.

TPU 8t dan TPU 8i: Dua Chip untuk Era Agentik

Di era agentik, model AI tidak hanya melakukan prediksi, tetapi juga mampu memahami masalah kompleks, menjalankan alur kerja multi-langkah, serta belajar secara berkelanjutan dari tindakannya sendiri. Kebutuhan ini memunculkan tuntutan baru pada infrastruktur komputasi, yang dijawab oleh TPU 8t dan TPU 8i yang dikembangkan bersama Google DeepMind. Kedua chip ini mampu mengatasi beban kerja AI yang paling menuntut sekaligus adaptif terhadap arsitektur model yang terus berkembang.

TPU merupakan hasil lebih dari satu dekade pengembangan yang mencakup inovasi custom numerics, pendinginan cair, dan interkoneksi khusus. Filosofi utama desain TPU terus berlaku: dengan mendesain silicon secara khusus dan berkoordinasi erat dengan perangkat keras, jaringan, serta perangkat lunak, Google mampu menyediakan performa tinggi dengan efisiensi daya yang luar biasa.

TPU 8t: Chip Unggulan untuk Pelatihan Model

TPU 8t dirancang untuk mempercepat siklus pengembangan model AI frontier dari berbulan-bulan menjadi beberapa minggu. Chip ini menyeimbangkan throughput komputasi tinggi, memori bersama, dan bandwidth antar-chip yang besar dengan efisiensi daya dan waktu penggunaan komputasi yang maksimal. Dibandingkan generasi sebelumnya, TPU 8t menawarkan hampir 3 kali lipat performa komputasi per pod, memungkinkan inovasi lebih cepat bagi para pengguna.

• Skala besar: Satu superpod TPU 8t kini mampu menggabungkan 9.600 chip dan 2 petabyte memori berkecepatan tinggi, dengan bandwidth antar-chip dua kali lipat lebih besar dari generasi sebelumnya. Total performanya mencapai 121 ExaFlops.
• Utilisasi maksimum: Integrasi akses penyimpanan 10x lebih cepat dan TPUDirect yang menarik data langsung ke TPU menjamin pemanfaatan sistem secara optimal.
• Skalabilitas linier: Dengan jaringan Virgo dan perangkat lunak Pathways, TPU 8t dapat menskalakan hampir secara linier hingga satu juta chip dalam satu kluster logis.

Selain performa mentah, TPU 8t juga dioptimalkan untuk mencapai lebih dari 97% "goodput" — waktu komputasi efektif yang produktif — berkat teknologi seperti telemetri real-time, deteksi otomatis kegagalan tautan interchip, dan Optical Circuit Switching (OCS) untuk mengatasi gangguan tanpa intervensi manusia.

TPU 8i: Mesin Penalaran untuk Inferensi Agentik

TPU 8i didesain untuk menghadapi tantangan inferensi AI agentik yang memerlukan interaksi kompleks antar agen dalam alur kerja kolaboratif dan iteratif. Chip ini mengatasi "memory wall" dengan menggabungkan 288 GB memori bandwidth tinggi dan 384 MB SRAM on-chip, tiga kali lipat dari generasi sebelumnya, sehingga model dapat memuat seluruh working set aktif di dalam chip.

• Efisiensi Axion: Menggunakan CPU Arm berbasis Axion kustom dengan arsitektur memori non-uniform (NUMA) untuk performa superior.
• Skalabilitas model Mixture of Experts (MoE): Bandwidth interkoneksi ICI dinaikkan menjadi 19,2 Tb/s dengan arsitektur Boardfly yang mengurangi diameter jaringan hingga lebih dari 50%, menjadikan sistem low-latency dan kohesif.
• Pengurangan lag: Engine akselerasi kolektif on-chip baru mengurangi latensi hingga 5 kali lipat.

Secara keseluruhan, TPU 8i memberikan 80% peningkatan performa per dolar dibandingkan generasi sebelumnya, memungkinkan bisnis melayani hampir dua kali lipat pelanggan dengan biaya serupa.

Ko-desain untuk Gemini dan Akses Terbuka

TPU generasi kedelapan ini merupakan manifestasi dari filosofi ko-desain Google yang menggabungkan spesifikasi chip, perangkat lunak, dan arsitektur model. Misalnya, topologi Boardfly dirancang khusus untuk komunikasi model penalaran terkini, kapasitas SRAM disesuaikan untuk kebutuhan cache model penalaran berskala produksi, dan jaringan Virgo ditetapkan dari kebutuhan paralelisme pelatihan model berparameter triliunan.

Kedua chip kini menggunakan CPU Axion berbasis ARM milik Google, memungkinkan optimasi keseluruhan sistem. Mereka mendukung berbagai framework populer seperti JAX, MaxText, PyTorch, SGLang, dan vLLM, serta menyediakan akses bare metal agar pelanggan bisa langsung mengakses perangkat keras tanpa virtualisasi. Google juga menyediakan kontribusi open-source seperti implementasi referensi MaxText dan Tunix untuk reinforcement learning.

Efisiensi Energi dan Pendinginan Canggih

Dalam pusat data modern, keterbatasan daya sering kali lebih menantang daripada ketersediaan chip. TPU 8t dan 8i mengantarkan efisiensi hingga dua kali lipat dibanding generasi sebelumnya dengan pengelolaan daya terintegrasi yang menyesuaikan konsumsi secara real-time.

Google mengintegrasikan konektivitas jaringan dan komputasi dalam satu chip untuk mengurangi biaya daya transfer data. Pusat data Google pun dirancang ulang, kini mampu menyediakan enam kali lebih banyak daya komputasi per unit listrik dibanding lima tahun lalu. TPU 8t dan 8i didukung oleh teknologi pendinginan cair generasi keempat yang memungkinkan kepadatan performa tinggi yang tidak dapat dicapai dengan pendinginan udara.

Infrastruktur untuk Era Agentik

Setiap transisi besar dalam komputasi memerlukan terobosan infrastruktur, dan era agentik tidak terkecuali. TPU 8t dan TPU 8i merupakan jawaban Google terhadap kebutuhan agen otonom yang beroperasi dalam siklus penalaran, perencanaan, eksekusi, dan pembelajaran secara terus-menerus.

Kedua chip ini akan tersedia secara umum tahun ini sebagai bagian dari AI Hypercomputer Google, yang mengintegrasikan perangkat keras khusus, perangkat lunak terbuka, dan model konsumsi fleksibel dalam satu tumpukan terpadu untuk mempercepat inovasi AI.

"Kami sangat antusias melihat bagaimana inovasi selama satu dekade ini akan mendorong terobosan dunia nyata," kata Amin Vahdat, SVP dan Chief Technologist AI dan Infrastruktur Google. "Ini bukan hanya soal performa, tapi juga efisiensi dan skalabilitas yang akan membentuk masa depan AI agentik."

Dengan peluncuran TPU generasi kedelapan, Google menegaskan posisinya sebagai pelopor infrastruktur AI yang mampu memenuhi tuntutan kompleks model-model cerdas dan agen otonom masa depan. Menurut sumber resmi Google, pelanggan yang tertarik dapat mengajukan permintaan informasi lebih lanjut untuk mengakses teknologi terbaru ini.