Jakarta –
DeepSeek terus membuat kehebohan di dunia karena merilis large language model (LLM) yang lebih irit dibanding LLM lain, seperti yang dipakai di ChatGPT.
DeepSeek menyebut mereka memakai chip AI Nvidia H800 — yang kemampuannya lebih rendah dibanding H100 — untuk melatih LLM tersebut. Mereka mengklaim hanya memakai 2.000 chip Nvidia H800 untuk melatih model AI tersebut.
Biaya yang mereka keluarkan hanya sekitar USD 6 juta untuk membuat model AI DeepSeek R1 dan DeepSeek V3. Namun belakangan terungkap kalau selain memakai chip AI Nvidia, DeepSeek juga memakai chip AI dari Huawei.
Menurut Alexander Doria, DeepSeek R1 LLM dilatih menggunakan Nvidia H800. Namun untuk proses inferencenya, mereka menggunakan chip Huawei Ascend 910C.
Sebagai informasi, inference adalah proses penggunaan AI yang sudah dilatih untuk membuat prediksi atau keputusan berbasis data yang baru diberikan. Dengan kata lain, tahapan ini adalah saat AI dipakai oleh pengguna untuk menjawab pertanyaan-pertanyaan yang diberikan.
Doria, lewat akun @Dorialexander menyebut LLM ini tidak menggunakan chip Ascend 910C tersebut untuk proses pelatihannya. Melainkan hanya untuk proses inference, yang artinya kemampuan komputasi yang dibutuhkan oleh DeepSeek ini memang tidak terlalu tinggi.
Pasalnya Ascend 910C memang punya kemampuan komputasi yang tidak setinggi chip Nvidia H800. Huawei berencana membuat Ascend 920 yang akan diposisikan untuk bersaing dengan chip Nvidia Blackwell B200, demikian dikutip detikINET dari GSM Arena, Minggu (2/2/2025).
Sebelumnya diberitakan, DeepSeek dituding punya puluhan ribu chip AI Nvidia H100. Namun hal tersebut sengaja ditutup-tutupi.
Memang sejak tahun 2022, Amerika Serikat melarang ekspor chip canggih Nvidia termasuk H100 atau A100 ke China, sedangkan chip seperti Nvidia H800 masih bisa diekspor. Namun menurut CEO Scale AI, Alexandr Wang, DeepSeek sebenarnya mempunyai 50 ribu unit Nvidia H100 tapi mereka menutup-nutupinya.
“Pemahaman saya adalah DeepSeek punya sekitar 50 ribu H100, yang tentu saja tidak bisa mereka bicarakan karena itu berlawanan dengan kontrol ekspor yang dilakukan Amerika Serikat. Saya pikir memang benar mereka punya lebih banyak chip dari yang diperkirakan orang,” katanya.
Diduga, DeepSeek menggunakan kombinasi chip canggih Nvidia dengan chip yang kemampuannya lebih rendah. Wang pun menyebut dengan bantuan chip terlarang itulah, DeepSeek mampu menandingi AI dari AS meskipun tetap memuji kemampuan DeepSeek memang impresif.
Nvidia H100 sendiri jadi favorit lantaran mampu menangani data melimpah dalam kecepatan sangat tinggi. Harga per unitnya pun sangat mahal, yakni di kisaran USD 25 ribu.
(asj/fay)
