Selama beberapa tahun, banyak layanan AI mengirim data ke pusat komputasi untuk diproses. Kini semakin banyak tugas dapat dilakukan langsung di ponsel atau laptop berkat chip yang memiliki unit khusus untuk beban kerja kecerdasan buatan.
Pemrosesan di perangkat menawarkan latensi rendah. Fitur seperti penghilangan suara bising, penyempurnaan foto, atau transkripsi tertentu dapat berjalan tanpa menunggu koneksi. Ini penting untuk pengalaman yang terasa instan dan tetap berguna ketika jaringan buruk.
Keuntungan berikutnya adalah privasi, karena sebagian data tidak perlu meninggalkan perangkat. Namun, istilah on-device tidak otomatis berarti seluruh fitur selalu lokal. Satu aplikasi dapat menggabungkan pemrosesan lokal dan cloud, sehingga kebijakan data tetap harus dibaca.
Keterbatasannya terletak pada ukuran model, memori, daya, dan panas. Model yang berjalan di perangkat biasanya dioptimalkan agar lebih kecil. Hasilnya dapat sangat baik untuk tugas tertentu, tetapi belum tentu menyamai model cloud yang lebih besar pada tugas kompleks.
Bagi pengembang, on-device AI membuka peluang aplikasi yang lebih personal tanpa selalu mengirim data mentah. Tantangannya adalah memastikan model bekerja pada berbagai perangkat dan tidak menguras baterai secara berlebihan.
Bagi pengguna, pertanyaan pentingnya sederhana: fitur mana yang berjalan lokal, kapan data dikirim ke server, dan kontrol apa yang tersedia? Jawaban transparan lebih berharga daripada sekadar istilah pemasaran “AI terintegrasi”.