Adakah ini tahun permulaan LLM tempatan? Gemma 4 diumumkan, akhirnya mencapai tahap praktikal

Pada 2 April 2026, Google DeepMind mengumumkan Gemma 4. Model padat 31B merekodkan kedudukan ke-3 dunia dalam kalangan model terbuka di LMArena (skor 1452), manakala model MoE 26B menduduki tempat ke-6 (1441) dengan hanya 3.8B parameter aktif. Dalam AIME 2026 (matematik), lonjakan luar biasa dicapai daripada 20.8% kepada 89.2% berbanding Gemma 3, dan lesen diubah kepada Apache 2.0 — kali pertama dalam keluarga Gemma. Menerusi teknologi Per-Layer Embeddings (PLE), model e2B dengan 2.3B parameter aktif memiliki daya ekspresi setara 5.1B, namun muat turun dalam kuantisasi 4-bit kekal di bawah 1.5GB. Ketua Pegawai Eksekutif Hugging Face, Clement Delangue, mengisytiharkan: "Era AI tempatan telah tiba. Inilah masa depan industri AI." Infrastruktur pelaksanaan LLM tempatan juga semakin matang dengan pesat. Ollama telah melepasi 165,000 bintang, dan integrasi dengan rangka kerja Apple MLX meningkatkan prestasi pada Apple Silicon sehingga tiga kali ganda. vLLM mengoptimumkan inferens GPU persekitaran pengeluaran menerusi PagedAttention, manakala format GGUF milik llama.cpp telah menjadi standard untuk inferens CPU/hibrid. Quantization-Aware Training (QAT) mengurangkan penurunan perplexiti sebanyak 54% berbanding Post-Training Quantization konvensional, dan Gemma 3 27B berjaya memampatkan VRAM sebanyak 74% daripada 54GB kepada 14.1GB. Sebanyak 55% inferens AI peringkat enterprise kini dijalankan secara on-premise/edge (lonjakan mendadak daripada 12% pada tahun 2023), mencapai kecekapan kos sehingga 18 kali ganda berbanding API awan. Di Jepun, Badan Digital memilih tujuh vendor LLM buatan tempatan dan memulakan penggunaan kepada kira-kira 180,000 kakitangan kerajaan, manakala "On-Premise LLM Starter Kit" milik Ricoh memenangi Anugerah Produk & Perkhidmatan Terbaik Nikkei. Makalah ini mengkaji secara menyeluruh asas-asas LLM tempatan, persekitaran pelaksanaan, teknologi kuantisasi, inovasi Gemma 4, perbandingan model terbuka utama, senario penggunaan praktikal, cabaran dan batasan, serta prospek "tahun pertama LLM tempatan."

Apakah itu LLM Tempatan — Inferens AI Tanpa Bergantung pada Awan

LLM Tempatan (Local Large Language Model) merujuk kepada teknologi dan kaedah operasi yang menjalankan LLM (Model Bahasa Besar) secara langsung pada PC, pelayan, atau peranti edge yang ada di tangan, tanpa bergantung kepada pelayan awan.

Penggunaan LLM melalui API awan (seperti OpenAI GPT, Anthropic Claude, Google Gemini, dll.) membolehkan keupayaan model dimanfaatkan sepenuhnya, namun ia turut membawa kekangan seperti data yang dihantar ke pelayan luaran, caj dikenakan bagi setiap token, keperluan sambungan internet, serta berlakunya kependaman (latency). LLM Tempatan menghapuskan semua kekangan ini. Data tidak meninggalkan mesin tempatan, tiada caj per token, boleh beroperasi secara luar talian, dan kelajuan inferens bergantung terus kepada prestasi perkakasan.

Memasuki tahun 2026, LLM Tempatan telah beralih daripada peringkat "mungkin secara teknikal tetapi jauh dari praktikal" kepada peringkat "beroperasi dengan kualiti yang setanding dengan LLM awan bagi kebanyakan tugasan". Edge AI Vision Alliance menyatakan dalam laporan April 2026 mereka seperti berikut:

"Dunia AI sedang mengalami peralihan mendasar. Migrasi model bahasa ke peranti edge semakin pesat, dan parameter antara 3B hingga 30B merupakan 'zon Goldilocks'."

Gambaran Keseluruhan Persekitaran Pelaksanaan——Ollama, LM Studio, vLLM, llama.cpp, MLX

Alat untuk menjalankan LLM tempatan mempunyai beberapa pilihan bergantung kepada tujuan penggunaan dan tahap teknikal.

Ollama——"Docker" untuk LLM Tempatan

Ollama (melebihi 165,000 bintang GitHub) ialah standard defacto untuk LLM tempatan. Dengan satu baris ollama run gemma4:31b, model terkini boleh dijalankan, dan ia menyediakan REST API yang serasi dengan OpenAI. Secara dalaman, ia membungkus llama.cpp dan menyokong penstriman, panggilan alat, serta mod Thinking.

Pada Mac 2026, Ollama mengumumkan rancangan untuk mengintegrasikan rangka kerja MLX sebagai backend pada Apple Silicon. Ini dijangka meningkatkan prestasi inferens pada Mac kira-kira tiga kali ganda berbanding sebelumnya (MLX 130 tok/s berbanding Ollama 43 tok/s pada Qwen3-Coder-30B). Syarikat ini berasal dari Y Combinator dan telah mendapat pembiayaan $500,000 daripada Sunflower Capital dan Essence VC.

LM Studio——Bandingkan & Nilai Model dengan GUI

LM Studio ialah platform penilaian model berasaskan GUI. Anda boleh menyemak imbas, memuat turun, dan membandingkan model secara berdampingan secara visual. Pada v0.3.5, mod tanpa kepala "Local LLM Service" telah ditambah, membolehkannya berfungsi sebagai pelayan latar belakang tanpa GUI. Ia paling sesuai untuk fasa penilaian dan pemilihan berbilang model.

vLLM——Enjin Inferens GPU untuk Persekitaran Pengeluaran

vLLM (v0.16.0) ialah enjin inferens berasaskan GPU untuk persekitaran pengeluaran. Ia melaksanakan pengurusan cache KV yang cekap memori melalui PagedAttention, pengelompokan berterusan, dan pengekodan spekulatif. Ia menyokong berbilang platform termasuk NVIDIA, AMD ROCm, Intel XPU, dan TPU, serta mencapai daya pemprosesan 741 tok/s dengan kernel AWQ + Marlin. Ia mengatasi Ollama dalam persekitaran dengan 5 pengguna serentak atau lebih.

llama.cpp——Enjin Inferens Teras C/C++

llama.cpp ialah enjin inferens C/C++ yang menjadi asas kepada banyak alat LLM tempatan, termasuk Ollama. Format GGUF telah menjadi standard defacto untuk inferens CPU/hibrid, mencapai kira-kira 150 tok/s pada Apple Silicon. Pada 2026, pecutan GPU AMD juga telah mencapai tahap yang praktikal.

MLX——Rangka Kerja Khusus Apple Silicon

MLX, rangka kerja tatasusunan sumber terbuka yang dibangunkan oleh Apple, dioptimumkan untuk seni bina memori bersatu (UMA) Apple Silicon. Oleh sebab CPU dan GPU berkongsi ruang alamat yang sama, tiada overhead pemindahan data. Ia mencapai kira-kira 230 tok/s dalam inferens pada Apple Silicon, jauh mengatasi llama.cpp (kira-kira 150 tok/s) dan Ollama (20~40 tok/s). Dengan M5 Neural Accelerators, masa untuk token pertama (TTFT) dipercepatkan 4.06 kali berbanding M4.

Kuantisasi——Teknik Memuatkan Model Gergasi ke dalam Mesin Tempatan Anda

Kunci untuk menjadikan LLM tempatan lebih praktikal ialah Kuantisasi (Quantization). Ia memampatkan pemberat model daripada titik apung 32-bit/16-bit kepada integer 4-bit/8-bit, yang secara dramatik meningkatkan penggunaan memori dan kelajuan inferens.

Format Kuantisasi Utama

GGUF ialah standard de facto untuk inferens CPU/hibrid. Apabila model 7B dikuantisasi kepada 4-bit, ia dimampatkan kepada lebih kurang 3.5GB (pengurangan 75%), sambil mengekalkan 92~95% kualiti model asal. Kuantisasi Q4_K_M mengekalkan penurunan ketepatan dalam lingkungan 1~3 mata pada penanda aras MMLU, dengan degradasi melebihi 5% hanya berlaku pada tugas khusus seperti penaakulan matematik berbilang langkah.

AWQ (Activation-aware Weight Quantization, daripada MIT) berasaskan penemuan bahawa kurang daripada 1% daripada semua pemberat adalah "menonjol (salient)". Dengan melindungi pemberat yang menonjol semasa pemampatan, ia mengekalkan 95% kualiti sambil mencapai kelajuan 1.6x berbanding asas menggunakan kernel Marlin.

GPTQ ialah kaedah pemampatan 4-bit pertama menggunakan matriks Hessian, dan unggul dalam daya pengeluaran mentah pada CUDA.

Kadar pengekalan kualiti pada tahun 2026 ialah AWQ 95% > GGUF 92% > GPTQ 90%.

Gemma QAT — Inovasi dalam Kuantisasi Semasa Latihan

Quantization-Aware Training (QAT) yang diperkenalkan oleh Google DeepMind merupakan pendekatan yang berbeza secara asas daripada Post-Training Quantization (PTQ) konvensional. Ia mengintegrasikan kuantisasi ke dalam proses latihan model, membolehkan ralat kuantisasi dipelajari melalui penalaan halus kira-kira 5,000 langkah. Hasilnya, penurunan perplexiti pada kuantisasi Q4_0 dikurangkan sebanyak 54% berbanding PTQ.

Kesan memori yang konkrit adalah dramatik. VRAM untuk Gemma 3 27B dimampatkan daripada 54GB dalam BF16 kepada 14.1GB dalam int4. Model 12B turun daripada 24GB kepada 6.6GB, model 4B daripada 8GB kepada 2.6GB, dan model 1B daripada 2GB kepada 0.5GB. Ini membolehkan model kelas 27B beroperasi pada GPU gred pengguna (sekitar RTX 4070).

Gemma 4——Kemuncak Baharu Model Terbuka

Pada 2 April 2026, Gemma 4 diumumkan melalui blog rasmi yang ditulis oleh Clement Farabet dari Google DeepMind. Generasi ketiga keluarga Gemma ini telah mencapai kemajuan yang luar biasa dalam aspek seni bina, prestasi, dan lesen.

Empat Varian Model

Gemma 4 terdiri daripada empat varian.

E2B ialah model paling kecil yang direka untuk peranti pinggir. Ia mempunyai 2.3B parameter aktif (jumlah parameter 5.1B) dengan tetingkap konteks 128K. Model ini menyokong input multimodal dalam bentuk teks, imej, dan audio, serta boleh dimampatkan kepada bawah 1.5GB dengan pengkuantitian 4-bit. Teknologi Per-Layer Embeddings (PLE) membolehkan 2.3B parameter aktif mengekalkan kedalaman representasi setara 5.1B.

E4B mempunyai 4.5B parameter aktif (jumlah parameter 8B) dengan konteks 128K. Ia menyokong teks, imej, dan audio.

26B A4B (MoE) menggunakan seni bina Mixture-of-Experts (MoE), di mana hanya 3.8B daripada jumlah 26B parameter yang diaktifkan. Ia mempunyai tetingkap konteks 256K dan menduduki kedudukan ke-6 di dunia dalam kalangan model terbuka di LMArena (skor 1441). Model ini beroperasi dengan kurang daripada 1/7 jumlah pengiraan model penuh.

31B (Dense) ialah model padat di mana kesemua 31B parameter digunakan semasa inferens. Tetingkap konteks 256K. Model ini menduduki kedudukan ke-3 di dunia dalam kalangan model terbuka di LMArena (skor 1452), mencapai 89.2% pada AIME 2026, 84.3% pada GPQA Diamond, 80.0% pada LiveCodeBench v6, dan 2150 pada Codeforces ELO.

Evolusi daripada Gemma 3

Kemajuan Gemma 4 lebih mudah difahami melalui angka. Skor AIME (penaakulan matematik) melonjak daripada 20.8% pada Gemma 3 27B kepada 89.2% pada Gemma 4 31B — iaitu peningkatan sebanyak 4.3 kali ganda. Ini bukan sekadar peningkatan kuantitatif, malah merupakan perubahan kualitatif.

Sokongan multimodal turut dikembangkan daripada teks+imej (Gemma 3) kepada teks+imej+audio (Gemma 4 E2B/E4B). Tetingkap konteks digandakan daripada 128K kepada 256K (26B/31B). Pemanggilan fungsi natif dan mod Extended Thinking (Pemikiran Diperluas) turut ditambah.

Perubahan terbesar ialah dari segi lesen. Keluarga Gemma sebelum ini menggunakan lesen tersuai yang eksklusif, namun Gemma 4 buat pertama kalinya beralih kepada Apache 2.0. Ketua Pegawai Eksekutif Hugging Face, Clement Delangue, menyifatkan ini sebagai "pencapaian yang luar biasa" dan mengisytiharkan bahawa "era AI tempatan telah tiba. Inilah masa depan industri AI."

Inovasi Seni Bina

Per-Layer Embeddings (PLE) ialah teknologi baharu yang diperkenalkan dalam Gemma 4. Dengan memberikan embedding khusus kepada setiap lapisan, E2B (2.3B aktif) dapat mengekalkan kedalaman representasi jumlah parameter 5.1B sambil mengehadkan pengiraan semasa inferens setara 2.3B. Ini membolehkan pengkuantitian 4-bit mencapai saiz bawah 1.5GB yang sangat ringan, sekali gus mengatasi prestasi model bersaiz sama.

Perhatian Hibrid menggabungkan tetingkap gelongsor tempatan (512/1024 token) dan perhatian konteks penuh global secara berselang-seli. Ini membolehkan inferens pantas untuk konteks pendek dan pengekalan maklumat untuk konteks panjang sehingga 256K. Cache KV dikongsi bagi mengoptimumkan kecekapan memori dengan lebih lanjut.

Perbandingan dengan model terbuka utama — Di manakah kedudukan Gemma 4?

Sehingga April 2026, berikut adalah perbandingan model terbuka utama yang boleh digunakan secara tempatan.

Meta Llama 4 menawarkan Scout (17B aktif/109B jumlah, 16 pakar MoE, konteks 10 juta token) dan Maverick (17B aktif/400B jumlah, 128 pakar, konteks 1 juta). Model ini menyokong multimodal teks+imej, namun lesen Llama-nya (memerlukan lesen khas jika pengguna aktif bulanan melebihi 700 juta) lebih ketat berbanding Gemma 4 yang menggunakan Apache 2.0.

Alibaba Qwen 3/3.5 menawarkan pelbagai saiz dari model tepi 0.6B hingga flagship 235B MoE, dengan lesen Apache 2.0. Unggul dalam prestasi berbilang bahasa dengan saiz kosa kata 250K dan sokongan 201 bahasa, mencapai GPQA Diamond 77.2% dan AIME'24 85.7%. Prestasi pengekodan merupakan yang terkuat dalam kalangan model terbuka.

DeepSeek R1/V3 mencapai 97.3% pada MATH-500 dan paling terbuka dengan lesen MIT. Walau bagaimanapun, terdapat kebimbangan privasi kerana data semasa penggunaan API melalui pelayan di China, menjadikan penggunaan tempatan amat disyorkan.

Microsoft Phi-4 mencapai 80.4% pada penanda aras MATH dan dikhususkan untuk jejak memori yang kecil.

Mistral menawarkan siri Ministral 3 (3B/8B/14B, Apache 2.0), Mistral Small 4 (119B jumlah/6B aktif, MoE), dan Devstral Small 2 (24B, SWE-bench Verified 68.0%).

Kedudukan persaingan Gemma 4 adalah jelas. Versi 31B menduduki tempat ketiga dalam kalangan model terbuka dunia, manakala 26B MoE menduduki tempat keenam dengan hanya 3.8B parameter aktif. Penaakulan matematik setara dengan Qwen 3.5. Lesannya menggunakan Apache 2.0, sama seperti Qwen dan lebih terbuka daripada Llama. Walaupun Qwen 3.5 mengatasi Gemma 4 dalam pengekodan dan berbilang bahasa, keringanan model tepi (E2B/E4B) dan sokongan input suara merupakan kekuatan unik Gemma 4.

Senario Penggunaan Khusus dan Kajian Kes yang Terbukti

Privasi dan Kedaulatan Data

Nilai terbesar LLM tempatan ialah data tidak pernah meninggalkan premis anda. Ia menyelesaikan masalah pemindahan data merentas sempadan GDPR secara mendasar dan membolehkan pengurusan jejak audit yang lengkap. Bagi syarikat Eropah, ini juga merupakan cara untuk menghapuskan risiko Akta CLOUD Amerika Syarikat. Penggunaan dalam persekitaran air-gap adalah penting dalam sektor pertahanan, tenaga, dan penerbangan.

Kecekapan Kos

Pelaksanaan tempatan model berat terbuka mencapai kecekapan kos sehingga 18 kali ganda berbanding API awan. Dalam satu kes FinTech, perbelanjaan AI bulanan dikurangkan daripada $47,000 kepada $8,000 (pengurangan 83%). Titik pulang modal ialah sekitar 2 juta token/hari, dengan ROI dicapai dalam masa 4 bulan.

Google telah mengemukakan konsep "cukai token" — "Dikenakan bayaran oleh pembekal awan untuk setiap token yang dijana oleh ejen latar belakang yang sentiasa aktif adalah tidak mampan secara kewangan." LLM tempatan menghapuskan cukai token ini sepenuhnya.

Keadaan Semasa Penggunaan Enterprise

55% inferens AI enterprise sudah dijalankan di premis/tepi (meningkat pesat daripada 12% pada tahun 2023). Dijangka lebih 80% syarikat akan mengintegrasikan AI generatif menjelang 2026. Masa tindak balas purata untuk pelaksanaan tempatan dikurangkan daripada 1.5 saat awan kepada kurang daripada 40ms.

Pembantu Pengekodan

Pembantu pengekodan yang menggunakan Ollama dan model tempatan sebagai backend semakin berkembang pesat, termasuk Continue (melebihi 20,000 bintang GitHub), Tabby (hos sendiri), dan OpenCode CLI. Simon Willison menyatakan: "Tahun 2026 ialah tahun kualiti kod yang dijana LLM mencapai tahap yang 'tidak dapat dinafikan'. Kod tulisan tangan kini hanya sebahagian kecil daripada output saya sendiri."

Penjagaan Kesihatan

Hospital Universiti Mie bekerjasama dengan NTT West Japan untuk meringkaskan rekod kejururawatan dan perubatan menggunakan tsuzumi milik NTT. LLM luar talian yang mematuhi HIPAA menganalisis interaksi pesakit dengan perlindungan privasi yang sepenuhnya.

Kewangan

Mizuho Financial Group dan SB Intuitions sedang membangunkan LLM khusus kewangan secara bersama. MUFG dan Sakana AI menggerakkan integrasi AI kewangan dengan teknologi cantuman model evolusioner. Dalam dagangan algoritmik, inferens tempatan yang menghapuskan kependaman internet adalah penting.

Perkakasan——apa yang menjalankan model mana

NVIDIA RTX 5090

21,760 teras CUDA, 32GB GDDR7, lebar jalur 1,792 GB/s. MSRP $1,999. Mencapai 5,841 tok/s pada saiz kumpulan 8, mengatasi A100 sebanyak 2.6 kali ganda. Mampu menjalankan model 70B yang telah dikuantisasi dengan selesa, dan dengan RTX 5090 dwi mampu menyamai prestasi H100.

NVIDIA DGX Spark

Dilengkapi GB10 Grace Blackwell Superchip, memori bersatu 128GB. Boleh menjalankan Gemma 4 31B dalam BF16 tanpa kuantisasi.

Apple Silicon M4 Max

Lebar jalur memori 546 GB/s. Konfigurasi 128GB menjalankan Qwen3.5-35B-A3B pada 130 tok/s (melalui MLX). M5 Neural Accelerators mempercepatkan TTFT sebanyak 4.06 kali ganda.

Keperluan Perkakasan Gemma 4

E2B memerlukan 4GB dengan kuantisasi 4-bit, E4B 5GB, 26B MoE 18GB (4-bit) / 28GB (8-bit), 31B 20GB (4-bit) / 34GB (8-bit). E2B dan E4B cukup ringan untuk dijalankan pada telefon pintar.

Perkembangan Jepun — Agensi Digital dan LLM Tempatan

Pemasangan LLM tempatan di Jepun sedang berkembang pesat di bawah pimpinan kerajaan.

Badan Digital (Digital-chō) pada Mac 2026 telah memilih tujuh vendor LLM buatan tempatan untuk platform AI kakitangan kerajaan "Gennai". Model-model seperti tsuzumi 2 (NTT), ELYZA Llama-3.1-JP-70B (KDDI), PLaMo 2.0 Prime (PFN), dan cotomi v3 (NEC) mula digunakan oleh kira-kira 180,000 kakitangan kerajaan.

NTT tsuzumi 2 beroperasi dengan 30B parameter pada satu unit H100 dan mencatatkan kadar kemenangan 81.3% berbanding GPT-3.5. NEC cotomi mencapai inferens 10 kali lebih pantas berbanding GPT-4 dan melepasi prestasi manusia sebanyak 78.2% dengan skor WebArena 80.4%. PFN PLaMo 2.2 Prime 31B mencapai prestasi bahasa Jepun setara GPT-5.1 pada JFBench dan telah diterima pakai oleh lebih 150 kerajaan tempatan.

Di pihak korporat, "RICOH On-Premise LLM Starter Kit" oleh Ricoh memenangi Anugerah Produk & Perkhidmatan Terbaik Nikkei 2025. Intec memulakan perkhidmatan sokongan pemasangan LLM on-premise pada Januari 2026, menawarkan pembinaan dalam masa sesingkat satu bulan untuk sektor pembuatan dan kewangan.

Prestasi bahasa Jepun Gemma 4 turut patut diberi perhatian. Gemma-2-Llama Swallow dari Universiti Sains Tokyo mencapai prestasi tertinggi dalam tugasan pemahaman dan penjanaan bahasa Jepun di kalangan LLM bersaiz sama. Dengan sokongan lebih 140 bahasa dan penambahbaikan ketara pada tokenizer CJK dalam Gemma 4, kepraktisan LLM tempatan bahasa Jepun dijangka terus meningkat.

Cabaran dan Kekangan yang Masih Ada

Kemajuan LLM tempatan sangat pesat, namun cabaran masih wujud.

Jurang kualiti semakin mengecil, tetapi masih ada. Walaupun model 14B terbaik sekalipun, kualitinya hanya mencapai 80~90% berbanding GPT-5.2 atau Claude Opus 4.6. Jurang paling ketara ialah pada penaakulan berbilang langkah yang kompleks dan penulisan kreatif. Walau bagaimanapun, bagi tugas harian (penyempurnaan kod, ringkasan, penulisan e-mel, soal jawab), ia telah mencapai tahap di mana "kebanyakan pengguna tidak dapat membezakannya dalam ujian buta."

Kelajuan inferens tidak setanding dengan LLM awan. Untuk tugasan kompleks, LLM awan mengambil masa sekitar 300 saat, manakala SLM tempatan sekitar 400 saat. Model Dense (Gemma 4 31B, Qwen 3.5 27B) adalah 35~40% lebih pantas berbanding model MoE (Llama 4 Scout).

Penskalaan memori tetingkap konteks menjadi isu pada konteks yang sangat panjang. Menggunakan Gemma 4 31B dengan konteks 256K akan menggunakan VRAM yang sangat besar.

Penalaan halus masih memerlukan kepakaran dan sumber pengkomputeran. Walaupun LoRA/QLoRA telah menurunkan halangan, pemilihan hiperparameter optimum dan penyediaan data masih tidak mudah.

Kadar halusinasi cenderung lebih tinggi pada model yang lebih kecil. Terutamanya bagi model sub-14B, pengukuhan mekanisme semakan fakta adalah perlu.

Perspektif VC — Wang Pelaburan yang Bertaruh pada Edge AI

Pasaran AI pada peranti dijangka berkembang daripada USD 13.56 bilion pada tahun 2026 kepada USD 75.5 bilion pada tahun 2033, dengan kadar pertumbuhan tahunan sebanyak 27.8%. Pasaran Edge AI pula dijangka meningkat daripada USD 29.98 bilion pada tahun 2026 kepada USD 118.69 bilion pada tahun 2033, dengan kadar pertumbuhan tahunan 21.7%. Cip pengoptimuman inferens sahaja membentuk pasaran melebihi USD 50 bilion pada tahun 2026, mewakili kira-kira 2/3 daripada keseluruhan pengkomputeran AI.

Pelaburan VC turut semakin pesat. d-Matrix (pengkomputeran dalam memori) memperoleh USD 275 juta dalam Siri C, Mythic (unit pemprosesan analog) mendapat USD 125 juta, manakala AMI Labs milik Yann LeCun berjaya mengumpul USD 1.03 bilion dalam pusingan benih. Pada tahun 2025, syarikat permulaan AI secara keseluruhan menerima aliran dana VC sebanyak USD 89.4 bilion, dan pelaburan dalam model asas AI pada tahun 2026 telah mencapai dua kali ganda berbanding tahun sebelumnya hanya dalam suku pertama sahaja.

Tindakan Google yang mempersoalkan "cukai token" dan mendorong pelaksanaan ejen AI secara berterusan pada peranti edge merupakan bukti bahawa Google sendiri — yang mendominasi AI berasaskan awan — mengakui masa depan AI tempatan.

Prospek Masa Depan — Adakah 2026 Akan Menjadi Tahun Permulaan LLM Tempatan?

Prospek Positif: Pelisensian Apache 2.0 untuk Gemma 4 dan sifat ultra-ringan E2B akan menjadi pemangkin utama dalam mempercepat penyebaran LLM tempatan. Peningkatan kualiti kuantisasi melalui QAT, integrasi MLX dengan Apple Silicon, dan kesediaan vLLM untuk persekitaran pengeluaran telah mengurangkan halangan teknikal dengan ketara. Penggunaan 180,000 pengguna oleh Kementerian Digital Jepun dan pengiktirafan yang diterima oleh Ricoh menandakan titik peralihan dalam penerimaan peringkat perusahaan di Jepun.

Demis Hassabis, Ketua Pegawai Eksekutif Google DeepMind, menyifatkan Gemma 4 sebagai "model terbuka terbaik di dunia bagi setiap saiznya." Pernyataan ini menunjukkan bahawa Google sedang memperhebatkan strategi dua paksi mereka — perkhidmatan awan (Gemini API) dan model tempatan (Gemma).

Separuh kedua 2026 hingga 2027: Gemma 4 31B dan E2B akan tersebar luas, manakala integrasi Ollama + MLX akan membawa prestasi inferens di Mac menghampiri tahap API awan. Dengan penyebaran NVIDIA RTX 5090 dan DGX Spark, model bersaiz 70B pun akan menjadi praktikal untuk digunakan secara tempatan.

2028 hingga 2030: Model bersaiz 50B hingga 100B akan beroperasi pada GPU pengguna biasa menggunakan kuantisasi 4-bit, dan jurang kualiti akan hampir hilang bagi kebanyakan tugasan. Dengan peningkatan prestasi NPU (melebihi 100 TOPS), inferens model bersaiz 10B pada telefon pintar akan menjadi kenyataan.

Meminjam kata-kata Edge AI Vision Alliance, "dunia AI sedang mengalami peralihan yang mendasar." Sama ada 2026 akan dikenang sebagai "tahun permulaan LLM tempatan" bergantung kepada kelajuan penyebaran Gemma 4, persaingan prestasi inferens antara Apple Silicon dan NVIDIA, serta kadar pecutan penerimaan peringkat perusahaan. Namun demikian, dari sudut teknikal, syarat-syarat untuk itu sudah pun terpenuhi.

Impak terhadap industri

Pertama, pengeluaran lesen Apache 2.0 untuk Gemma 4 telah membawa persaingan lesen model terbuka ke fasa baharu. Berbanding Qwen (Apache 2.0), Gemma 4 (Apache 2.0), dan DeepSeek (MIT), Llama (lesen proprietari) berada pada kedudukan yang tidak menguntungkan kerana banyak sekatan. Kebebasan penggunaan komersial semakin menjadi faktor penentu dalam pemilihan model.

Kedua, dengan kualiti LLM tempatan mencapai 80–90% daripada LLM awan, andaian lalai bahawa "semua inferens AI dilakukan di awan" mula runtuh. Terutamanya bagi institusi kewangan, perubatan, dan kerajaan yang mempunyai keperluan privasi tinggi, penerapan tempatan semakin menjadi pilihan utama.

Ketiga, isu "cukai token" yang dibangkitkan oleh Google telah mencetuskan perbincangan menyeluruh dalam industri berkenaan kos operasi berterusan ejen AI. Model pengebilan API awan adalah munasabah untuk pertanyaan sporadik, tetapi tidak mampan secara ekonomi bagi ejen yang beroperasi 24 jam sehari, 365 hari setahun. Kesedaran ini akan mempercepatkan penggunaan LLM tempatan.

Keempat, pemilihan 7 vendor LLM buatan tempatan oleh Kementerian Digital Jepun dan penggunaan kepada 180,000 orang merupakan antara yang paling maju di dunia dari segi penggunaan AI oleh agensi kerajaan. Kemenangan kit permulaan LLM on-premise Ricoh membuktikan bahawa pelaksanaan di pasaran perusahaan boleh berjaya secara komersial.

Kelima, gabungan Apple Silicon + MLX berpotensi mengubah Mac menjadi "stesen kerja AI". Fakta bahawa model kelas 30B boleh dijalankan pada 130 tok/s dengan M4 Max 128GB mampu mengubah aliran kerja pembangun secara mendasar. Persaingan prestasi inferens dengan RTX 5090 dan DGX Spark daripada NVIDIA turut membawa paksi persaingan baharu kepada pasaran perkakasan.

Maklumat Rujukan: Google Blog "Gemma 4" (2026/4/2), Google DeepMind "Gemma 4 Models", Hugging Face Blog "Welcome Gemma 4", The Decoder "Gemma 4 Apache 2.0", 9to5Google "Gemma 4", NVIDIA Blog "RTX AI Garage - Gemma 4", Demis Hassabis "best open models in the world", Clement Delangue (CEO Hugging Face) "Local AI is having its moment / future of the AI industry", Edge AI Vision Alliance "On-Device LLM Revolution: 3B-30B Models Moving to Edge" (2026/4), Ollama Blog (v0.18.0, MLX Integration, 165K+ GitHub Stars), LM Studio v0.3.5 Local LLM Service, vLLM v0.16.0 (PagedAttention, AWQ + Marlin 741 tok/s), llama.cpp GGUF Format, Apple MLX Framework (230 tok/s Apple Silicon), Apple Machine Learning Research "Exploring LLMs on M5", macgpu.com "Mac Inference Framework Benchmark 2026", Google Developers Blog "Gemma 3 QAT", Prem.ai "LLM Quantization Guide 2026: GGUF vs AWQ vs GPTQ", LocalLLM.in "Quantization Explained", Unsloth "Gemma 4 31B GGUF", Grand View Research "On-Device AI Market" ($13.56B 2026 → $75.5B 2033), Crunchbase "AI Funding Q1 2026", Accrets "On-Premise LLM ROI" (18x lebih murah, ROI 4 bulan), MarkTechPost "Defeating the Token Tax: Gemma 4 + NVIDIA" (2026/4/2), ai.meta.com "Llama 4", Mistral "Mistral Small 4", SitePoint "Best Local LLMs 2026", ai.rs "Gemma 4 vs Qwen 3.5 vs Llama 4", Simon Willison "LLM Predictions 2026", RunPod "RTX 5090 LLM Benchmarks", localaimaster "NPU Comparison 2026", CraftRigs "Gemma 4 Hardware Requirements", d-Matrix $275M Siri C, Mythic $125M, Kementerian Digital Jepun "Gennai" pemilihan 7 vendor LLM tempatan (Impress Watch, 2026/3), Ricoh "RICOH On-Premise LLM Starter Kit" Anugerah Produk & Perkhidmatan Terbaik Nikkei (2025), Intecc Sokongan Pelaksanaan LLM Tempatan (2026/1), NTT tsuzumi 2 (30B, H100 tunggal, kadar kemenangan 81.3% berbanding GPT-3.5), NEC cotomi (10x lebih pantas daripada GPT-4, WebArena 80.4%), PFN PLaMo 2.2 Prime 31B (JFBench setara GPT-5.1, digunakan oleh 150+ pihak berkuasa tempatan), Google DeepMind "Gemma-2-Llama Swallow" (Universiti Sains Tokyo), Mizuho + SB Intuitions LLM khusus kewangan, MUFG + Sakana AI penggabungan model, DevelopersIO "Keadaan LLM Tempatan 2026", Label Your Data "LLM Model Size", Enclave AI "Quantization Explained GGUF Guide"