什么是本地LLM——不依赖云端的AI推理

本地大语言模型（Local Large Language Model，简称本地LLM）是指不依赖云端服务器，直接在本地PC、服务器或边缘设备上运行大规模语言模型（LLM）的技术与运营形态。

通过云端API使用LLM（如OpenAI GPT、Anthropic Claude、Google Gemini等）虽然能够最大限度地发挥模型能力，但也存在数据被发送至外部服务器、按Token计费、必须联网、以及存在延迟等限制。本地LLM可以消除上述所有限制。数据不会离开本地设备，无需Token计费，支持离线运行，推理速度直接取决于硬件性能。

进入2026年，本地LLM已从"技术上可行但距实用尚远"的阶段，发展到"在众多任务中可达到与云端LLM不相上下的质量"的阶段。Edge AI Vision Alliance在2026年4月的报告中指出：

"AI世界正在经历根本性的转变。语言模型向边缘设备的迁移正在加速，3B至30B参数范围是'金发女孩区间'。"

执行环境全貌——Ollama、LM Studio、vLLM、llama.cpp、MLX

运行本地LLM的工具，根据用途和技术水平有多种选择。

Ollama——本地LLM的"Docker"

Ollama（GitHub超过16.5万星）是本地LLM的事实标准。只需一行ollama run gemma4:31b即可启动最新模型，并提供兼容OpenAI的REST API。内部封装了llama.cpp，支持流式传输、工具调用和Thinking模式。

2026年3月，Ollama宣布计划在Apple Silicon后端集成MLX框架。预计这将使Mac上的推理性能提升至原来的约3倍（Qwen3-Coder-30B上MLX达130 tok/s，Ollama为43 tok/s）。该公司出身于Y Combinator，已从Sunflower Capital、Essence VC融资50万美元。

LM Studio——通过GUI比较和评估模型

LM Studio是基于GUI的模型评估平台。可以可视化地浏览、下载和并排比较模型。v0.3.5新增了"Local LLM Service"无头模式，也可作为无GUI的后台服务器运行。最适合多模型的评估与筛选阶段。

vLLM——生产环境的GPU推理引擎

vLLM（v0.16.0）是面向生产环境的GPU推理引擎。实现了基于PagedAttention的高内存效率KV缓存管理、连续批处理和投机解码。支持NVIDIA、AMD ROCm、Intel XPU、TPU等多平台，通过AWQ + Marlin内核实现741 tok/s的吞吐量。在5个以上并发用户的环境下远超Ollama。

llama.cpp——C/C++核心推理引擎

llama.cpp是包括Ollama在内的众多本地LLM工具的基础C/C++推理引擎。GGUF格式已成为CPU/混合推理的事实标准，在Apple Silicon上实现约150 tok/s。2026年，AMD GPU加速也达到了实用水平。

MLX——Apple Silicon专用框架

由Apple开发的开源数组框架MLX，针对Apple Silicon的统一内存架构（UMA）进行了优化。由于CPU与GPU共享同一地址空间，数据传输开销为零。在Apple Silicon上的推理实现约230 tok/s，大幅超越llama.cpp（约150 tok/s）和Ollama（20～40 tok/s）。M5 Neural Accelerators与M4相比，首个token生成时间（TTFT）提速4.06倍。

量化——将巨型模型压缩到本地机器的技术

让本地LLM实用化的关键在于量化（Quantization）。它将模型权重从32位/16位浮点数压缩为4位/8位整数，从而大幅降低内存占用并提升推理速度。

主要量化格式

GGUF 是CPU/混合推理的事实标准。将7B模型进行4位量化后，可压缩至约3.5GB（减少75%），同时保留原模型92～95%的质量。Q4_K_M量化在MMLU基准测试中精度损失控制在1～3个百分点以内，仅在多步数学推理等特殊任务上出现5%以上的性能下降。

AWQ（Activation-aware Weight Quantization，MIT出品） 基于一项发现：全部权重中不足1%属于"显著（salient）"权重。通过在压缩时保护这些显著权重，AWQ在保留95%质量的同时，借助Marlin内核实现了相对基准1.6倍的加速。

GPTQ 是首个采用Hessian矩阵的4位压缩方法，在CUDA上具有出色的原始吞吐量。

截至2026年，各格式质量保留率为：AWQ 95% > GGUF 92% > GPTQ 90%。

Gemma QAT——训练时量化的革新

Google DeepMind引入的量化感知训练（Quantization-Aware Training，QAT）与传统的训练后量化（Post-Training Quantization，PTQ）在方法上存在根本差异。它将量化过程融入模型训练之中，通过约5,000步的微调让模型学习量化误差。最终，Q4_0量化下的困惑度（perplexity）下降幅度与PTQ相比减少了54%。

其对内存的具体影响十分显著：Gemma 3 27B的显存占用从BF16格式下的54GB压缩至int4格式下的14.1GB；12B从24GB降至6.6GB；4B从8GB降至2.6GB；1B从2GB降至0.5GB。这使得27B级别的模型得以在消费级GPU（约RTX 4070）上运行成为可能。

Gemma 4——开源模型的新巅峰

2026年4月2日，Google DeepMind的Clement Farabet在官方博客上发布了Gemma 4。Gemma系列的第三代在架构、性能和许可证方面均实现了跨越式进化。

四种模型变体

Gemma 4由四种变体构成。

E2B是面向边缘设备的最小模型。拥有2.3B活跃参数（总参数5.1B），支持128K上下文窗口。支持文本、图像、音频的多模态输入，4位量化后体积在1.5GB以下。通过Per-Layer Embeddings（PLE）技术，2.3B的活跃参数具备相当于5.1B的表达深度。

E4B拥有4.5B活跃参数（总参数8B），支持128K上下文，兼容文本、图像和音频输入。

26B A4B（MoE）采用Mixture-of-Experts（MoE）架构，总参数26B中仅3.8B被激活。支持256K上下文窗口，在LMArena中位居开源模型全球第6名（得分1441）。计算量不足完整模型的1/7。

31B（Dense）为高密度模型，推理时使用全部31B参数，支持256K上下文窗口。在LMArena中位居开源模型全球第3名（得分1452），在AIME 2026上达到89.2%，GPQA Diamond达到84.3%，LiveCodeBench v6达到80.0%，Codeforces ELO达到2150。

相较Gemma 3的进化

Gemma 4的进化用数字来说更直观。AIME（数学推理）得分从Gemma 3 27B的20.8%提升至Gemma 4 31B的89.2%——提升了4.3倍。这不是量的改善，而是质的变化。

多模态支持也从文本+图像（Gemma 3）扩展至文本+图像+音频（Gemma 4 E2B/E4B）。上下文窗口从128K翻倍至256K（26B/31B）。同时新增了原生函数调用和Extended Thinking（扩展思考）模式。

最重大的变化是许可证。Gemma系列此前一直使用自定义许可证，Gemma 4首次迁移至Apache 2.0。Hugging Face CEO Clement Delangue称此为"里程碑式的重大突破"，并宣称"本地AI的时代已经到来，这是AI产业的未来"。

架构创新

Per-Layer Embeddings（PLE）是Gemma 4引入的新技术。通过为每一层配备专属嵌入，使E2B（2.3B活跃参数）在保持5.1B总参数表达深度的同时，推理时的计算量仅相当于2.3B规模。这实现了4位量化后1.5GB以下的超轻量化与超越同体量模型性能的兼顾。

混合注意力机制交替采用局部滑动窗口（512/1024 token）与全局完整上下文注意力。既能在短上下文场景下实现快速推理，又能在256K超长上下文中有效保留信息。共享KV缓存进一步优化了内存效率。

与主要开源模型的比较——Gemma 4处于何种地位

截至2026年4月，对可本地部署的主要开源模型进行比较。

Meta Llama 4 提供Scout（17B激活参数/109B总参数，16专家MoE，1000万token上下文）和Maverick（17B激活参数/400B总参数，128专家，100万上下文）。支持文本+图像的多模态，但许可证为Llama许可证（月活跃用户超7亿时需特别许可证），限制多于Apache 2.0的Gemma 4。

阿里巴巴Qwen 3/3.5 提供从0.6B边缘模型到235B MoE旗舰模型的完整系列，采用Apache 2.0许可证。词汇量25万、支持201种语言，多语言性能卓越，GPQA Diamond达77.2%，AIME'24达85.7%。编码性能为开源模型中最强。

DeepSeek R1/V3 在MATH-500上达到97.3%，采用MIT许可证，开放程度最高。但通过API使用时数据经由中国服务器，存在隐私隐患，因此特别推荐本地部署。

微软Phi-4 在MATH基准上达到80.4%，专注于小体积部署。

Mistral 提供Ministral 3系列（3B/8B/14B，Apache 2.0）、Mistral Small 4（119B总参数/6B激活，MoE）以及Devstral Small 2（24B，SWE-bench Verified 68.0%）。

Gemma 4的竞争定位明确：31B在开源模型中排名全球第3，26B MoE仅以3.8B激活参数排名第6。数学推理与Qwen 3.5持平。许可证为Apache 2.0，与Qwen相同，比Llama更开放。编码与多语言方面逊于Qwen 3.5，但边缘模型（E2B/E4B）的轻量特性及语音输入支持是Gemma 4独特的优势。

具体应用场景与实证案例

隐私与数据主权

本地LLM的最大价值在于数据不会离开本地。它从根本上解决了GDPR跨境数据传输问题，实现完整的审计追踪管理。对于欧洲企业而言，这也是消除美国CLOUD法案风险的手段。在气隙环境中的部署，在国防、能源、航空等领域不可或缺。

成本效益

开放权重模型的本地运行与云端API相比，可实现最高18倍的成本效益。某FinTech案例显示，月度AI支出从47,000美元降至8,000美元（削减83%）。盈亏平衡点约为每日200万token，4个月内即可收回ROI。

Google提出了"token税"这一概念——"对于常驻后台智能体所生成的全部token向云服务商付费，在财务上是不可持续的。"本地LLM完全消除了这一token税。

企业导入现状

企业AI推理的55%已在本地/边缘端运行（从2023年的12%急速增长）。预计到2026年，超过80%的企业将整合生成式AI。本地运行的平均响应时间从云端的1.5秒缩短至40ms以下。

编程助手

以Ollama及本地模型为后端的编程助手正在迅速增多，包括Continue（GitHub超2万星）、Tabby（自托管型）、OpenCode CLI等。Simon Willison表示："2026年将是LLM生成代码质量达到'无可否认'水平的一年。手写代码在我的输出中已占极少数。"

医疗健康

三重大学医院与NTT西日本合作，利用NTT的tsuzumi对护理及医师记录进行摘要化处理。符合HIPAA标准的离线LLM对患者对话进行分析，完整保护隐私。

金融

瑞穗金融集团与SB Intuitions正在联合开发金融专用LLM。三菱UFJ与Sakana AI借助进化式模型合并技术推进金融AI协作。在算法交易领域，消除互联网延迟的本地推理不可或缺。

硬件——什么能运行哪些模型

NVIDIA RTX 5090

21,760个CUDA核心，32GB GDDR7，1,792 GB/s带宽。建议零售价1,999美元。批量大小为8时达到5,841 tok/s，超越A100达2.6倍。可流畅运行量化后的70B模型，双RTX 5090可发挥相当于H100的性能。

NVIDIA DGX Spark

搭载GB10 Grace Blackwell超级芯片，128GB统一内存。可在不量化的情况下以BF16精度运行Gemma 4 31B。

Apple Silicon M4 Max

546 GB/s内存带宽。128GB配置下通过MLX以130 tok/s的速度运行Qwen3.5-35B-A3B。M5神经加速器使TTFT加速4.06倍。

Gemma 4的硬件要求

E2B在4位量化下需4GB，E4B需5GB，26B MoE需18GB（4位）/28GB（8位），31B需20GB（4位）/34GB（8位）。E2B和E4B足够轻量，可在智能手机上运行。

日本动态——数字厅与国产大语言模型

日本本地LLM部署在政府主导下正在快速推进。

数字厅于2026年3月，为面向政府工作人员的AI平台"Gennai"选定了七家国产LLM供应商。tsuzumi 2（NTT）、ELYZA Llama-3.1-JP-70B（KDDI）、PLaMo 2.0 Prime（PFN）、cotomi v3（NEC）等开始向约18万名政府工作人员进行部署。

NTT tsuzumi 2拥有300亿参数，可在单块H100上运行，对比GPT-3.5胜率达81.3%。NEC cotomi实现了GPT-4对比10倍的高速推理，在WebArena上达到80.4%，超越了人类的78.2%。PFN PLaMo 2.2 Prime 31B在JFBench上达到了相当于GPT-5.1的日语性能，已在150个以上的地方自治体中得到应用。

在企业层面，理光的"RICOH 本地部署LLM入门套件"荣获2025年日经优秀产品·服务奖最优秀奖。英特克从2026年1月起开始提供本地部署LLM导入支援，面向制造业和金融业提供最短1个月的搭建服务。

Gemma 4的日语性能同样值得关注。东京科学大学的Gemma-2-Llama Swallow在同等规模LLM中实现了日语理解与生成任务的最高性能。凭借Gemma 4对140种以上语言的支持以及CJK分词器的大幅改进，日语本地LLM的实用性将进一步提升。

剩余的问题与限制

本地LLM的进步令人瞩目，但挑战依然存在。

质量差距正在缩小，但仍未消除。即便是最优秀的14B模型，质量也仅达到GPT-5.2和Claude Opus 4.6的80～90%。差距最为明显的领域是复杂的多步推理和创意写作。不过，在日常任务（代码补全、摘要、邮件撰写、问答）上，已达到"盲测中绝大多数用户无法分辨差异"的水平。

推理速度不及云端LLM。在复杂任务上，云端LLM约需300秒，本地SLM约需400秒。Dense模型（Gemma 4 31B、Qwen 3.5 27B）比MoE模型（Llama 4 Scout）快35～40%。

上下文窗口的内存扩展在处理超长上下文时会成为问题。将31B Gemma 4用于256K上下文时，会消耗大量VRAM。

微调依然需要专业知识与计算资源。虽然LoRA/QLoRA降低了门槛，但最优超参数的选择和数据准备仍非易事。

幻觉（Hallucination）率在小型模型中往往更高。尤其是14B以下的模型，需要加强事实核查机制。

VC的视角——押注边缘AI的投资资金

设备端AI市场预计将从2026年的135.6亿美元，以年均27.8%的速度增长至2033年的755亿美元。边缘AI市场将从2026年的299.8亿美元，以年均21.7%的速度达到2033年的1,186.9亿美元。仅推理优化芯片一项，2026年的市场规模就将超过500亿美元，占全部AI算力的约2/3。

风险投资也在加速涌入。d-Matrix（内存计算）在C轮融资中获得2.75亿美元，Mythic（模拟处理单元）获得1.25亿美元，Yann LeCun的AMI Labs获得10.3亿美元种子轮融资。2025年，AI初创企业整体获得894亿美元风险投资，2026年仅Q1对AI基础模型的投资就达到了上年同期的2倍。

谷歌提出"Token税"问题，并积极推动AI智能体在边缘设备上的持续运行——这一举动本身就证明，身为云端AI霸主的谷歌也承认了本地AI的未来。

未来展望——2026年会成为本地LLM元年吗

积极展望方面，Gemma 4的Apache 2.0授权与E2B的超轻量特性，将决定性地加速本地LLM的普及。QAT带来的量化质量提升、MLX与Apple Silicon的整合、vLLM对生产环境的支持，大幅降低了技术门槛。数字厅的18万人规模部署与理光公司的获奖，标志着日本企业级采用的转折点。

Google DeepMind CEO Demis Hassabis将Gemma 4评价为"各尺寸中全球最优秀的开放模型"。这一表态表明，Google正在全面推进云服务（Gemini API）与本地模型（Gemma）的双轮战略。

2026年下半年～2027年：Gemma 4的31B版本与E2B广泛普及，Ollama + MLX的整合使Mac上的推理性能逼近云端API水平。随着NVIDIA RTX 5090与DGX Spark的普及，70B级别的模型也将在本地具备实用价值。

2028年～2030年：50B～100B的模型将能以4位量化在消费级GPU上运行，质量差距在众多任务中趋于消失。随着NPU性能的提升（超过100 TOPS），智能手机上的10B级模型推理将成为现实。

借用Edge AI Vision Alliance的话来说，"AI的世界正在经历根本性的转变"。2026年能否作为"本地LLM元年"被铭记，取决于Gemma 4的普及速度、Apple Silicon与NVIDIA在推理性能上的竞争态势，以及企业级采用的加速程度。然而从技术角度而言，这些条件已经具备。

对行业的影响

第一，Gemma 4采用Apache 2.0许可证，将开放模型的许可证竞争推向了新阶段。Qwen（Apache 2.0）、Gemma 4（Apache 2.0）、DeepSeek（MIT）与Llama（自有许可证）相比，后者因诸多限制而处于劣势。商业使用的自由度正日益成为模型选择的决定性因素。

第二，本地LLM的质量已达到云端LLM的80～90%，"所有AI推理均在云端进行"这一默认前提正在瓦解。尤其在隐私要求较高的金融、医疗及政府机构领域，本地部署正逐渐成为首选方案。

第三，Google提出的"Token税"问题，引发了业界对AI智能体持续运行成本的广泛讨论。云端API计费模式对零散查询而言尚属合理，但对于全天候运行的智能体而言，在经济上难以为继。这一认识将加速本地LLM的普及。

第四，日本数字厅遴选7家国产LLM供应商并向18万人推广部署，在全球政府机构AI采用方面属于领先之举。理光的本地部署LLM入门套件获奖，证明了企业级市场的落地实施具备商业可行性。

第五，Apple Silicon与MLX的组合，有望将Mac打造为"AI工作站"。M4 Max 128GB可以130 tok/s的速度运行30B级模型，这一事实有望从根本上改变开发者的工作流程。与NVIDIA RTX 5090及DGX Spark之间的推理性能竞争，也将为硬件市场带来新的竞争维度。

参考资料：Google Blog「Gemma 4」(2026/4/2), Google DeepMind「Gemma 4 Models」, Hugging Face Blog「Welcome Gemma 4」, The Decoder「Gemma 4 Apache 2.0」, 9to5Google「Gemma 4」, NVIDIA Blog「RTX AI Garage - Gemma 4」, Demis Hassabis「best open models in the world」, Clement Delangue (Hugging Face CEO)「Local AI is having its moment / future of the AI industry」, Edge AI Vision Alliance「On-Device LLM Revolution: 3B-30B Models Moving to Edge」(2026/4), Ollama Blog (v0.18.0, MLX Integration, 165K+ GitHub Stars), LM Studio v0.3.5 Local LLM Service, vLLM v0.16.0 (PagedAttention, AWQ + Marlin 741 tok/s), llama.cpp GGUF Format, Apple MLX Framework (230 tok/s Apple Silicon), Apple Machine Learning Research「Exploring LLMs on M5」, macgpu.com「Mac Inference Framework Benchmark 2026」, Google Developers Blog「Gemma 3 QAT」, Prem.ai「LLM Quantization Guide 2026: GGUF vs AWQ vs GPTQ」, LocalLLM.in「Quantization Explained」, Unsloth「Gemma 4 31B GGUF」, Grand View Research「On-Device AI Market」($13.56B 2026 → $75.5B 2033), Crunchbase「AI Funding Q1 2026」, Accrets「On-Premise LLM ROI」(18x cheaper, 4-month ROI), MarkTechPost「Defeating the Token Tax: Gemma 4 + NVIDIA」(2026/4/2), ai.meta.com「Llama 4」, Mistral「Mistral Small 4」, SitePoint「Best Local LLMs 2026」, ai.rs「Gemma 4 vs Qwen 3.5 vs Llama 4」, Simon Willison「LLM Predictions 2026」, RunPod「RTX 5090 LLM Benchmarks」, localaimaster「NPU Comparison 2026」, CraftRigs「Gemma 4 Hardware Requirements」, d-Matrix $275M Series C, Mythic $125M, 数字厅「Gennai」国产LLM 7家供应商遴选（Impress Watch, 2026/3）, 理光「RICOH 本地部署LLM入门套件」日经优秀产品·服务奖最优秀奖（2025）, Intec 本地LLM导入支援（2026/1）, NTT tsuzumi 2（30B, 单一H100, GPT-3.5胜率81.3%）, NEC cotomi（GPT-4速度10倍, WebArena 80.4%）, PFN PLaMo 2.2 Prime 31B（JFBench相当于GPT-5.1, 150+地方政府导入）, Google DeepMind「Gemma-2-Llama Swallow」（东京科学大学）, 瑞穗 + SB Intuitions 金融专用LLM, 三菱UFJ + Sakana AI 模型合并, DevelopersIO「2026年本地LLM现状」, Label Your Data「LLM Model Size」, Enclave AI「Quantization Explained GGUF Guide」