Ollama部署指南：Gemma4与Qwen3.5轻量运行实操

本文手把手教你如何在本地高效部署轻量级大语言模型Gemma4与Qwen3.5——通过llmfit精准评估硬件适配性，只选用Perfect/Good评级的精简版本避免显存崩溃；再借助Ollama一键安装、原生加速与极简CLI，三步完成环境搭建，并用实时响应测试与JSON解析验证其低延迟、高准确性的中文处理能力，真正实现“笔记本跑大模型”的流畅体验。

如果您尝试在本地运行大语言模型，但遇到硬件资源紧张或部署流程复杂的问题，则可能是由于未选择适配的轻量级模型版本或未采用高效部署路径。以下是实现Ollama本地轻量级运行Gemma4与Qwen3.5的具体操作步骤：

一、硬件适配性检测与模型筛选

在执行任何模型下载前，必须确认当前设备能否支撑目标模型的运行。盲目拉取高参数量模型将导致显存溢出、系统卡顿甚至崩溃。使用llmfit工具可自动评估Mac或Linux设备的RAM、CPU及GPU能力，并从数百个开源模型中筛选出Fit评级为Perfect或Good的轻量级选项。

1、打开终端，执行Homebrew安装命令（若尚未安装）：/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2、安装llmfit工具：brew install llmfit

3、运行检测：llmfit

4、在交互界面中输入gemma4或qwen3.5，查看Fit列结果；仅选择标注为Perfect或Good的版本。

二、Ollama安装与服务启用

Ollama作为本地模型运行底座，提供统一的CLI接口与后台API服务，避免手动配置HTTP端点或模型加载路径。其轻量级设计确保低内存占用，且支持Apple Silicon原生加速。

1、Mac用户在终端中执行：brew install --cask ollama

2、Windows用户以PowerShell管理员身份运行：irm https://ollama.com/install.ps1 | iex

3、Linux用户执行：curl -fsSL https://ollama.com/install.sh | sh

4、验证安装成功：ollama --version，返回版本号即表示就绪。

5、检查菜单栏右上角是否出现?图标，该图标代表Ollama服务已在后台持续运行。

三、轻量级模型拉取与运行

根据硬件检测结果，优先选用显存占用低、推理速度快、量化等级合理的轻量版本。以下三个命令分别对应不同层级的轻量部署策略，用户可根据实际设备条件任选其一执行。

1、运行Gemma 4 E4B（约4GB显存，适合M1/M2 Mac或16GB内存PC）：ollama run gemma4:e4b-q4_K_M

2、运行Qwen 3.5 4B（Q4_K_M量化，内存占用低于3GB，8GB RAM设备可稳定运行）：ollama run qwen3.5:4b-q4_K_M

3、运行Gemma 4 26B MoE（混合专家架构，仅激活约3.8B参数，24GB显存下可达159 token/s）：ollama run gemma4:26b-moe

四、WorkBuddy客户端模型接入配置

WorkBuddy需通过Ollama提供的本地API（默认http://localhost:11434）识别并调用已加载模型。该过程无需手动填写地址或密钥，依赖Ollama服务自动注册机制。

1、启动WorkBuddy应用，点击左侧菜单栏【Claw设置】→【模型】

2、点击【添加模型】按钮，等待界面自动扫描并列出本地可用模型

3、在扫描结果中勾选已成功拉取的轻量模型名称，例如Gemma 4 E4B (Ollama)或Qwen 3.5 4B (Ollama)

4、点击【保存配置】，完成模型绑定

五、运行验证与终端对话测试

终端直连测试是验证模型是否真正就绪的最可靠方式，可排除图形界面缓存或配置延迟导致的误判。此步骤同时确认模型响应速度与基础语义理解能力是否符合轻量级部署预期。

1、在终端中再次执行所选轻量模型运行命令，例如ollama run qwen3.5:4b-q4_K_M

2、等待出现>>>提示符后，输入测试问题：“请用一句话介绍你自己”

3、观察模型是否在3秒内返回结构化、无乱码的中文响应

4、输入第二轮指令：“将以下JSON中的title字段提取出来：{"title":"春日行","author":"李白"}

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Ollama部署指南：Gemma4与Qwen3.5轻量运行实操》文章吧，也可关注golang学习网公众号了解相关技术文章。