登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  AI训练模型  >  Ollama
Ollama本地大语言模型运行工具:支持Llama 2、DeepSeek-R1及多模态交互

Ollama

AI训练模型
104次浏览
2026-09-23

工具简介

Ollama是一款免费开源的本地LLM运行工具,支持macOS、Linux及Windows。提供Docker镜像、GPU加速及REST API,现已推出桌面端支持文件处理与多模态交互,保障数据隐私。

详细介绍

Ollama 是一款专为在本地计算机上高效运行大型语言模型(LLM)而设计的命令行工具。它允许用户轻松下载并在本地部署如 Llama 2、Code Llama 等主流模型,同时支持用户自定义创建专属模型。作为一个免费且开源的项目,Ollama 目前完美兼容 macOS 和 Linux 操作系统,并计划在未来全面支持 Windows 系统。

此外,Ollama 提供了官方认证的 Docker 镜像,极大地简化了通过 Docker 容器部署大型语言模型的流程。这一特性确保了所有与模型的交互均在本地环境中完成,无需将敏感或私有数据上传至第三方云服务,从而保障了数据安全。在性能方面,Ollama 在 macOS 和 Linux 平台上支持 GPU 硬件加速,并提供了简洁易用的命令行界面(CLI)以及用于应用程序集成的 REST API。

对于需要在本地环境中测试、实验或部署大语言模型的开发人员和研究人员而言,Ollama 是一个极具价值的工具,因为它摆脱了对外部云服务的依赖,实现了完全自主可控的运行环境。

最新版本的 Ollama 已正式推出适用于 macOS 和 Windows 的桌面客户端。新版本新增了文件处理能力及多模态交互功能,使得用户与本地大语言模型的互动变得更加直观、便捷和高效。

Ollama安装包获取

Ollama

获取Ollama安装包,扫码关注回复:Ollama

Ollama支持的模型

Ollama 内置了丰富的模型库,用户可以根据需求自由选择并安装所需的模型。目前平台已支持超过40种模型,且数量仍在持续增长中。以下是部分可供下载的热门开源模型示例:

模型参数大小文件大小下载运行命令
DeepSeek-R11.5B、7B、14B、32B等12-320GBollama run deepseek-r1
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Mistral7B4.1GBollama run mistral
Llama 27B3.8GBollama run llama2
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
Vicuna7B3.8GBollama run vicuna

最新文章

模型流式输出怎样处理半个 UTF-8 字符

模型流式输出怎样处理半个 UTF-8 字符

模型流的网络字节、SSE 帧和 UTF-8 字符不是同一条边界。本文用
RAG 文档切分怎样按标题层级保留上下文

RAG 文档切分怎样按标题层级保留上下文

RAG 按标题层级切分应先分章节,再按长度细分并继承标题路径和来源元数据
AI 评测集怎样避免训练数据泄漏

AI 评测集怎样避免训练数据泄漏

AI 评测分数异常偏高时,问题常不在指标本身,而在同源样本跨 split
向量检索怎样把元数据过滤放在召回前

向量检索怎样把元数据过滤放在召回前

向量检索不要先取全局 top_k 再丢弃不合格结果。本文以 Redis
Transformers 长文本怎样用 stride 生成重叠窗口

Transformers 长文本怎样用 stride 生成重叠窗口

长文本超过模型输入上限时,用 Transformers tokenize
Hugging Face 数据集流式读取怎样减少本地磁盘

Hugging Face 数据集流式读取怎样减少本地磁盘

Hugging Face Datasets 的 streaming 可减