Python调用AI大模型教程与使用指南

想用Python快速调用通义千问、ChatGLM、Qwen2、Llama 3等主流大模型，无需从零训练或搭建GPU集群？本文手把手教你三种高效落地方式：API调用（零环境依赖，几行代码即刻体验）、本地加载（transformers+accelerate组合，数据可控、支持微调）、Ollama一键部署（跨平台友好，Mac/Win/Linux全适配），并直击新手最易踩的三大坑——token超限截断、中文乱码/空输出、显存溢出，帮你绕过试错成本，真正实现“写几行代码，今天就能跑通大模型”。

想用Python快速调用大模型，不用从头训练，也不用搭GPU集群？其实只要几行代码，就能接入通义千问、ChatGLM、Qwen2、Llama 3等主流开源或API模型。关键不是“能不能”，而是选对方式、避开常见坑。

用 API 方式调用（最简单，适合初学者）

适合不想装环境、没显卡、只想快速验证想法的用户。主流平台都提供 HTTP 接口，Python 用 requests 就能发请求。

• 注册账号获取 API Key（如阿里云 DashScope、OpenRouter、Ollama Cloud）
• 安装依赖：pip install dashscope 或直接用 requests
• 示例（调用通义千问 Qwen2-7B）：

import dashscope
dashscope.api_key = "your_api_key_here"
response = dashscope.Generation.call(
  model="qwen2-7b-instruct",
  prompt="写一段 Python 代码，把列表去重并保持顺序"
)
print(response.output.text)

本地加载开源模型（可控强，需中等硬件）

适合希望数据不出本地、可微调、或做离线应用的用户。推荐用 transformers + accelerate 组合，支持 CPU/单卡 GPU 推理。

• 安装：pip install transformers accelerate torch
• 模型从 Hugging Face 下载（如 Qwen2-1.5B-Instruct）
• 代码极简启动：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-1.5B-Instruct", device_map="auto")

inputs = tokenizer("你好，请介绍你自己", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

用 Ollama 快速跑通本地模型（Mac/Win/Linux 都友好）

Ollama 把模型下载、运行、API 封装全打包好了，连 Python 都不用写太多——但你可以用 Python 调它的本地 API。

• 官网下载安装 Ollama（ollama.com），终端运行：ollama run qwen2:1.5b
• Python 调用其内置 API（默认 http://localhost:11434）：

import requests
url = "http://localhost:11434/api/chat"
data = {
  "model": "qwen2:1.5b",
  "messages": [{"role": "user", "content": "用 Python 判断一个数是否为质数"}]
}
res = requests.post(url, json=data)
print(res.json()["message"]["content"])

关键提醒：别踩这 3 个坑

• Token 限制不看文档：Qwen2-1.5B 默认上下文约 32K，但实际 prompt + response 不能超；Llama 3-8B 是 8K，超了直接截断
• 中文乱码或输出空：确保 tokenizer 加载正确，别漏掉 use_fast=False 或 trust_remote_code=True（尤其 Qwen、ChatGLM 系列）
• 显存爆掉：小模型也建议加 device_map="auto" 或 load_in_4bit=True（需 bitsandbytes）

好了，本文到此结束，带大家了解了《Python调用AI大模型教程与使用指南》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！