💻 代码实战:部署 · 微调 · Agent

1 Ollama:三条命令本地跑模型

ollama pull deepseek-r1:7b      # 拉取 R1 蒸馏版(约 4.7GB)
ollama run deepseek-r1:7b       # 交互对话(自动起本地服务 11434)
curl http://localhost:11434/api/chat -d '{"model":"deepseek-r1:7b","messages":[{"role":"user","content":"用一句话解释MoE"}]}'

要点:Ollama 自动做量化(GGUF 格式)与显存调度;蒸馏版 7B 在 8G 显存即可流畅运行——「大厂能力、桌上尺寸」是蒸馏的意义(呼应 07-02)。

2 transformers:10 行加载与生成

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "Qwen/Qwen3-4B-Instruct"          # 任意宽松许可模型
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, device_map="auto", torch_dtype="auto")
msgs = [{"role":"user","content":"解释一下谐波减速器为什么零背隙"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=256)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

要点:device_map="auto" 自动分层放显存/内存;apply_chat_template 是「对话格式」的官方实现——你训练时用什么模板,推理就必须用同一个(格式错=性能暴跌,新人第一大坑)。

3 LoRA 微调:只训 0.5% 的参数

from peft import LoraConfig, get_peft_model
cfg = LoraConfig(
    r=16, lora_alpha=32, lora_dropout=0.05,
    target_modules=["q_proj","k_proj","v_proj","o_proj"],  # 只往注意力层插低秩旁路
    task_type="CAUSAL_LM")
model = get_peft_model(model, cfg)
model.print_trainable_parameters()   # trainable params: 0.5% 左右

• r(秩):低秩矩阵的「宽度」——容量上限。r=8~32 起步,数据多再加大;
• lora_alpha:旁路输出缩放系数,实际等效学习率 ≈ alpha/r;常见配比 alpha=2×r;
• target_modules:插到哪些层。注意力四投影是通用起点;知识型微调可加 FFN 层。

训练循环用 trl.SFTTrainer 包一层即可(喂「指令-回答」JSONL)。为什么 LoRA 有效:能力改动本质是低秩方向上的微调,不用重学全部知识——与 07-03「预训练定上限,后训练唤醒」完全自洽。

4 GRPO 训练循环(伪代码,对应 07-03 理论)

for problem in math_dataset:
    group = [policy.sample(problem) for _ in range(G)]      # ① 同题采样 G 个答案
    rewards = [verify(a) for a in group]                     # ② 可验证奖励(对/错)
    A = [(r - mean(rewards)) / (std(rewards)+1e-4)           # ③ 组内基线=优势(无 critic!)
         for r in rewards]
    loss = -sum( min( ratio*A, clip(ratio,1-ε,1+ε)*A )       # ④ PPO 式裁剪保稳定
                 for ratio,a in zip(ratios(group), group) )
    loss.backward(); optimizer.step()                        # ⑤ 无 KL(R1 口径):放开手长思考

全部「魔法」就在 ③:优势不需要价值网络,同题互相当参照。把 verify 换成你机器人的任务成功判定,这套循环就直接迁移到具身 Agent 训练。

5 function calling:25 行最小 Agent 循环

import json, requests
TOOLS = [{"type":"function","function":{"name":"get_joint_temp",
  "description":"读取机器人关节温度","parameters":{"type":"object",
  "properties":{"joint":{"type":"string","enum":["hip","knee","shoulder"]}},"required":["joint"]}}}]
def read_sensor(joint): return {"hip":41.2,"knee":38.7,"shoulder":35.1}[joint]  # 你的真实驱动器接口
msgs = [{"role":"user","content":"髋关节现在多少度?要不要休息?"}]
while True:
    r = requests.post("http://localhost:11434/api/chat",
        json={"model":"qwen3:4b","messages":msgs,"tools":TOOLS}).json()["message"]
    msgs.append(r)
    if not r.get("tool_calls"): print(r["content"]); break          # 没有工具调用=最终回答
    for call in r["tool_calls"]:
        args = call["function"]["arguments"]
        result = read_sensor(**args)                                 # 执行真实动作
        msgs.append({"role":"tool","content":json.dumps(result),
                     "name":call["function"]["name"]})               # 结果回填继续对话

这就是 Agent 的最小骨架:模型决定「调什么工具」→ 你执行真实世界动作 → 结果回填 → 模型再决策。把这个 read_sensor 换成你关节驱动器的 CAN 读取,LLM 就真的在「感知你的机器人」——Agentic RL(07-03)训练的就是把这个循环里的决策做得更聪明。

6 常见报错与排错(新人高频)

六段代码各自对应一个「必踩坑」。先看报错原文,再对号入座:

7 显存估算速查表

量化三句话:INT4 把权重压到 1/4(训练后量化 AWQ/GGUF,或训练中 QLoRA);显存公式:权重 ≈ 参数量×每参数字节,KV Cache 另算(07-01)。MoE 记得显存看「总参数」、速度看「激活参数」。

8 本节自测

9 参考来源(更新至 2026-08)

• Ollama 官网 / Transformers 文档
• peft(LoRA)仓库 / TRL(GRPO/SFT 训练库)
• LoRA 原论文 (arXiv) / QLoRA (arXiv)
• OpenVLA 仓库(具身侧实战参照)