🔄 sim2real 部署步骤拆解

1 什么是 sim2real gap?

在仿真里训练出一个"满分策略",直接拷到真机往往立刻摔倒或根本站不起来。原因是仿真和真机之间存在系统性差异,这些差异被统称为 sim2real gap。gap 越大,策略迁移越容易失败;而 sim2real 的全部工作,就是把 gap 缩小到策略能容忍的范围。

2 十步部署流程

以下十步按顺序执行;每一步都有"验收标准",达标再进下一步。可对照 04-04 的训练流水线一起看。

配套代码 1 — Isaac Lab 域随机化配置(对应第 3 步,建议在训练前就配好):

# Isaac Lab:用 EventTerm 声明域随机化(ManagerBasedRLEnv 的 events 配置)
import isaaclab.envs.mdp.events as mdp_events
from isaaclab.envs import ManagerBasedRLEnvCfg
from isaaclab.managers import EventTermCfg as EventTerm
from isaaclab.utils import configclass

@configclass
class MyEnvCfg(ManagerBasedRLEnvCfg):
    events = ManagerBasedRLEnvCfg.events  # 在原有 events 上追加以下随机化项

    events.randomize_link_mass = EventTerm(
        func=mdp_events.randomize_rigid_body_mass,       # 随机化连杆质量
        mode="startup",                                   # 每次环境 reset 前抽样一次
        params={
            "asset_cfg": SceneEntityCfg("robot"),
            "mass_distribution_params": (0.8, 1.2),       # 质量缩放区间:标称值 ±20%
            "operation": "scale",
        },
    )
    events.randomize_friction = EventTerm(
        func=mdp_events.randomize_rigid_body_material,   # 随机化地面摩擦
        mode="startup",
        params={
            "asset_cfg": SceneEntityCfg("robot"),
            "static_friction_range": (0.4, 1.2),          # 静摩擦区间(覆盖瓷砖/草地/地毯)
            "dynamic_friction_range": (0.3, 1.0),         # 动摩擦区间
            "restitution_range": (0.0, 0.0),
        },
    )
    events.randomize_push = EventTerm(
        func=mdp_events.push_by_setting_velocity,         # 随机推力扰动(抗扰训练)
        mode="interval",                                  # 每隔 interval_s 秒推一次
        interval_range_s=(5.0, 10.0),
        params={
            "velocity_range": {"x": (-0.5, 0.5), "y": (-0.5, 0.5)},  # 推力等效速度 ±20% 量级
        },
    )

配套代码 2 — ONNX 导出与数值校验(对应第 8 步的验收项):

import torch, numpy as np, onnxruntime as ort

actor.eval()  # 推理导出:确定性前向,取均值不采样
obs = torch.randn(1, obs_dim)  # 固定形状的示例输入
torch.onnx.export(
    actor, obs, "policy.onnx",
    input_names=["obs"], output_names=["action"],
    opset_version=17, dynamo=False,
)
sess = ort.InferenceSession("policy.onnx", providers=["CPUExecutionProvider"])
onnx_out = sess.run(["action"], {"obs": obs.numpy()})[0]
pt_out = actor(obs).detach().numpy()
diff = np.abs(pt_out - onnx_out).max()
assert diff < 1e-3, f"ONNX 与 PyTorch 输出偏差过大: {diff}"
print(f"max|Δ| = {diff:.2e}  ✓ 校验通过")

3 三个最关键的工程细节

4 常见误区

5 本节自测

6 参考来源

• Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning(legged locomotion / PPO 训练范式)
• legged_gym(ETH Zürich,经典四足/人形 RL 训练库)
• unitree_rl_gym(宇树,真机部署常用参考)
• Isaac Lab 文档(RL 训练 + 域随机化接口)
• 本站 04-04 · 仿真与强化学习(训练侧)