🦾 灵巧操作与抓取规划:从"抓得住"到"干得巧"

1 抓取问题的表述:接触、封闭性与质量

在聊算法之前,先把"抓取"这件事翻译成数学语言。一次抓取(grasp)由三要素定义:接触点集(手指/夹爪落在物体表面的位置与法向)、接触模型(每个接触点能施加多大的力/力矩)、封闭性(这些接触能不能"锁死"物体)。理解了这三层,后面所有"抓取质量""抓取规划"才有统一的评判标尺。

1.1 接触点与接触模型:一个点能"顶"多大力

手指与物体的接触,通常抽象成三种理想模型,按"能传递的信息量"从低到高排列:

其中摩擦锥(friction cone)是核心概念:若摩擦系数为 μ,接触点能承受的切向力最多是法向力的 μ 倍,所有允许接触力向量的集合在力空间里就构成一个"锥"。库仑摩擦定律 f_t ≤ μ·f_n 把"这个接触会不会打滑"变成了一个几何约束——抓取是否稳健,本质上就是看"这些锥的合力能不能覆盖所有可能的外界扰动"。

1.2 力封闭 vs 形封闭:两种"锁死"物体

• 直观例子:把一支笔竖直夹在两指间(对捏)——靠摩擦力防滑,是力封闭;把笔放进一个刚好卡住的凹槽/夹爪完全包住它的轮廓——几何上动不了,是形封闭。
• 数量关系:无摩擦形封闭通常需要比力封闭更多的接触点(一般 2D 需 ≥4 个、3D 需 ≥7 个无摩擦点),而带摩擦的力封闭往往 2~3 个接触点就够(如二指夹持)。这正是夹爪只需两个指头、灵巧手却要五指的原因之一。
• 工程结论:真实机器人几乎都用"力封闭"做判断——因为摩擦是免费的、几何上完美卡死又太难保证。形封闭更多出现在夹具设计(fixture)与理论分析里。

1.3 抓取质量度量:给每一次抓取"打分"

有了"封闭"这个概念还不够——两次都力封闭的抓取,一个只差 0.1N 就滑、另一个能扛 50N,显然不一样。于是需要抓取质量度量(grasp quality metric)把"好抓"量化,这是抓取规划里"候选打分 + 排序"的依据。

1.4 ε 度量手算例:两指抓圆柱,ε 到底怎么算出来

用一个能全程手算的最小例子把 ε 度量走一遍:两个指尖对抓一根圆柱(2D 简化),每个接触点法向力 5N,摩擦系数 μ = 0.4。取圆柱半径 r = 1,接触点 P₁ = (1, 0)、P₂ = (−1, 0),法向都指向圆心。

第一步:算每个接触点的摩擦锥。库仑定律 f_t ≤ μ·f_n = 0.4 × 5 = 2N——每个接触点在摩擦锥内最多提供 2N 的切向抵抗。把每个接触能施加的力取 3 个"棱方向"(1 个法向 + 2 个锥边界切向),映射到物体 2D 力螺旋空间 (f_x, f_y, m)(力矩 m = x·f_y − y·f_x),得到 6 个 primitive wrench:

c1 = (-5, 0,  0)   P₁ 法向(-x 方向,推物体向左)
c2 = ( 0, 2,  2)   P₁ 切向 +y,力臂 r=1 → m = 1×2 = +2
c3 = ( 0,-2, -2)   P₁ 切向 -y → m = -2
c4 = ( 5, 0,  0)   P₂ 法向(+x 方向,推物体向右)
c5 = ( 0, 2, -2)   P₂ 切向 +y @ (-1,0) → m = -1×2 = -2
c6 = ( 0,-2,  2)   P₂ 切向 -y → m = +2

G 矩阵(3×6,每列一个 primitive wrench):
        ⎡ -5   0   0   5   0   0 ⎤
G   =   ⎢  0   2  -2   0   2  -2 ⎥
        ⎣  0   2  -2   0  -2   2 ⎦

第二步:判断力封闭。力封闭等价于"6 个 primitive 的非负组合能张满整个力螺旋空间"(即能抵抗任意方向的外部扰动)。逐项检查:

• x 方向:c1 与 c4 恰好互为相反向量,非负组合可覆盖整条 x 轴——外界推 (3N, 0) 时,取 0.6·c1 = (−3, 0, 0) 即可抵抗,法向力 5N > 3N,余量充足,摩擦都没动用;
• y 方向与力矩:c2 + c6 = (0, 0, 4) 与 c3 + c5 = (0, 0, −4) 给出 ±m 轴;c2、c3 本身给出 ±y 方向的锥——两指的切向能力"错开力臂"后,力矩轴也被张满;
• 结论:非负组合张满 R³,ε > 0,力封闭成立。

第三步:算 ε 的数值。把抓取力螺旋空间取为 conv(原点 ∪ c1…c6),ε = 原点到凸包最近面的距离。该凸包的 8 个侧面方程为 2f_x ± 5f_y = ±10 与 2f_x ± 5m = ±10,每个面到原点的距离都是:

ε = 10 / √(2² + 5²) = 10 / √29 ≈ 1.86 N   (r = 1 时)

# python 验算(任意三 primitive 组成面,原点距离取最小):
#   d = |10| / norm((2,5,0)) = 10/sqrt(29) ≈ 1.857  → 与 8 个面全一致
#   结果:eps = 1.857 > 0  → 力封闭成立

这个例子的三个直觉:① ε 由"法向力 5"与"摩擦能力 2"按力臂几何耦合决定——法向翻倍或 μ 翻倍,ε 都会变大;② 接触点力臂 r 越大,同样的切向力换来越大的力矩裕量(例子中 m = ±2 就来自 r = 1);③ 反过来,若 μ = 0(无摩擦),切向 primitive 全部消失,y 与力矩方向张不满,ε = 0——退化回"只能顶不能夹",这正是力封闭必须依赖摩擦的原因。

2 抓取姿态规划:手该伸向哪里、怎么放

知道了"怎么评价一次抓取",下一个问题是"怎么找到一次好抓取"。这被称作抓取规划(grasp planning)或抓取合成(grasp synthesis),从传统几何规划一路演进到今天的端到端深度学习。它的输出统一为抓取姿态(grasp pose)——告诉执行器"在什么位置、以什么朝向、开多大"去合拢。

2.1 6D 抓取:一个姿态的六个自由度

• 6D = 位置(3 维)+ 朝向(3 维):夹爪中心点在哪 (x,y,z),加上朝向(翻滚/俯仰/偏航或四元数),共 6 个自由度。
• 平行夹爪常补第 7 维:还要一个"夹爪张开宽度"(approach width),于是有 7-DoF 抓取的说法;再加"接近方向"(approach direction),构成完整的抓取动作。
• 采样 vs 学习:早期做法是几何采样 + 力学验证——在物体表面随机撒接触点对、算 ε 度量、排序;现在主流是端到端网络——输入点云/RGB-D,直接回归每个位置的 6D 抓取与置信度,再非极大值抑制取 top-k。

2.2 从点云生成候选:GraspNet-1Billion 的范式

以 GraspNet-1Billion(CVPR 2020)为代表的现代抓取检测,把"生成候选"统一成一条深度学习流水线:

它的意义在于给了行业一个大规模、带标注的基准:约 9.7 万张 RGB-D 图、88 类物体、12 亿条标注的 6D 抓取(每条含力封闭标签与摩擦系数标注),让"谁家的抓取检测更准"第一次可以被公平比较。理解这条流水线,你就理解了从"点云"到"动作"的桥梁长什么样。

2.3 夹爪抓取 vs 灵巧手抓取:两套完全不同的规划难度

3 力控抓取:从"走到位置"到"顺着接触"

找到抓取姿态只是第一步。真正把物体拿起来、插进去、拧上去,靠的是力控——因为一旦发生接触,纯位置控制就会陷入"要么顶死、要么打滑"的两难。力控的目标是让机械臂/手在接触中表现得像一个"有弹性、会顺应"的系统,而不是一根刚硬的杆。

3.1 为什么位置控制不够

• 位置控制假设世界是刚性的:它只回答"走到 (x,y,z)",但抓取/装配的世界充满接触、形变与误差——插一根 USB 线,差 0.5 毫米就卡死,而相机根本测不出这 0.5 毫米。
• 接触会产生无穷大的力:刚体位置环在"顶到东西还继续走"时会迅速达到力饱和,轻则打滑、重则压坏物体或损坏关节。
• 解决思路:把"力"也纳入控制闭环——这就是阻抗控制与导纳控制的由来。

3.2 阻抗控制 vs 导纳控制:一对"镜像"

两者都把末端渲染成一个质量-弹簧-阻尼系统(有惯性、有刚度、有阻尼),区别只在于"谁测量、谁输出":

3.3 力/力矩反馈:六维力传感器是力控的"眼睛"

• 信号来源:力控需要实时知道"末端受了多大的力/力矩"。来源有三:①腕部/掌根六维力传感器(直接测 Fx/Fy/Fz + Mx/My/Mz,最准);②关节电流估算(准直驱可用,零成本但精度受摩擦影响);③指尖触觉/视触觉(测接触分布,见 05-04)。
• 六维力的作用:它是阻抗/导纳控制的外环输入,也是判断"有没有接触、接触方向、有没有滑"的直接依据。关于六维力传感器的原理(应变片 + 惠斯通电桥 + 标定矩阵解耦)与代表厂商,详见 05-02 前沿技术专题库 · 专题三。
• 采样率要求:滑动是毫秒级事件,力反馈通常要 ≥100Hz、理想 1kHz+,才能及时"加大握力"防滑。

3.4 柔顺操作:让"硬碰硬"变成"顺着走"

柔顺(compliance)是力控的直接产物,指末端在接触中能主动"让步"。它在三类任务里不可替代:

• 装配(peg-in-hole / 插线):孔位有误差,靠柔顺让轴"贴着孔壁滑进去",而不是硬顶。经典方法是"力-位混合控制":沿插入方向控位置、垂直方向控力(贴壁)。
• 拧紧/旋盖:既要沿螺纹方向给扭矩、又要沿轴向给压力,还要在"到底"瞬间感知扭矩突变停止——全程是力与力矩的协同。
• 安全交互:人机协作时,阻抗控制让机器臂"被推就退",是碰撞安全的第一道防线。

4 操作任务:开门、插线、倒水的共性与难点

抓取是"操作(manipulation)"的入口,但操作远不止"拿起来放下"。按能力阶梯,操作任务大致分五层,越往上对"抓取 + 力控 + 决策"的综合要求越高:

4.1 三个典型任务拆解

4.2 灵巧操作的四大共性难点

• 接触与摩擦的不可预测性:物体、材质、温度都会改变摩擦系数,而抓取稳定恰恰对摩擦极敏感。
• 感知的不完全:遮挡、光照、柔性形变让视觉失效,只能靠触觉 + 力觉补盲(回到第 3 节)。
• 长时程与误差累积:任务越长,中间一步失败就越难恢复,需要重规划 + 恢复策略。
• 动作空间的高维:灵巧手 + 双臂让策略输出维度巨大,对数据与算力的需求随之爆炸(这也是第 6、7 节数据与 VLA 的议题)。

5 数据与基准:抓取和操作靠什么"喂大"

现代灵巧操作的进步,一半靠算法、一半靠数据。下面四个(加两个延伸)是抓取/操作方向最常被引用的数据集与平台,规模、用途、获取方式已用 web_search 核实。

6 与 VLA 结合:让"一句话"变成"一次抓取"

过去一年最大的变量,是VLA(视觉-语言-动作模型)把"听懂语言指令"与"输出机器人动作"打通了。抓取作为机器人最高频的动作,自然成了 VLA 的第一战场。VLA 的完整原理见 04-08 视觉语言动作模型 VLA 与世界模型详解,这里聚焦它与抓取的三个结合点。

6.1 语言指令驱动的抓取:三层架构

• 端到端(直接出动作):VLA 直接输出"抓取姿态 + 力控参数",如 RT-2 对"把红色杯子拿给我"直接出末端轨迹。优点是不需要中间模块,缺点是动作空间大、数据需求高。
• 分层(大模型出意图 + 低层出动作):VLA 只输出高层意图(目标物体、抓取点、动作类别),交给 GraspNet 类抓取检测 + 阻抗控制执行——"大模型负责想,抓取模块负责抓"。这是当前工程上最稳的落地方式。
• 语言作为先验:语言还能提供"常识"——"抓鸡蛋要轻""抓刀要握柄"这类文本先验,可以在奖励函数或数据筛选里引导策略。

6.2 抓取大模型的趋势

• 动作 token 化:把连续抓取动作离散成 token,让 LLM 的 next-token 预测直接生成动作序列(RT-2 的思路)。
• 数据规模竞赛:抓取能力的上限正被数据规模定义——AgiBot World、Open X-Embodiment 的出现,正是为了给"抓取大模型"提供海量真机轨迹。
• 零样本抓取:目标是用一个通用模型,对没见过的物体也能直接给出可用抓取,而不必每个物体都重新训练——这是"通用抓取"的终极方向。

7 仿真到现实:灵巧操作的 sim2real 要点

灵巧操作是 sim2real 差距最大的方向之一——仿真里"转魔方、拧瓶盖"轻松刷分,真机却常因摩擦、弹性、延迟差异而崩盘。通用的 sim2real 流程见 04-07 sim2real 部署步骤拆解,这里聚焦抓取/操作特有的三个要点:

7.1 域随机化:让策略"见过世面"

• 物理参数随机化:训练时随机采样摩擦系数、物体质量/质心、恢复系数、关节阻尼等,逼策略学习"对参数不敏感"的稳健抓取。
• 感知随机化:随机化光照、纹理、点云噪声、相机位姿,让视觉模块在真实传感器下不崩。
• 动作随机化:随机化执行延迟、电机死区、控制频率,模拟真机的"不完美"。

7.2 触觉建模:仿真里最难复现的一块

• 仿真里的接触力是"理想点接触",而真实指尖是软指 + 触觉阵列 + 摩擦随温度/湿度变化。GelSight 类视触觉传感器在仿真里常靠专门插件近似,但微滑动、粘滑(stick-slip)现象极难建模。
• 对策:抓取相关的 sim2real 更依赖"域随机化 + 少量真机微调",而不是指望把触觉仿真到"以假乱真"。

7.3 标定与渐进迁移

• 标定:真机部署前要标定手眼矩阵、夹爪/手指零点、力传感器零漂与温漂,否则"仿真里准、真机上偏"。
• 渐进迁移:先在结构化单一物体上验证抓取成功率,再逐步加杂物、加遮挡、加动态扰动,而不是一步到位上真实家庭场景。

8 常见误区:五条"想当然"

9 小结与思考

10 本节自测

11 参考来源

以下链接均经 web_search 核实为官方 / 稳定地址,数据集规模以官方页面为准。

• GraspNet-1Billion(CVPR 2020):官网 graspnet.net → · arXiv:1912.08678 → · CVF 开放获取论文 → · GitHub graspnet-baseline →
• DexGraspNet(ICRA 2023):项目页 pku-epic.github.io/DexGraspNet → · arXiv:2210.02697 → · GitHub PKU-EPIC/DexGraspNet →
• RoboTurk(CoRL 2018):RoboTurk:众包遥操作平台(arXiv:1811.02790)→ · Scaling Robot Supervision to Hundreds of Hours(arXiv:1911.04052)→
• AgiBot World(智元,2024-12 开源):智元开源 AgiBot World 数据集 → · GitHub OpenDriveLab/AgiBot-World → · AgiBot World Colosseo(arXiv:2503.06669)→
• Open X-Embodiment / RT-X:arXiv:2310.08864 → · 项目页 robotics-transformer-x →
• 抓取质量经典理论:Ferrari C., Canny J.,《Planning Optimal Grasps》,IEEE ICRA 1992(力封闭 ε 度量出处;另有 任务导向抓取质量度量综述引用 →)
• 延伸阅读:Dexterous Manipulation through Imitation Learning: A Survey(arXiv:2504.03515)→ · GRAB(MPI,人手抓取数据)→