👁️ 机器人感知专题:相机、激光雷达与点云

1 感知总览:人形机器人怎么「看世界」

感知(Perception)回答的是机器人与物理世界之间的第一层问题:我周围有什么、它们在哪、长什么样、能不能走、能不能抓。上一页(04-06 视觉 SLAM)讲的是「我在哪、地图长什么样」,本页往下钻一层,讲「这些信息最初是怎么从传感器里被测量、被处理、被融合出来的」。

1.1 人形机器人的典型传感器配置

一台完整的人形机器人,通常在头部集中布置主传感器(视野与人眼对齐,兼顾环视),在躯干放 IMU,在脚底/关节放编码器与力传感器。典型清单如下:

1.2 感知任务分类:同一份数据,五件事

• 定位(Localization):用视觉/LiDAR/IMU 估计自身位姿——与 SLAM 的「L」直接衔接;
• 建图(Mapping):把点云/深度累积成占据栅格、代价地图或八叉树,供导航查询;
• 避障(Obstacle Avoidance):实时判断前方地面是否可通行、障碍物距离与高度;
• 物体识别(Object Recognition):认出「这是杯子、那是门把手」,输出类别 + 位姿,喂给抓取;
• 抓取/操作(Grasping & Manipulation):把识别结果转成 6D 位姿,配合手眼标定引导末端执行器。

2 相机模型:针孔、内外参与畸变

相机是感知的地基。几乎所有视觉算法都假设相机可以用针孔模型(pinhole model)近似:三维空间点 P 通过光心投影到成像平面上。理解了内参、外参、畸变三件事,读任何视觉代码都不会再被矩阵吓住。

2.1 内参:从「米」到「像素」

内参矩阵 K 把相机坐标系下的三维点投影到像素坐标:

• fx、fy:焦距(单位:像素)。fx = f · α,其中 f 是物理焦距(米),α 是每米像素数;
• cx、cy:主点(principal point),光轴与成像平面的交点,通常在图像中心附近但一般不严格等于宽高的一半;
• 投影关系:u = fx·(X/Z) + cx,v = fy·(Y/Z) + cy。注意深度 Z 出现在分母——这是「尺度模糊」的根源。

2.2 外参:从「世界」到「相机」

外参描述相机本体在世界坐标系(或机器人基座坐标系)中的位置与朝向,是一个 [R | t] 变换:P_cam = R · P_world + t。其中 R 是 3×3 旋转矩阵, t 是 3×1 平移向量。对机器人而言,外参就是「相机装在头上哪个位置、朝哪看」——它把相机测量对齐到机器人坐标系,是后面激光-相机联合标定、手眼标定的核心对象。

2.3 畸变:镜头不完美造成的弯曲

工程上常用 Brown-Conrady 模型把两者写成一组多项式:dist = [k1, k2, p1, p2, k3]。做标定的目标就是解出这组系数,之后用 cv2.undistort 把图像「拉直」。

2.4 相机标定:原理与工具

标定的经典方法是张正友标定法:用一张已知几何尺寸的平面标定板,从多个角度拍若干张图,通过「已知角点世界坐标 ↔ 检测到的角点像素坐标」这一堆对应关系,解出内参 K 和畸变系数。两张常见标定板:

• 棋盘格(Checkerboard):黑白方块,角点清晰易检测;缺点是标定板被遮挡或拍不全时,角点索引会乱;
• ChArUco:棋盘格 + ArUco 标记的组合板,每个 ArUco 有唯一 ID,即使部分遮挡也能稳定定位角点索引,标定更鲁棒。

ROS2 里最方便的是 camera_calibration 包的标定器;纯视觉则用 OpenCV。先跑标定器,再拿着板子多角度移动:

# ROS2 棋盘格标定(9x6 内角点,格子边长 0.025 m)
ros2 run camera_calibration cameracalibrator \
    --size 9x6 --square 0.025 --k 4 --r 4 \
    image:=/camera/image_raw

# OpenCV(Python)标定核心流程
import cv2, numpy as np
objp = np.zeros((9*6, 3), np.float32)
objp[:, :2] = np.mgrid[0:9, 0:6].T.reshape(-1, 2)   # 世界坐标角点
objpoints, imgpoints = [], []                       # 逐图检测角点并 append
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    objpoints, imgpoints, gray.shape[::-1], None, None)
# mtx = 内参 K;dist = 畸变 [k1,k2,p1,p2,k3]

3 深度相机:结构光 / ToF / 双目

普通 RGB 相机只能得到「每个像素是什么颜色」,不知道「每个像素有多远」。深度相机(RGB-D)额外输出一张深度图(depth map)——每个像素对应一个真实距离。得到深度有三条主流技术路线,各有优劣:

注:RealSense D435/D455 是「主动红外点阵投影 + 双目」的混合方案——红外点阵给弱纹理场景「人造纹理」,再由双目视差计算深度,因此室内弱纹理也能工作。

3.1 RealSense 与 Orbbec 主力型号速览

4 激光雷达:机械式、固态与线数

LiDAR(Light Detection and Ranging,激光雷达)主动发射激光脉冲,测量「光线飞出去再弹回来的时间」得到距离,再配上发射角度,拼出三维点云。它不依赖环境光照、测距远、精度高,是避障与几何建图的「硬通货」。

4.1 三类结构:机械式 / 固态 / 混合固态

• 机械式:一整排激光收发器绕轴物理旋转,得到 360° 全景。线数多、性能强,但有旋转部件,体积/功耗/寿命受限;
• 纯固态(Solid-state):无机械运动部件。代表是 Flash(一次闪光照亮全视场,靠面阵接收)与 OPA(光学相控阵电控偏转光束);车规远距纯固态仍在量产爬坡期;
• 混合固态(半固态):用转镜/棱镜/MEMS 微振镜「小幅度扫描」取代整机旋转,兼顾体积与视场,是当前车载与人形机器人的主流,如禾赛 AT128、大疆览沃 Livox Mid-360。

4.2 单线 vs 多线:线数决定「立体程度」

线数指垂直方向同时有多少条扫描线:单线只能扫一个平面(得到 2D 数据,用于平面建图/避障);多线(16/32/64/128 线)垂直堆叠多束激光,直接得到 3D 点云。线数越多、垂直分辨率越高,但点云数据量、功耗、价格也同步上涨。

4.3 测距原理与点云特性

• ToF(脉冲法):测激光往返时间,中远距离主流;相位法测调制光相位差,近距离高精度;
• 三角测距(Triangulation):发射光斑与接收器几何夹角测距,成本低、量程短(典型 ≤ 数十米),单线廉价雷达(如 RPLIDAR A1)常用;
• 点云三大特性:① 稀疏——只测到反射回来的离散点,不连续;② 无序——点的存储顺序无意义,网络需用对称算子(PointNet 的 max-pooling);③ 近密远疏——同一束激光在近处点密、远处点稀,分辨率随距离下降。

4.4 主要厂商产品线(数据经联网核实,约 2025~2026)

5 点云处理:格式、库与核心算法

点云是 LiDAR 与深度相机的共同产物——一堆带坐标(x, y, z)的点,可能还带强度(intensity)、颜色(rgb)、法线(normal)等属性。处理点云,本质上是「在无序、稀疏、带噪声的离散点上,提取结构与语义」。

5.1 三种数据格式

ROS2 里点云在话题上以 sensor_msgs/msg/PointCloud2 传输,常用命令:

ros2 topic echo /points --field data          # 看原始点云(数据量大,慎用)
ros2 topic hz /points                          # 看点云发布频率
ros2 run pcl_ros pointcloud_to_pcd input:=/points   # 存成 .pcd 文件离线处理

5.2 两大处理库:PCL 与 Open3D

• PCL(Point Cloud Library):C++ 库,点云处理「祖师爷」,算法全(滤波/分割/配准/特征/表面),ROS 生态集成深(pcl_ros);缺点是 API 老、上手稍陡、Python 绑定不完善;
• Open3D:现代 C++/Python 库,由 Intel 主导,API 干净、可视化开箱即用,适合快速原型与科研;深度学习(点云网络)生态衔接更好。

5.3 核心算法一条龙(附代码)

处理原始点云的标准套路:先降采样 + 去噪,再分割地面,再对非地面点聚类,最后对每个簇提特征/框。用 Open3D(Python)串起来:

import open3d as o3d
import numpy as np

pcd = o3d.io.read_point_cloud("scene.pcd")
pcd = pcd.voxel_down_sample(voxel_size=0.05)          # ① 体素降采样
pcd, _ = pcd.remove_statistical_outlier(nb_neighbors=20, std_ratio=2.0)  # ② 统计滤波去噪

# ③ RANSAC 拟合平面(通常就是地面)
plane_model, inliers = pcd.segment_plane(distance_threshold=0.03,
                                         ransac_n=3, num_iterations=1000)
[a, b, c, d] = plane_model
ground = pcd.select_by_index(inliers)                 # 地面点
obstacles = pcd.select_by_index(inliers, invert=True) # 非地面 = 障碍物

# ④ DBSCAN 聚类(把障碍物分成一个个物体)
labels = np.array(obstacles.cluster_dbscan(eps=0.3, min_points=10))
max_label = labels.max()
print(f"聚类出 {max_label + 1} 个物体")

对应的 PCL(C++)经典写法(思路完全一致):

#include <pcl/filters/voxel_grid.h>
#include <pcl/segmentation/sac_segmentation.h>
pcl::VoxelGrid<pcl::PointXYZ> vg;
vg.setInputCloud(cloud);
vg.setLeafSize(0.05f, 0.05f, 0.05f);
vg.filter(*cloud_filtered);                          // 体素降采样

pcl::SACSegmentation<pcl::PointXYZ> seg;
seg.setModelType(pcl::SACMODEL_PLANE);               // RANSAC 平面
seg.setMethodType(pcl::SAC_RANSAC);
seg.setDistanceThreshold(0.03);
seg.setInputCloud(cloud_filtered);
seg.segment(*inliers, *coefficients);                // 地面内点

6 配准、占据栅格与多传感器标定

6.1 点云配准:ICP 与 NDT

配准(Registration)求解两帧点云之间的刚体变换,让它们「对齐」。经典两招:

• ICP(Iterative Closest Point):迭代「找最近点对 → 用 SVD 解最优变换 → 更新」直到收敛。直观、无需特征,但对初始位姿敏感,容易陷局部最优;
• NDT(Normal Distributions Transform):把参考点云切成体素,每个体素用高斯分布描述,再最大化目标点在分布下的概率。对初值更鲁棒,常用于 LiDAR 里程计(如 PCL 的 NDT、autoware 的 scan matching)。

6.2 点云 → 占据栅格 / 代价地图(衔接 Nav2)

导航栈(本系列 11_Navigation2 实战)不直接消费原始点云,而是消费代价地图(costmap)。点云到代价地图的经典链路:

Nav2 里由 costmap_2d 的 obstacle 层(2D 投影)或 voxel 层(3D 体素,能识别「悬空物与低矮障碍」)订阅点云话题完成这一步;3D 建图则常用 octomap(八叉树)做可压缩、可更新的体素地图。

6.3 激光-相机联合标定:把「点」涂上「颜色」的前提

要把 LiDAR 点云与相机图像对齐,需要求解激光雷达 ↔ 相机之间的外参(R, t)。经典做法是拿一块有棋盘格/标定孔洞的标定板,在两种传感器里同时被观测:从图像里检测角点、从点云里检测标定板平面及其角点,再最小化「点云角点经外参投影到图像后与图像角点的重投影误差」。工程上常用 Autoware 标定工具 或手动 targetless(基于互信息)标定。

7 感知融合:相机 + 激光雷达 + 语义

单传感器都有盲区:相机怕暗、怕逆光、缺精确尺度;LiDAR 没有颜色、分不清「红绿灯和广告牌」。融合的目标是用几何补语义、用语义补几何。

7.1 三种融合层次

• 数据级(前融合 / early fusion):在最底层就把两种原始数据拼起来,如把像素颜色「涂」到点云上(2D 图像投影到 3D 点云)、或把点云投影成 BEV 特征图;
• 特征级:各自提取特征后再拼接,是深度学习融合的主流(如 BEV 下的多模态特征对齐);
• 决策级(后融合 / late fusion):各自独立检测,再在目标层面做关联与合并——最解耦、最易落地。

7.2 图像投影到点云:让点云「有颜色」

这是最直观的融合入门实验。利用相机内参 K 与外参 [R|t],把每个 3D 点投影到图像平面取颜色:

投影后,原本「只有几何」的点云变得可读:一眼就能看出哪里是人、哪里是墙,后续标注、调试、演示都清晰很多。反向也可以:把 2D 检测框的像素反投影到 3D,给目标框「量尺寸、定位姿」。

7.3 语义感知:YOLO 检测 + 点云分割

• 2D 检测 → 3D 定位:先用 YOLO(YOLOv8/v11 等)在图像里框出「杯子/人/门」,再结合深度图或点云把 2D 框「抬」成 3D 目标位姿,这是抓取任务最常用的轻量路线;
• 3D 点云分割/检测:直接在点云上做语义(PointNet++ 系列)或 3D 目标检测(PointPillars、CenterPoint,基于 BEV);
• BEV(Bird's-Eye View)表示:把相机/LiDAR 特征统一投影到俯视网格,是自动驾驶感知的主流范式,人形机器人做「周围可通行性分析」也可借鉴。

8 人形机器人感知实践:真机方案与 pipeline

8.1 主流机型传感器方案(经联网核实,未公开处标注「约」)

注:以上传感器型号随批次与版本变动,「约」表示官方未逐项公布或仅见于第三方拆解,请以各厂商官方规格页为准。

8.2 ROS2 感知 pipeline 示例

一套最小可跑的 ROS2 感知链路,常用到这几个官方包:

# 深度图 → 2D 激光扫描(把头部深度相机用于 2D 避障)
ros2 run depthimage_to_laserscan depthimage_to_laserscan_node \
    --ros-args -r image:=/camera/depth/image_rect_raw \
               -r scan:=/scan

# 点云 → 2D 激光(取机器人高度附近切片,用于 Nav2 局部代价地图)
ros2 run pointcloud_to_laserscan pointcloud_to_laserscan_node \
    --ros-args -r cloud_in:=/points -r scan:=/scan_3d

# 观察数据流
ros2 topic list | grep -E "points|scan|image"
rviz2    # 添加 PointCloud2 / LaserScan / Image 显示

9 常见坑:带宽、时间同步、外参与算力

10 学习路线与资源

官方文档与开源仓库见下方「参考来源」小节。学点云,最忌讳「只看不动手」——建议下载一个公开点云(如 KITTI、SemanticKITTI 或自己用 D435i 采一段),把第 5 节的流水线完整跑一遍,再谈进阶。

11 本节自测

13 参考来源

以下链接为官方文档 / 开源仓库 / 权威拆解报告,关键事实已通过联网检索核实(资料整理更新至 2026-08);标注「约」处为官方未逐项公布或仅见于第三方拆解。

• OpenCV 相机标定官方教程:Camera Calibration;ChArUco 标定:Calibration with ArUco and ChArUco
• Intel RealSense 官方:intelrealsense.com;开源驱动 IntelRealSense/librealsense
• Orbbec 奥比中光产品:orbbec.com;Gemini 330 系列:Gemini 330 Series
• Livox Mid-360 官方规格:livoxtech.com/cn/mid-360/specs
• 禾赛 Hesai 产品线:hesaitech.com/cn/product;速腾聚创 RoboSense:robosense.cn;镭神智能:lslidar.com
• PCL 点云库:PointCloudLibrary/pcl;文档 pcl.readthedocs.io
• Open3D:isl-org/Open3D;官网 open3d.org
• ROS2 感知栈 pcl_ros:ros-perception/perception_pcl;depthimage_to_laserscan:ros-perception/depthimage_to_laserscan;pointcloud_to_laserscan:ros-perception/pointcloud_to_laserscan
• ROS2 PointCloud2 消息定义:sensor_msgs/PointCloud2;八叉树建图 OctoMap/octomap
• 宇树 G1 感知系统拆解:EDN China · 拆解宇树 G1 机器人:感知系统是如何设计的;OFweek 同名拆解
• 宇树官方:unitree.com;智元机器人:agibot.com.cn;Figure:figure.ai
• 禾赛激光雷达产品矩阵(研究报告):禾赛科技研究报告 · Pandar128 / QT128 等产品线