CAU未来农业实验室博士生发表一项研究成果——开发了一种适用于表型机器人端侧处理的实时零样本分割与三维重建的框架

研究概述

研究背景

研究成果

RT-ZSDR实时稠密重建与零样本分割框架

该框架本质上是在ORB-SLAM3基础上进行任务导向重构，采用零样本分割处理方法ForeCut Pipeline和ESLS回环检测策略，使其从“仅用于定位与稀疏建图系统”扩展为“支持语义感知的实时稠密三维重建系统”。该研究新增了稠密重建线程，并将分割结果直接嵌入点云生成过程，使得最终输出不再是通用场景点云，而是“仅包含目标作物的语义点云”。这种将语义分割与三维重建在流程上深度耦合的设计，避免了传统“先重建再分割”或“2D分割投影到3D”的割裂问题，是该框架的重要创新之一。同时，该框架可以在Jetson Orin NX等边缘设备上运行，其在计算复杂度控制方面具有较高工程可行性。

图3 系统硬件组成

ForeCut Pipeline:零样本分割与跟踪

研究通过ForeCut Pipeline算法实现了零样本三维分割。不同于依赖SAM或监督学习模型的方法，ForeCut利用DINO提取的自监督特征，通过谱聚类（Normalized Cuts）完成初始语义分割（Feature-Cut），再结合三维空间距离进行实例分离（3D-Cut），从而在无需任何标注数据的情况下得到目标植物的初始点云。在此基础上，研究进一步提出跨帧的“空间-语义联合约束”机制，通过语义相似度（余弦相似度）与空间几何距离（点云邻域）双重筛选，实现多视角下目标的一致跟踪与分割。这种设计有效解决了零样本分割在视频或多视角场景中常见的“语义漂移”和“实例不一致”问题，使分割结果能够稳定服务于三维重建过程。

图4 ForeCut 无监督分割过程

ESLS回环检测策略

传统ORB-SLAM3依赖Bag-of-Words进行回环检测，在农业场景中容易受到重复纹理和光照变化影响，导致误匹配或漏检。作者利用机械臂运动具有“起点可复位”的特点，引入外部位姿信号作为回环触发条件，从而减少对视觉特征匹配的依赖。随后再通过几何一致性（重投影误差与空间距离）进行验证，并结合全局Bundle Adjustment优化整体地图。这种方法不仅降低了计算负担，还显著提高了回环检测的稳定性和召回率，使得系统在多次环绕扫描中仍能保持较低漂移。

图5 ESLS回环检测策略

植物表型参数计算

基于重建点云设计了一套植物表型计算方法，实现了多个关键表型的自动提取，包括株高（基于z轴范围）、茎粗（基于截面凸包最大距离）、投影叶面积（基于网格投影）、表面积（基于α-shape重建）以及体积（基于体素划分）。这些方法均直接作用于三维点云，无需额外模型或人工干预，使得表型机器人系统能够形成从“感知—建模—分析”的完整自动化流程。

图6 表型参数计算方法

实时监控模块设计

系统监控软件基于 Qt 开发，用于支撑整个表型机器人系统的实际部署与操作，统一管理机器人导航、机械臂操作、图像采集以及数据处理等多个子系统。

图7 QT图像化用户界面

实验结果与分析

定量分析实验

该实验重点评估了两项基础能力：位姿估计精度与三维重建尺度精度。实验通过标准工件对比商业设备PlantEye以及传统ORB-SLAM3方法。结果显示，RT-ZSDR在位姿估计上具有明显优势，其位置误差约为6.81 mm、姿态误差为0.27°，相比ORB-SLAM3（20.68 mm、1.04°）显著降低，这说明ESLS回环策略有效缓解了累积漂移问题，提高了长序列运动下的稳定性。 在尺度精度方面，RT-ZSDR重建误差约为2.498 mm，虽然略高于PlantEye的0.496 mm，但仍处于毫米级精度范围，能够满足农业表型测量需求。

自动表型参数获取实验

进一步从“算法可用性”转向“任务有效性”。首先验证了所提出的表型参数计算方法本身的正确性，即在同一组点云数据下，对比自定义算法与PlantEye官方软件计算结果，四项关键指标（株高、叶面积、表面积、体积）的相关系数均超过0.99，说明几何计算方法本身是可靠的。 随后在真实采集条件下，将机器人系统与PlantEye进行对比，结果显示两者在不同生长阶段下提取的表型参数均具有较高相关性（整体R²均大于0.9），表明RT-ZSDR不仅能准确区分不同植株之间的形态差异，还能够用于长期动态监测。

图9 自动表型参数获取实验结果

温室真实场景实验

在温室真实场景实验中，对系统的整体工作流程进行了验证。实验中机器人能够自主导航到目标植株位置，并通过机械臂执行多视角扫描，整个流程基本实现自动化。在48次重建任务中，ESLS策略显著提高了回环检测成功率，保证了点云的一致性与完整性。与COLMAP对比结果显示，RT-ZSDR在Accuracy（0.784）、Completeness（0.852）和F1-score（0.816）上达到了与MVS方法接近的几何质量，但避免了离线方法动辄数十分钟的计算开销，体现出明显的实时优势。

图10 RT-ZSDR和COLMAP重建结果对照

在真实表型测量精度方面，温室实验给出了更具说服力的数据。株高测量R²达到0.965，RMSE约17.4 mm，表现较为稳定；而茎粗测量R²为0.862，误差相对较大。作者分析认为，这主要是因为茎粗尺度较小，对位姿误差更敏感，同时多视角点云配准中的轻微偏差会导致“膨胀效应”，从而放大直径估计误差。此外，深度图中的空洞和噪声也会影响局部结构重建质量。