『paper-CV-1』《NBV-planning》

《NBV Planning Considering Confidence Obtained From Shape Completion Learning》

From IEEE Robotics and Automation Letters (2024)

一、拟解决问题

对于类似“金属薄板”的目标,难以估计其三维原貌

  • 异常区域:反射光干扰
  • 自遮挡:弯曲板面遮挡自身形状

二、相关工作

  • NBV:从候选视角中选择最佳视角;多基于空间体素分析,无法精确表示薄板细节

  • 3D形状补全:从部分观测中生成完整三维模型;本文基于PCN模型补全预测,削弱由反光和噪声造成的pc缺失


三、研究方法

  • Workflow: 从机械手中的变形金属板开始 \(\Rightarrow\) 外部静态传感器捕捉局部点云 \(\Rightarrow\) 输入 PCN 预测全局点云 \(\Rightarrow\) 计算置信度 \(\Rightarrow\) 若置信度高,就进入网格重建,否则进入 Optimization

  • Point Cloud Completion Network:输入局部、不完整的电云,输出完整点云

    1. 生成金属板模型:随机指派长宽高,并随机扭曲金属板

    2. 生成真实视图点云:用柏松盘采样法生成金属板的GT点云

    3. 模拟部分视图点云:定义一个角度阈值 \(\overline{\psi}\),当视角小于 \(\overline{\psi}\) 时可视点较多,否则可视点较少
      并进一步引入遮挡和噪声,模拟更加真实的视角

    4. 训练 PCN:input 为多局部视角点云,output 与对应 GT 对齐;loss 指定为 Earth Mover Distance

  • NBV Optimization:两个步骤

    1. 置信度估计:将 PCN 输出 predictions 下采样为 \(n\) 个点,计算每个点 \(p_i\) 周围半径 \(r\) 内的邻居数量

      \(\mu(p_i)\)\(p_i\) 的邻居数量,则置信度 \(c(p_i) = \dfrac{\mu(p_i) - \min \mu}{\max \mu - \min \mu + 1}\)
      邻居越多,点云密度越大,说明该领域点云重建效果好

    2. 优化过程:将 NBV 问题转为以下优化问题

      • 优化问题定义:

        • (2b) 约束:每个 viewpoint \(x\) 满足 6dof 约束
        • (2c) 约束:重建输出的完整点云 \(\text{S}^{*}\) 需要在 \(x\) 射出的相机锥形视角范围内
        • (2d) 约束:旋转自由度取值约束
        • (2e) 约束:\(f\) 输入 由 \(\text{S}^{*}\) 重建的三维模型 + viewpoint \(x\) 得到 新的局部点云 \(\tilde{\text{S}}\);基于 ray-casting 方法
      • 如何计算 Gain:对于某一视角 \(x\) 对应的 局部电云 \(\tilde{\text{S}}\),Gain \(\leftarrow\) Gain + (1 - \(c(p_i)\))

        恰说明置信度越低,该视角下重建的点云越少,增益越大

      • \(\min \mu > \delta\) 时,优化迭代结束


『paper-CV-1』《NBV-planning》
http://larry0454.github.io/2024/10/18/paper/CV/NBV/NBV-planning/
Author
WangLe
Posted on
October 18, 2024
Licensed under