『paper-CV-1』《NBV-planning》
《NBV Planning Considering Confidence Obtained From Shape Completion Learning》
From IEEE Robotics and Automation Letters (2024)
一、拟解决问题
对于类似“金属薄板”的目标,难以估计其三维原貌
- 异常区域:反射光干扰
- 自遮挡:弯曲板面遮挡自身形状
二、相关工作
NBV:从候选视角中选择最佳视角;多基于空间体素分析,无法精确表示薄板细节
3D形状补全:从部分观测中生成完整三维模型;本文基于PCN模型补全预测,削弱由反光和噪声造成的pc缺失
三、研究方法
Workflow: 从机械手中的变形金属板开始 \(\Rightarrow\) 外部静态传感器捕捉局部点云 \(\Rightarrow\) 输入 PCN 预测全局点云 \(\Rightarrow\) 计算置信度 \(\Rightarrow\) 若置信度高,就进入网格重建,否则进入 Optimization
Point Cloud Completion Network:输入局部、不完整的电云,输出完整点云
生成金属板模型:随机指派长宽高,并随机扭曲金属板
生成真实视图点云:用柏松盘采样法生成金属板的GT点云
模拟部分视图点云:定义一个角度阈值 \(\overline{\psi}\),当视角小于 \(\overline{\psi}\) 时可视点较多,否则可视点较少
并进一步引入遮挡和噪声,模拟更加真实的视角训练 PCN:input 为多局部视角点云,output 与对应 GT 对齐;loss 指定为 Earth Mover Distance
NBV Optimization:两个步骤
置信度估计:将 PCN 输出 predictions 下采样为 \(n\) 个点,计算每个点 \(p_i\) 周围半径 \(r\) 内的邻居数量
记 \(\mu(p_i)\) 为 \(p_i\) 的邻居数量,则置信度 \(c(p_i) = \dfrac{\mu(p_i) - \min \mu}{\max \mu - \min \mu + 1}\)
邻居越多,点云密度越大,说明该领域点云重建效果好优化过程:将 NBV 问题转为以下优化问题
优化问题定义:
- (2b) 约束:每个 viewpoint \(x\) 满足 6dof 约束
- (2c) 约束:重建输出的完整点云 \(\text{S}^{*}\) 需要在 \(x\) 射出的相机锥形视角范围内
- (2d) 约束:旋转自由度取值约束
- (2e) 约束:\(f\) 输入 由 \(\text{S}^{*}\) 重建的三维模型 + viewpoint \(x\) 得到 新的局部点云 \(\tilde{\text{S}}\);基于 ray-casting 方法
如何计算 Gain:对于某一视角 \(x\) 对应的 局部电云 \(\tilde{\text{S}}\),Gain \(\leftarrow\) Gain + (1 - \(c(p_i)\))
恰说明置信度越低,该视角下重建的点云越少,增益越大
当 \(\min \mu > \delta\) 时,优化迭代结束