三维点云处理-特征点检测 7.1 introduction harris 2d harris 3d

一、特征点的提取特征点提取课题包含提取detector和描述descriptor两部分。提取指识别关键点或特征点描述指对特征点及其周围信息进行量化表达。本节内容从图像特征点入手延伸至三维点云特征点的传统方法如casi co并介绍基于深度学习的点云特征点提取方法如model。1.图像特征1) 特征点检测特征点指图像中关键或显著的点如角点或特定区域如向日葵的中心圆。通常定义为单个像素点二维图像或三维点云中的点但部分方法将区域整体视为特征点。特征点检测detection用于定位特征点位置。2) 特征点的描述特征点描述将特征点及其周围信息编码为向量如SIFT描述子。通过量化局部特征如梯度方向、强度分布生成唯一描述符便于后续匹配。3) 特征点的匹配特征点匹配通过比较描述向量如欧氏距离建立不同图像中特征点的对应关系。应用包括全景图合成对齐多张图像和SLAM稀疏地图构建。4) 应用案例例题:全景图应用全景图合成通过特征点匹配对齐多张图像结合混合blending技术消除曝光差异或镜头畸变。例题:SLAM应用基于特征的SLAM如ORB-SLAM通过提取稀疏特征点构建三维地图仅保留显著点如物体边缘。定位通过特征点深度估计相机位姿图中方框构图生成特征点的三维坐标稀疏点云。2.三维点云特征三维特征点如深度学习提取的UC特征点多分布于结构显著区域如CAD模型的桌角、激光雷达扫描的墙角。角点检测是经典方法但RGB-D数据中可能存在噪声如平整区域误检。1) 配准特征点可用于点云配准匹配两片点云。相比ICP算法特征点方法对初始位姿要求更低且适用于重合率较低的场景。特征描述与匹配第九课内容是配准的核心步骤。2) 物体6D定位刚性物体定位通过匹配模型与场景的特征点计算6D位姿旋转平移。3) 数字人驱动数字人驱动依赖人脸特征点如嘴角、眼角的非刚性匹配将二维视频表情迁移至三维模型。该技术广泛应用于直播与短视频但需解决姿态与表情变化的挑战。4) 应用案例例题:点云特征提取应用特征点可编码空间信息如核弹排列象征坐标但需结合具体场景定义特征语义。3.点云特征检测方法特征点提取方法包括二维启发Harris角点、SIFT、ORB重点讲解Harris算法三维原生ISS基于点云结构深度学习受限于标注数据稀缺特征点定义模糊1) Harris检测器Harris角点检测核心思想是通过局部窗口patch移动评估区域独特性。角点需满足任意方向移动均导致窗口内容显著变化。patch匹配独特patch需满足移动后内容变化明显如角点、交界点。空白区域因无变化被排除。角点角点数学定义若窗口在x/y方向移动均引起强度intensity变化则为角点仅单方向变化为边缘无变化为平坦区域。特征点分析边缘Edge沿某一方向导数较大如x 方向另一方向接近零。平滑区域Flat两个方向导数均接近零。角点Corner xxx和 yyy方向导数均较大对应特征点。通过特征值检测特征值条件角点斜方差矩阵M的两个特征值λ1和λ2均较大。边缘仅一个特征值较大。平滑区域两个特征值均较小。响应函数通过设定阈值筛选特征点如取较小特征值作为响应值。响应函数R方法公式特点1994年原始方法Rmin⁡(λ1,λ2)R直接取较小特征值作为响应值。1988年Harris方法Rdet⁡(M)−k⋅trace(M)2R通过行列式与迹的组合计算响应值k为超参数 - 04- - 06。响应函数选择不同函数需调整阈值但核心均为分析M矩阵的特征值分布。例题:Harris检测器应用步骤计算图像每个像素区域的斜方差矩阵M。根据响应函数如Harris方法生成响应图红色表示高响应区域。设定阈值筛选候选角点。问题初始响应图存在密集冗余点需进一步优化。非最大值抑制非极大值抑制NMS选择局部响应最大值点作为候选角点。抑制其邻域内其他低响应点。迭代处理直至每个区域仅保留一个特征点。应用场景点云特征提取中同样需使用NMS避免密集冗余点。二、harris 3dHarris角点检测原理基于分析图像中小方块移动后像素强度的变化该问题可转化为分析斜方差矩阵矩阵元素为每个像素强度关于x和y方向的一阶导数。拓展至三维需解决三个问题离散点云中如何计算强度关于xyz方向的一阶导数三维空间patch的定义可通过半径r限定邻域patch移动方式类比二维情况增加w维度核心难点在于三维点云中强度梯度的计算。1) 例题:平面点移动分析平面点移动特性当平面沿x、y方向移动时移动后的点与原平面距离为零仅沿z方向移动会产生距离。斜方差矩阵特征值分析由三个方向移动距离组成的斜方差矩阵中两个特征值为零一个特征值较大反映仅沿特定方向移动产生距离。三.哈里斯总结维度协方差矩阵来源响应函数应用场景二维图像强度关于xy的一阶导λ₂检测图像平面强度变化3D带强度强度关于xyz的一阶导λ₂识别表面强度非均匀分布3D无强度表面法向量λ₃检测几何非平面特征6D混合坐标强度一阶导法向量组合λ₄综合强度与几何特征的关键点检测