首页 > 最新动态 > 时空信息学报丨基于随机森林和多标签图割的点云石窟寺佛龛对象化提取方法
最新动态
时空信息学报丨基于随机森林和多标签图割的点云石窟寺佛龛对象化提取方法
2025-03-1232

收录于话题

#时空信息学报

图片

《时空信息学报》是由自然资源部主管,国家基础地理信息中心、中国地理信息产业协会、黑龙江测绘地理信息局共同主办的中文学术期刊,双月刊。为分享最新研究成果,搭建学术交流平台,中国地理信息产业协会公众号开设“时空信息学报”专栏,独家刊载《时空信息学报》论文,供广大读者研阅。3月5日起,陆续刊发2024年第6期的10篇论文。欢迎产学研用各界关注、分享!

时空信息202406封面.jpg

6期目录.jpg

基于随机森林和多标签图割的点云石窟寺佛龛对象化提取方法

何勇1,王继腾2,侯妙乐2

1. 云冈研究院,大同 037007;
2. 北京建筑大学 测绘与城市空间信息学院,北京 102616

摘  要:随着三维激光扫描技术的发展,点云数据已成为主流的三维模型格式之一。为解决大型佛龛和小型佛龛在相连情况下出现的错分现象,本文提出一种基于随机森林和多标签图割的石窟寺佛龛对象提取方法。以云冈石窟寺佛龛为研究对象,使用体素云连通性分割(voxel cloud connectivity segmentation,VCCS)算法对点云进行超体聚类,生成超体素块;通过递归特征消除法筛选得到最优特征集,并提取佛龛的点云数据;利用带噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,DBSCAN)算法和k均值聚类,从佛龛点云中初步提取佛龛对象并赋予独立标签,通过多标签图割算法提取佛龛对象;并进行精度评价。结果表明:特征筛选前后分类精度有了明显的提升,总体精度由0.8762提升至0.9079;边缘的精细化提取效果得到了提升,提取总体精度达到0.9692。

关键词:三维激光扫描;超体素;特征筛选;随机森林;DK聚类;多标签图割;对象化提取

引用格式:何勇, 王继腾, 侯妙乐. 2024. 基于随机森林和多标签图割的点云石窟寺佛龛对象化提取方法. 时空信息学报, 31(6): 710-721

He Y, Wang J T, Hou M L. 2024. A method for features extraction of Buddha Niches in Grotto Temples from point clouds based on random forest and multi-label graph cut. Journal of Spatio-temporal Information, 31(6): 710-721, doi: 10.20117/j.jsti.202406009


1  引  言

石窟寺作为历史、文化、宗教和艺术的载体,是中华文化遗产的重要组成部分。其中,佛龛是安置佛像的地方,是最小且数量最多的完整造像单元,错落分布于石窟寺内,具有较高的艺术价值。然而,由于风化脱落和其他病害的影响,佛龛已成为石窟寺保护和修复工作的重点之一。传统的佛龛检测与修复通常是在实体上进行的,易对佛龛造成二次损伤。三维激光扫描技术的应用为石窟寺的数字化保护提供了新的解决方案(Wang等,2022a)。利用激光测距生成的点云数据,能够高效记录石窟寺内物体表面的三维坐标、反射率和纹理等信息,构建的高精度三维模型,有助于储存、分析和展示石窟寺的三维信息。进一步地,如果能够从佛龛的三维数据中提取修复所需的中轴线、骨架线和线画图等数据,对佛龛现状评估、虚拟修复及指导实际修复都将具有重要的科学参考意义。

近年来,许多先进的算法在处理复杂数据图像分类方面取得了显著成果。例如,郑书富等(2018)采用体素云连通性分割(voxel cloud connectivity segmentation,VCCS)算法对目标点云进行聚类分割,生成了超体素块,并提取了超体素块的边缘点,为轮廓特征提取提供了可靠性依据。Kremers等(2023)提出了一种结合带噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,DBSCAN)和k均值聚类(k-means)的两步聚类算法,通过动态调整DBSCAN搜索半径,使用k-means聚类细化分组,生成均匀分布的训练数据,实现了约20倍数据规模缩减。安宇等(2020)使用递归特征消除法结合随机森林(random forest,RF)算法构建了大豆pre-microRNA的预测模型,表明递归特征消除法能够帮助提高分类性能。此外,Xia和Yang(2019)提出了一种多相拓扑优化方法,其通过最小化能量函数,利用多标签图割算法有效地解决了多相材料的拓扑优化问题,同时避免了引入额外的灵敏度变量和复杂的数值计算方案。多标签图割算法是一种常用于图像分割和目标识别的优化方法,将标签集标签分配问题转化为能量最小化的算法,通过多次迭代分配最优标签(Qin等,2024)。该方法能够有效处理多种标签的分配,确保每个像素或点在分割结果中被准确地分配到合适的标签。

三维激光扫描技术在石窟寺领域的应用取得了丰富的研究成果。如吴邵明和梁晓娜(2017)提出了一种超大型石窟寺三维几何重建技术,以云冈石窟第18窟为例,采用多种三维激光扫描仪对文物本体进行逐层交叉式扫描;赵嘉进等(2022)使用三维激光扫描技术,以庆阳北石窟寺32号窟作为研究对象,利用点云数据将石窟寺病害定量化,从而探索了石窟寺病害信息及可视化管理ω的方法。随着点云数据采集精度和密度显著提升及采集成本的大幅度降低,使得石窟寺保护领域涌现出许多基于点云数据的研究成果。例如,Miao等(2021)使用RF模型对石窟寺中的佛龛点云进行了分类,并通过DBSCAN聚类和语义规则识别佛龛对象,分析了佛龛的剥落程度。刘家全和朱哲皓(2023)将有序点云映射成二维深度图,结合图像处理与形态学方法,提取出了石窟寺顶板的断裂特征及轮廓,实现了高精度的特征分析和分类,并给出了有针对性的保护及修复对策。Fu等(2023)使用改进的PointNet网络对石窟寺佛龛点云数据进行了分类,提高了分类结果的准确性。Yang等(2024)提出了一种基于知识引导的深度学习方法GSS-Net,用于石窟场景的点云语义分割,从而提高了石窟场景点云语义分割的准确性和可解释性。上述研究中,尽管大部分噪声被消除,但仍有少量非目标点云被错误聚类,尤其是DBSCAN在处理密度差异较大的复杂场景时表现效果仍不足。

此外,石窟寺佛龛的形制、大小、排列方式各有特点,且石窟病害各不相同,佛龛点云通常呈现散乱无序的分布特征,且许多佛龛点云之间存在相互粘连现象,使得常规聚类算法在分割单个佛龛对象时面临局限性。因此,本文以云冈石窟第18窟南壁为研究对象,首先,使用VCCS算法(薛婧雅等,2021)进行超体聚类,生成超体素块;通过设计特征,利用递归特征消除法(Jeon和Oh,2020)获得最优特征集;其次,利用RF模型(张志斌等,2023)进行训练,实现佛龛点云的粗分类;在初步提取阶段,采用DBSCAN和k-means融合聚类(Kremers等,2023;下文简称DK聚类)方法,赋予每个佛龛对象独立标签,实现佛龛的初步提取;最后,基于多标签图割算法(Qin等,2024)进行优化提取,从而解决不同佛龛对象混杂的问题,提高佛龛对象提取的精度。


2  实验数据与预处理

2.1  实验数据

实验所使用的点云数据为云冈石窟第18窟中南壁中间区域数据,如图1(a)所示。区域内佛龛数量众多,排列较为密集且不规则,周围的小型佛龛往往环绕着较大的佛龛建造。佛龛与石壁质地相同、纹理相似,且风化剥落等因素,使得佛龛与石壁之间的边界不够清晰,某些佛龛之间甚至出现了相连的情况。根据佛龛的大小,实验将研究区域内容分为大型佛龛、小型佛龛、相关造像和石壁四类。其中:①大型佛龛通常是体型较大的佛龛,且佛龛中存在两尊佛像或协侍菩萨造像的佛龛,包含龛楣上的造像;②小型佛龛通常是体型较小的佛龛,龛楣上无其他装饰,内部仅有一尊佛像的佛龛类型;③相关造像通常是非佛龛类造像,一般以佛像为主,也存在飞天、力士、佛宝等佛教常见造像,如图1(b)至(d)所示。

image.png

由于石窟寺规模较大,单一扫描站点难以获取完整的信息且扫描精度较低,所以采用多站点扫描获得完整的数据。经统计,研究区域内总数据量243 M,共有6057439个点数据。其中,大型佛龛数量35个,小型佛龛数量885个,相关造像数量52个。

2.2  点云预处理

扫描过程中,难免会因树木、建筑物等障碍物的遮挡,使得点云数据出现噪声和冗余。因此进行了预处理,包括点云配准、点云去噪和点云重采样。

(1)点云配准。基于标靶球进行配准,利用扫描目标点云拟合球面方程,以球面中心坐标作为配准目标。从点云数据中选取三个以上同名点,使用迭代最近点算法(随银岭等,2020)进行整体配准。为减少误差传播,首先进行两站之间的配准,然后将配准后的数据与下一站进行配准。每次配准后,进行一次平差操作,以确保配准精度。所有步骤完成后,整体点云数据的误差控制在3 mm内。以其中一次拼接为例,配准误差见表1。

image.png

(2)点云去噪。由于石窟寺与周围其他目标的区别明显,所以首先通过人工识别的方式,将石窟寺周围的非目标点剔除。对于石窟寺外围的山体,尽管其距离较近,但不具备研究价值,采用布料模拟滤波(cloth simulation filtering,CSF)算法(Zhang等,2016)来去除。CSF是一种快速分离地面点与非地面点的滤波算法。删除其他目标点后,还需手动去除石窟内部的非目标点,如扫描过程中产生的脚手架点云等。

(3)点云重采样。点云重采样的方法主要包括随机下采样、均匀下采样、几何下采样、体素下采样和曲率下采样等。由于石窟寺点云数据是通过多站扫描数据配准得到的,分布不均匀,因此采用体素下采样的方法。重采样完成后,得到研究区预处理后的点云数据。点云预处理结果如图2所示。

image.png


3  石窟寺佛龛对象化提取方法

石窟寺佛龛对象化提取技术流程如图3所示。首先,使用VCCS算法(薛婧雅等,2021)进行超体聚类,生成超体素块;通过设计特征,利用递归特征消除法(Jeon和Oh,2020)获得最优特征集;其次,利用RF模型(张志斌等,2023)进行训练,实现佛龛点云的粗分类;在初步提取阶段,采用DK聚类方法,赋予每个佛龛对象独立标签,实现佛龛的初步提取;最后,基于多标签图割算法(Qin等,2024)进行优化提取,从而解决不同佛龛对象混杂的问题,提高佛龛对象提取的精度。

image.png

3.1  点云超体素块生成

超体素是由多个体素组成的集合,主要通过空间距离、法向量、颜色分量等特征的相似性将体素进行聚类,通常用于表示形状不规则的几何体(Ni和Niu,2020)。实验利用VCCS算法(薛婧雅等,2021)生成超体素。对点云进行过分割处理生成超体素块的过程称为超体聚类。首先定义体素大小,通过空间均匀大小的体素网格模拟点云的几何形态;其次定义种子的分辨率;最后在种子点周围建立搜索半径进行扩展(Liu等,2020)。基于空间距离Ds、法向量Dn、颜色分量Dc,计算超体素空间关系的测度(Papon等,2013):

image.png

式中,ωcωsωn分别为聚类过程中颜色分量、空间距离、法向量的权重影响。

实验中超体聚类的具体步骤:①确定体素大小和种子分辨率之后,随机生成种子点作为聚类中心;②向外搜索并利用式(1)计算相邻体素到中心的测度,使用邻接关系图将同类体素添加到队列中,继续向外搜索直到生成最终的超体素;③迭代处理直到所有的种子点生成超体素。超体素聚类过程是在三维空间中选取种子点,而不是通过投影到像平面上选取,因此可以根据场景的几何特征实现均匀分布(Papon等,2013)。体素大小与目标局部几何特征表达密切相关。考虑到石窟寺佛龛的复杂性与多样性,为了防止石窟寺点云中细小基元的丢失,并确保佛龛边界的准确性,实验采用较小尺度对点云进行过分割处理,优化并筛选潜在的超体素。实验中体素分辨率参数voxel_resolution设置0.01,超体素分辨率参数seed_resolution设置0.05。在种子点扩展的过程中,由于没有颜色信息,实验将ωc设置0,经过模型参数调试, 最终ωs设置0.2、ωn设置0.8,生成点云超体素块。

3.2  RF点云分类提取

RF点云分类提取是利用RF模型(张志斌等,2023),进行佛龛分类,主要包括特征向量构建与选择、佛龛点云粗分类。

1)特征向量构建与选择

实验使用超体素进行特征设计与学习训练。结合佛龛与石壁的形状和分布,设计的特征由超体素的上下文信息和内部特征组成。按性质可分为空间位置特征、表面相关特征和空间几何特征三类。空间位置特征包括超体素位置特征和超体素边界面积;表面相关特征包括超体素内部密度、超体素的法向量及超体素内部法向量夹角的最大值;空间几何特征包括线性、平面性、散度、全方差、特征熵、局部曲率变化、各向异性和垂直度八项特征(朱超等,2021)。

样本中包含大量特征,但并非所有特征都具有实际价值,多余的特征不仅增加了算法的计算成本,有些甚至可能产生负面影响。所以实验利用递归特征消除法(Jeon和Oh,2020),从构建的特征数据集中筛选有价值的特征。具体步骤:①按照原始特征集构建训练集和测试集,训练集训练RF模型,测试集评估模型精度;②评估各个特征的重要性,并按重要性从高到低进行排序;③删除最不重要的特征,并判断精度是否提高;若提高则删除该特征,若下降则标记为正相关特征,直到剩下最后三个特征。最终的特征集由最重要的三个特征和正相关特征组成。

2)佛龛点云粗分类

实验环境为 Python 3.9、16 GB RAM和GeForce RTX 3060 GPU的Core i7计算机。分类结果通过CloudCompare可视化。

将制作好的训练样本和测试样本输入RF模型中,通过调节算法中的重要参数完成分类。为了保证参数调节的正常进行,节点划分criterion设置为Gini系数;袋外误差oob_score设置True,以增加精度评定标准;随机数random_state设置1,以保证每次调节都在相同的森林中;为了保证程序运行的速度,将参数n_jobs设置–1。通过网格调参的方式,设置模型的五个参数,分别为决策树数量n_estimators设置300、特征子集大小max_features 设置sqrt、决策树的最大深度max_depth设置3、叶子节点最少样本数min_samples_leaf设置20、节点可分的最小样本数min_samples_split设置50。对训练集重新进行训练以获取最终的RF模型。在对模型分类精度评估后,将石窟寺中研究区域的数据输入模型,获得佛龛点云的粗分类结果。

3.3  佛龛对象初步提取

DK聚类流程如图4所示。首先,使用佛龛类点云作为提取佛龛对象的原始数据,通过先验信息计算每个佛龛对象内点的数量N;从数据中随机选取一个点p作为起始点,并建立一个新的点组。其次,设置欧几里得距离参数R作为搜索半径,向外搜索邻域点,并将邻域内点的集合定义为Index_search。如果邻域内点数量大于阈值N,则将邻域内该点p视为核心点并加入当前正在建立的点组,同时继续向外扩展邻域;否则,视为边界点,停止扩展。为了提高程序运行效率,第一次扩展时不使用该判断方法。当该组扩展停止后,通过将组内点数量除以m估算k-means中的k值,进行k-means(刘海燕等,2020),根据聚类标签分离出独立的佛龛对象,输出k个单独的佛龛对象。最后,从未处理的点中重新选择起始点,重复以上步骤,直到所有点都被处理。

image.png

对佛龛进行初步提取阶段,依次对大型佛龛和小型佛龛进行提取。由于大型佛龛中间都存在一定的距离,远大于点之间的距离,因此在提取大型佛龛的点云数据时,直接采用欧几里得距离聚类算法,距离参数R设置0.04。小型佛龛的数量较多,排列密集紧凑,且因风化、剥落等,易出现多合一或一分为二的现象。距离参数R设置时,需考虑大于相邻两点间的平均距离及小于两佛龛之间的距离,因此取值0.012。此外,在上述过程中,邻域半径eps和最小点数min_samples是DBSCAN的两个核心超参数,用于控制聚类的效果,而k参数是用于k-means的簇数。在网格搜索中,eps设置为0.1~1,min_samples设置在3~10搜索,以找到效果最佳的组合。为验证超参数选择的合理性,在实验中比较了不同参数组合的聚类效果,并选取了在验证集上表现最佳的参数组合。最终确定eps=0.5、min_samples=5。

3.4  佛龛对象优化提取

实验为初步提取结果的每个对象赋予独特的标签,通过多标签图割算法(Qin等,2024),进行优化。通过设计能量函数,将几何数据误差代价、空间平滑一致性代价及标签数量代价进行平衡,从而实现对佛龛对象的精确提取。

3.4.1  多标签图割算法构建

考虑到海量的点云数据直接用于图割优化会增加计算的复杂度,且实验目标主要集中在佛龛边缘。因此,首先需要识别边缘点,作为多标签图割优化的基础。在寻找边缘点时,使用KD树(赵思仲等,2019),构建邻域系统,搜索每个点的邻域点,如果邻域点中出现了其他类别的点,则将该点标记为边缘点。为了编码三维点之间的空间相关性,构建了图模型。在图5中,a为源点,β为汇点,两点之间的椭圆为邻域点,每个邻域点与点a、β都有连接,距离较近的邻域点之间的连接更为紧密。

image.png

实验中的多标签能量函数采用多标签图割算法(Yan等,2014),来求解最小化结果。具体地,通过Alpha-expansion算法(Mieloch等,2024)优化处理能量函数,并对模型进行重新估计和优化,不断迭代直到能量值收敛不再变化。经过多标签图割优化后,解决了初步提取过程中遗留的问题,特别是修正了RF分类中的边缘误差。

3.4.2  能量函数构建

实验参考了马尔可夫随机场(Markov random field,MRF)模型构建了能量函数,将区域信息、边界信息和初始标签信息相结合(刘欣怡等,2023)。具体的能量函数如(Yan等,2014)

image.png

式中,D(p, LP)为将数据点p标注为标签LP时的代价或误差,衡量p与LP之间的契合程度;Vpq(Lp,Lq)为数据点p、q的标签LpLq之间的平滑代价、相似性惩罚;image.png为与标签Li相关的约束和惩罚。其通过平衡几何数据误差、空间平滑一致性和标签数量代价的不同能量消耗,将佛龛对象提取问题转化为最佳匹配问题。该优化框架的目标是将每个点准确地分配到最合适的标签。

1)数据项代价

数据项代价主要用于惩罚标签与观测数据之间的不一致性。由于之前已经使用RF进行了分类,并通过DK聚类算法初步提取了佛龛对象,同时为数据中所有对象分配了初始标签,为了确保数据项的准确性,根据已有研究(Yan等,2014),实验通过计算点到对应类别对象中心点的距离及RF分类器中的预测概率,定量描述标签与观测数据的一致性:

image.png

式中,l为类别标签;提取该标签对应的对象后,使用其中所有的点进行计算,求得该类别的中心点为Climage.png为Pl点到Cl点的欧几里得距离;Proba(Pl)为点p被预测为类别的概率,实验中分为大型佛龛、小型佛龛、相关造像、石壁四类,并用相应的分类概率来替代这一值,确保在标签属于同一类别时,可以通过欧几里得距离描述数据的几何误差代价;而当标签属于不同类别时,通过RF预测概率保证几何误差代价的正确性,从而有助于提高边缘处的精度。在RF分类中,使用Python机器学习库scikit-learn中predict_proba函数计算得到这些概率。

需要注意的是,RF模型经过调节和优化后,当预测概率与观测数据一致时,会出现数值较高的情况。为了符合能量最小化的形式,实验将点在RF中预测的标签作为分母,将点到该类别中心点的距离作为分子,两者共同构成数据项代价。

2)平滑项代价

平滑项代价是相邻点对之间的平滑度,邻域可以通过不规则三角网或k–最近邻来构建。实验中,首先使用KD树(赵思仲等,2019)对散乱点云进行组织,其次采用k–最近邻方法构建邻域关系。根据已有研究(Yan等,2014),实验设计了一个用于惩罚相邻点标签不一致性的平滑代价,表示相邻的点应当属于相同标签:

image.png

式中,image.png为Potts模型(王靖等,2015)中的指示函数,表示如果一对相邻点(p,q)属于同一对象,则image.png;反之,image.png。具体地,一对距离较近的点更有可能属于同一对象,因此权函数ωpq设置为相邻点(p,q)之间距离的反函数,如式(4)所示。与固定权重ωpq=1相比,可以避免边缘上相连或尖锐区域对平滑项约束可靠性的影响。

3)标签项代价

标签项代价是对输入潜在标签数量的惩罚,通常情况下对所有标签采用相同的标准进行惩罚,减少模型的复杂度。实验中其主要用于优化小型佛龛出现一分为二的现象,以及其他类别点云被误分为小型佛龛的问题。因此,根据已有研究(Yan等,2014),专门针对小型佛龛设计,将佛龛内点的数量引入标签项中:

image.png

式中,Li为标签i对象上点的数量;image.png为所有佛龛的点数均值,标签项代价通过标签点数量与平均数量的离差来衡量;Lmax、Lmin分别为类别中最大和最小对象的点数,为了避免标签项代价过度影响模型,使用Lmax-Lmin作为除数平衡标签项代价与其他两项的权重大小。当佛龛点数量过多或过少时,标签项代价都会增大,从而会促使相邻的佛龛合并,或者删除数量较少的碎片,最终保证提取出的佛龛对象更加精确可靠。

综上所述,实验中佛龛优化提取的能量函数为

image.png

在多标签图割算法(Yan等,2014)的超参数调优中,针对数据项代价、平滑项代价和标签项代价的权重分别进行了网格搜索,以优化分割效果。实验对比了不同参数组合下的分割效果,通过网格搜索和交叉验证,最终设置数据项权重 0.7、平滑项权重 3、标签项权重 1.5。


4  实验与结果分析

4.1  佛龛对象提取结果分析

超体聚类结果如图6所示。点云数量经过超体素处理后降至15279个,通过超体聚类得到的超体素块,能够极大地降低后期点云处理的复杂度。


利用递归特征消除法得到特征筛选前、后分类结果如图7所示。图7(a)中存在明显的分类混乱现象,尤其是在小型佛龛和大型佛龛的区分上,分类边界不够清晰,部分佛龛被错误分类,边缘也较为模糊,整体效果显得杂乱无章。此外,在佛龛与石壁的交界区域,边界模糊问题尤为突出,导致一些小型佛龛的轮廓不够完整。相比之下,图7(b)得到了显著改善,各类佛龛对象之间的边界更加清晰,佛龛提取的准确性明显提高;在佛龛与石壁的交界处,分类结果更加精确,佛龛轮廓的完整性得到了有效增强,整体表现更加贴近实际情况。

为了评估和分析不同数据处理阶段对佛龛提取结果的影响,特别是佛龛边缘精细化提取相较于初步提取的优势,以及各佛龛对象是否被赋予了准确的标签,实验选取三个区域进行对比分析,分别比较了原始点云、佛龛初步提取结果、佛龛边缘精细化提取结果,如图8所示。

image.png

(1)由图8中黄框可以看出,初步提取的佛龛之间边缘模糊、不够精确,究其原因来源于佛龛点云边缘的提取误差和初步提取时的分类误差;经过边缘精细化提取后,每个佛龛对象都能被准确分割和标记,说明提高了边缘提取的精度和准确性。

(2)由图8中红框可以看出,初步提取的佛龛边缘彼此相连且标签颜色多样,整体看杂乱无章;边缘精细化提取的佛龛边界清晰可见,佛龛边界被准确分割,标签颜色也发生了改变,总体看比较整洁。这种颜色变化主要源于多标签图割处理过程中的标签重新分配和边缘优化。对于初步提取中因分类误差或相邻佛龛混杂而受影响的边缘点,多标签图割算法会进行调整和优化,使得佛龛标签颜色发生变化,算法的优化目标在于提升提取的精度和分割准确性,因此在某些情况下会通过调整标签分配来更好地反映数据特征。

(3)由图8中蓝框可以看出,佛龛初步提取结果中存在小型佛龛和大型佛龛相连的情况,导致出现一分为二或多合一的现象;而经过精细化边缘提取后,大型佛龛与小型佛龛之间的混合问题得以解决,确保了提取出的佛龛对象独立且准确。这是因为经过多标签图割后的佛龛对象能够有效地进行独立标签分配,从而解决了初步提取中存在的多种误差问题。

综上所述,本方法解决了使用DK聚类进行初步提取时所产生的一分为二和多合一等问题,能够为每个提取出的佛龛对象赋予独立标签,实现了顾及边缘精度的佛龛对象提取。

4.2  精度评价

为了验证方法的可行性,实验引入混淆矩阵,采用精确率(precision,Pre)、召回率(recall,Re)、F1分数(F1-score,F1)及总体精度(overall accuracy,OA)四个指标(赫英策等,2024)作为评价指标。Pre是分类器正确识别为某一类别的样本数与分类器识别为该类别的总样本数之比,即提取的佛龛对象中,实际佛龛占提取结果中的比例;Re是分类器正确识别为某一类别的样本数与实际该类别的样本数之比,即实际佛龛对象中被正确提取的比例;F1综合考虑了召回率和准确率,是二者的调和平均数;OA为所有类别中正确分类的比例。

为了评价各步骤算法对精度的提升效果,按照特征筛选前后两个阶段,分别进行精度评定,结果如表2所示。在相同的参数下,经过特征筛选,分类精度有了明显的提升,分类总体精度由0.8762提升至0.9079。证明了特征筛选步骤消除了冗余特征对于分类精度的负面影响,优质的特征向量集能够获得更好的分类效果。佛龛对象优化提取的精度结果如表3所示。分类总体精度达到了0.9692,表明本方法对初步提取结果进行了有效优化,显著提升了边缘点云的提取精度。

image.png


5  结  论

随着三维激光扫描技术的发展,点云数据已成为主流的三维模型格式之一。为解决大型佛龛和小型佛龛在相连情况下出现的错分现象,以云冈石窟寺佛龛为研究对象,本文提出了一种基于随机森林和多标签图割的石窟寺佛龛对象化提取方法。首先对石窟寺点云数据使用VCCS算法进行超体聚类并生成超体素块,在此基础上为石窟寺点云设计了特征向量集,利用递归特征消除法获得最优特征集,从而提高了使用随机森林提取佛龛点云的精度;其次采用DK聚类的算法,实现了从佛龛类点云中初步提取佛龛对象;最后采用多标签图割算法对佛龛初步提取结果进行边缘精细化提取,通过构建能量函数,平衡几何数据误差代价、空间平滑一致性代价与标签代价,从而为边缘处的每个点分配了最佳标签,最终实现了佛龛对象的精确提取。

本方法显著提高了分类精度。经过特征筛选后,RF分类精度有了明显的提升,特征筛选前后总体分类精度由0.8762提升至0.9079,有效消除了部分分类误差。将石窟寺点云数据分为小型佛龛、大型佛龛、相关造像和石壁四类,通过采用RF算法成功提取了所需要的佛龛点云数据。通过多标签图割算法,边缘的精细化提取效果得到了显著提升,提取总体精度达到0.9692,同时优化了大型佛龛、小型佛龛和相关造像在相连时出现的错分现象,也解决了部分小型佛龛一分为二或多合一的分裂情况。最终成功实现了对各个佛龛对象的精确提取,并为每个佛龛赋予了准确的标签。

然而,由于石窟寺场景的独特性,数据集的构建面临诸多挑战。洞窟内部环境的复杂性增加了数据采集的难度,而点云采集过程中存在的遮挡问题也显著影响了数据集的完整性。因此,未来研究需要借助更先进的三维激光扫描技术,以获取更精准、更完整的石窟数据。此外,在模型训练阶段,不同目标的点云数据量存在较大差异。例如,大型佛龛和相关造像的数据量往往较为稀少,导致训练样本不足,进而影响训练结果的精度。因此,如何有效应对不同目标样本数据量不均衡的问题,成为下一步研究目标。

参考文献

安宇, 陈桂芬, 李静. 2020. 基于递归特征消除和随机森林融合算法的大豆前体MicroRNA预测模型研究. 大豆科学, 39(3): 401-405[An Y, Chen G F, Li J. 2020. Research on soybean pre-micro RNA prediction model based on recursive feature elimination and random forest fusion algorithm. Soybean Science, 39(3): 401-405(in Chinese)]
赫英策, 李禹萱, 孙尚宇, 宋伟东. 2024. 基于改进YOLOv8的前视影像的路面病害检测方法. 时空信息学报, 31(5): 605-617[He Y C, Li Y X, Sun S Y, Song W D. 2024. A method for detection of pavement defects in front-view images based on improved YOLOv8. Journal of Spatio-temporal Information, 31(5): 605-617 (in Chinese)] 
刘海燕, 顾敏, 毛亚萍, 东正兰, 李春林, 武风英. 2020. 空间聚类有效性评价方法对比与研究. 地理信息世界, 27(1): 72-77, 83[Liu H Y, Gu M, Mao Y P, Dong Z L, Li C L, Wu F Y. 2020. A comparative study of validity evaluation approaches of spatial clustering. Geomatics World, 27(1): 72-77, 83 (in Chinese)]
刘家全, 朱哲皓. 2023. 基于有序点云的石窟寺顶板裂隙特征提取. 上海师范大学学报(自然科学版), 52(3): 360-371[Liu J Q, Zhu Z H. 2023. Feature extraction of layered fractures in grotto temple based on ordered point clouds. Journal of Shanghai Normal University (Natural Sciences), 52(3): 360-371 (in Chinese)]
刘欣怡, 张永军, 范伟伟, 王森援, 岳冬冬, 刘梓航, 贾琛, 景慧莹, 钟佳辰. 2023. 无人机倾斜摄影三维建模技术研究现状及展望. 时空信息学报, 30(1): 41-48[Liu X Y, Zhang Y J, Fan W W, Wang S Y, Yue D D, Liu Z H, Jia C, Jing H Y, Zhong J C. 2023.3D modeling based on UAV oblique photogrammetry: Research status and prospect. Journal of Spatio-temporal Information, 30(1): 41-48 (in Chinese)]
随银岭, 张宁, 秦志远, 童晓冲, 李贺, 赖广陵, 郭宇. 2020. 改进的基于累加投影图匹配的点云配准算法. 地理信息世界, 27(5): 17-22[Sui Y L, Zhang N, Qin Z Y, Tong X C, Li H, Lai G L, Guo Y. 2020. An improved point cloud registration algorithm based on cumulative projection matching. Geomatics World, 27(5): 17-22 (in Chinese)]
王靖, 潘振宽, 郑永果, 丁洁玉. 2015. 基于Potts模型的图像分割快速算法. 计算机应用与软件, 32(1): 206-210[Wang J, Pan Z K, Zheng Y G, Ding J Y. 2015. Fast image segmentation algorithm based on Potts model. Computer Applications and Software, 32(1): 206-210(in Chinese)]
吴邵明, 梁晓娜. 2017. 超大型石窟寺三维几何重建技术的研究. 城市勘测 (5): 164-167[Wu S M, Liang X N. 2017. Very large cave temples three-dimensional geometry reconstruction technology research. Urban Geotechnical Investigation & Surveying, (5): 164-167 (in Chinese)]
薛婧雅, 李礼, 龚烨, 汪静, 姚剑. 2021. 一种基于超体素与区域生长的机载点云屋顶平面分割方法. 测绘地理信息, 46(S1): 232-236[Xue J Y, Li L, Gong Y, Wang J, Yao J. 2021. A method for roof plane segmentation by supervoxel and regional growth. Journal of Geomatics, 46(S1): 232-236 (in Chinese)]
张志斌, 蔡来良, 杜庄, 康洪跃. 2023. 多尺度点云特征随机森林滤波算法. 激光杂志, 44(2): 76-82[Zhang Z B, Cai L L, Du Z, Kang H Y. 2023. Multiscale point cloud feature random forest filtering algorithm. Laser Journal, 44(2): 76-82 (in Chinese)]
赵嘉进, 刘家全, 张得煊, 裴强强, 刘鸿. 2022. 基于三维激光扫描的石窟寺病害可视化研究. 石窟与土遗址保护研究 (2): 72-80[Zhao J J, Liu J Q, Zhang D X, Pei Q Q, Liu H. 2022. Research on visualization of Cave Temple diseases based on 3D laser scanning. Research on the Conservation of Cave Temples and Earthen Sites, (2): 72-80 (in Chinese)]
赵思仲, 侯妙乐, 李爱群, 杨溯, 胡云岗, 董友强. 2019. 融合多特征的兵马俑碎片分类技术研究. 地理信息世界, 26(5): 14-21[Zhao S Z, Hou M L, Li A Q, Yang S, Hu Y G, Dong Y Q. 2019. A classification technology of terra-cotta warriors’ fragments with multiple features. Geomatics World, 26(5): 14-21 (in Chinese)]
郑书富, 李渭, 刘莉. 2018. 基于超体素聚类的三维点云轮廓特征提取. 兰州文理学院学报(自然科学版), 32(3): 50-54[Zheng S F, Li W, Liu L. 2018. Contour feature extraction of 3D point cloud based on super-voxel clustering. Journal of Lanzhou University of Arts and Science (Natural Science Edition), 32(3): 50-54 (in Chinese)]
朱超, 吴凡, 刘长斌, 赵健翔, 林丽丽, 田雪莹, 苗腾. 2021. 基于超体素聚类和局部特征的玉米植株点云雄穗分割. 智慧农业(中英文), 3(1): 75-85[Zhu C, Wu F, Liu C B, Zhao J X, Lin L L, Tian X Y, Miao T. 2021. Tassel segmentation of maize point cloud based on super voxels clustering and local features. Smart Agriculture, 3(1): 75-85 (in Chinese)]
Fu Q, Hou M, Hua W. 2023. Based on improved pointnet automatic classification method of grotto temple statues. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, X-M-1-2023: 87-92
Jeon H, Oh S. 2020. Hybrid-recursive feature elimination for efficient feature selection. Applied Sciences, 10(9): 3211
Kremers B J J, Citrin J, Ho A, van de Plassche K L. 2023. Two-step clustering for data reduction combining DBSCAN and k-means clustering. Contributions to Plasma Physics, 63(5/6): e202200177
Liu C X, Sui H G, Huang L H. 2020. Identification of building damage from UAV-based photogrammetric point clouds using supervoxel segmentation and latent dirichlet allocation model. Sensors, 20(22): 6499
Miao Y, Hou M, Wei P. 2021. Research on evaluation of the spalling disease of niche for Buddha in grottoes. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 46M1: 441-447
Mieloch D, Klóska D, Stankiewicz O. 2024. On alpha-expansion-based graph-cut optimization for decoder-side depth estimation. Applied Sciences, 14(13): 5768
Ni H, Niu X N. 2020. SVLA: A compact supervoxel segmentation method based on local allocation. ISPRS Journal of Photogrammetry and Remote Sensing, 163: 300-311
Papon J, Abramov A, Schoeler M, W?rg?tter F. 2013. Voxel cloud connectivity segmentation - supervoxels for point clouds// 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA. 2027-2034
Qin M S, Jiang J Z, Zhou F. 2024. Single image dehazing based on multi-label graph cuts. Pattern Recognition Letters, 185: 110-116
Wang J H, Yi T Q, Liang X, Ueda T. 2022a. Application of 3D laser scanning technology using laser radar system to error analysis in the curtain wall construction. Remote Sensing, 15(1): 64
Wang Z B, Gao X, Wu R L, Kang J F, Zhang Y N. 2022b. Fully automatic image segmentation based on FCN and graph cuts. Multimedia Systems, 28(5): 1753-1765
Xia M, Yang S Y. 2019. A new methodology based on multi-label graph cut theorem for multi-phase topology optimization. IEEE Transactions on Magnetics, 55(6): 7201004
Yan J X, Shan J, Jiang W S. 2014. A global optimization approach to roof segmentation from airborne lidar point clouds. ISPRS Journal of Photogrammetry and Remote Sensing, 94: 183-193
Yang S, Hou M L, Li S N. 2024. Point cloud semantic segmentation of grotto scenes using the knowledge-guided deep learning method. International Journal of Digital Earth, 17(1): 8-26
Zhang W M, Qi J B, Wan P, Wang H T, Xie D H, Wang X Y, Yan G J. 2016. An easy-to-use airborne LiDAR data filtering method based on cloth simulation. Remote Sensing, 8(6): 501


↓ 了解更多产业要闻 ↓↓

请将我设为星标

来源:《时空信息学报》2024年第6期



编辑:冯   翠、李   娟
审核:余   青

>>协会近期直播

>>协会通知

>>近期要闻

征稿启事

企业家风采民企之光创新之声”“会员喜讯”“新品发布汇”“产学研合作”“国际市场”“专精特科普等主题宣传(专栏)长期征稿,欢迎投稿!


联系人:李娟 13370105015(微信)

邮箱:xc@cagis.org.cn

迎关注、分享!

点我访问原文链接