本技术涉及图像分割的,尤其是涉及图像分割方法、装置和电子设备。
背景技术:
1、在当今的数字图像处理领域,图像分割是一项至关重要的技术,它旨在将图像划分为多个有意义的区域或对象,以便于后续的图像分析、理解和识别。随着计算机视觉和深度学习技术的快速发展,图像分割技术已经广泛应用于医学诊断、遥感图像处理、自动驾驶、安全监控等多个领域。
2、公布日为2023年05月12日,申请公布号为cn116109652a的中国发明专利名称为:基于改进区域增长算法的图像分割方法、系统、设备,通过目标检测算法来识别杆塔螺栓区域,之后确定区域生长的阈值范围,之后将种子点输入到区域增长算法中,得到区域生长图,之后对杆塔图像、区域生长图进行边缘检测,获得图像分割结果。然而,现实中的图像内容往往复杂多变,包含不同形状、大小和纹理的物体,而且在不同时刻获取的图像中的物体会受到光照、阴影等干扰因素的影响,导致分割难度增加,图像分割的精确度低。
技术实现思路
1、为了提高对图像分割的准确性,本技术提供了图像分割方法、装置和电子设备。
2、第一方面,本技术提供了一种图像分割方法,采用如下的技术方案:
3、图像分割方法,包括以下步骤:
4、第一采集:采集待分割图像;
5、建模:建立图像分割模型,所述图像分割模型包括:cnn子模型和区域增长子模型;
6、图像分割:包括第一分割、设定种子点和第二分割;
7、第一分割:采用cnn子模型对待分割图像进行分割,获得n个分割块;
8、设定种子点:将第i个分割块的一个边缘像素点作为种子点;
9、第二分割:区域增长子模型利用预设的生长准则对种子点相邻的第j个像素点进行处理,获得处理结果;
10、第一判断:基于处理结果,判断第j个像素点是否能够合并到第i个分割块中,若是,则执行增加的步骤;若否,则执行迭代的步骤;
11、增加:将第j个像素点增加至第i个分割块中;
12、迭代:包括第一遍历和第二遍历;
13、第一遍历:将第j+1个像素点作为新的第j个像素点,执行第二分割的步骤,直至满足第一停止条件;
14、第二遍历:将第i+1个分割块作为新的第i个分割块,执行第二分割的步骤,直至满足第二停止条件。
15、通过采用上述技术方案,本技术的图像分割模型包括:cnn子模型和区域生长子模型,cnn子模型基于深度学习算法,能够学习到图像中的特征表示,适用于不同的图像分割任务,即使对复杂的图像进行分割时,也可以快速地识别出图像中的不同区域,提高了图像分割模型的泛化能力。本技术采用两步分割策略(第一分割和第二分割),第一分割利用cnn子模型进行初步分割,可以快速得到大致的分割区域,为后续的区域增长提供基础。第二分割则通过区域增长子模型对分割结果进行细化,有助于处理分割边界的模糊性和不规则性,在第二分割的步骤之前,选择第i个分割块的一个边缘像素点作为种子点,更容易区分不同区域,增加对当前分割块分割的准确性,之后通过设定迭代的步骤,完成对整个图像的分割。
16、可选地,在执行第一采集的步骤之后,执行建模的步骤之前,还包括:
17、第三分割:沿待分割图像长度方向或宽度方向,将待分割图像均分为m个子图像;
18、设定像素边:定位第x个子图像与第x+1个子图像相邻的边,将第x个子图像的边记为第一像素边,将第x+1个子图像的边记为第二像素边;
19、第一计算:计算第一像素边中第y个像素点灰度值和第y+1个像素点灰度值的差,记为第一数据;
20、第二判断:判断第一数据是否大于预设灰度值阈值,若是,则执行标记的步骤;若否,则执行第二计算的步骤;
21、第二计算:计算第二像素边中第y个像素点灰度值和第y+1个像素点灰度值的差,记为第二数据;
22、第三判断:判断第二数据是否大于预设灰度值阈值,若是,则执行标记的步骤;若否,则执行第三遍历的步骤;
23、标记:将第y个像素点或第y+1个像素点标记为第一像素点;
24、第三遍历:将第x+1个子图像作为新的第x个子图像,并执行设定像素边的步骤,直至满足第三停止条件。
25、通过采用上述技术方案,本技术将待分割图像均分为m个子图像,有助于简化后续处理,特别是当处理大型图像时,将图像分割成更小的部分(子图像),之后通过计算相邻子图像边缘像素边的灰度值差,可以识别出子图像中的边缘或特征变化区域,所述变化区域往往是图像分割的关键点,有助于区分不同的图像部分,本技术将在整个图像中寻找种子点转换为在每个子图像的像素边中寻找种子点,减少了计算资源,提高了计算效率。本技术通过设定灰度值阈值,可以筛选出灰度值变化显著的像素点,所述变化显著的像素点很可能是图像中某个区域的边缘点或特征点,通过标记灰度值变化显著的像素点,获得提示在待分割图像中,该像素点大概率是分割块的边缘点的效果,有助于快速定位需要分割的分割块边缘,提高图像分割的速度。
26、可选地,在设定种子点的步骤中,采用第一像素点代替所述的边缘像素点。
27、通过采用上述技术方案,本技术通过在设定种子点的步骤中,采用第一像素点(即之前标记的边缘或特征点)代替原始的边缘像素点,有助于更准确的引导区域增长过程,减少误分割的可能性,提高分割效率。由于第一像素点更准确地定位了边缘或特征点,区域增长会更快速地收敛到正确的分割结果,并且使用第一像素点作为种子点可以优化区域增长过程。区域增长算法通常依赖于种子点的选择和生长准则来逐步扩展分割区域,使用更准确的种子点可以引导算法更快速地识别出不同的图像部分,并减少不必要的计算,并且因为种子点的选取更加准确,所以最终的图像分割结果会更加精细和准确。
28、可选地,所述图像分割的步骤,还包括:
29、第一获取:获取第i个分割块中与种子点相邻的像素点,记为第一像素点集,获取第i+1个分割块中与种子点相邻的像素点,记为第二像素点集;
30、第三计算:计算种子点与第一像素点集中所有像素点的相似度,并计算全部相似度的和记为第一相似度;
31、第四计算:计算种子点与第二像素点集中所有像素点的相似度,并计算全部相似度的和记为第二相似度;
32、第四判断:判断第一相似度是否大于第二相似度,若是,则执行第一处理的步骤;若否,则执行第二处理的步骤;
33、第一处理:区域增长子模型利用预设的生长准则对第二像素点集中的像素点进行处理;
34、第二处理:区域增长子模型利用预设的生长准则对第一像素点集中的像素点进行处理。
35、通过采用上述技术方案,本技术通过计算种子点与相邻像素点集中像素点的总相似度(第一相似度和第二相似度),可以量化种子点与周围像素的关联程度。本技术根据两个相似度的比较结果,决定区域增长的方向:如果第一相似度大于第二相似度,则优先处理第二像素点集;反之,则处理第一像素点集,有助于确保区域增长过程沿着最相似像素点的反方向进行,也就是说,种子点位于分割块的边缘,若种子点与当前像素点集的特征更加相似,则证明该种子点归属于该分割块,若要在待分割图像中分割该分割块,应在另一个像素点集中进行区域增长,以获取该分割块的边缘像素点,本步骤减少了区域增长算法的计算内容,提高了计算效率。
36、可选地,在执行第四计算的步骤之后,执行第四判断的步骤之前,还包括:
37、排序:在第一像素点集和/或第二像素点集中,根据相似度由大到小的顺序,对全部像素点进行排序,获得第一像素点序列和/或第二像素点序列;
38、删减:删除相似度小于预设相似度阈值的像素点,获得新的第一像素点集和/或第二像素点集。
39、通过采用上述技术方案,通过对第一像素点集和第二像素点集中的像素点按照相似度进行排序,使得在处理过程中优先处理与种子点最相似的像素点,有助于减少不必要的计算,因为一旦区域增长过程开始,与种子点高度相似的像素点更有可能属于同一区域。通过删除相似度低于预设阈值的像素点,可以进一步减少后续处理的计算量,由于在计算出的相似度中,低相似度的像素点很可能不属于与种子点相同的区域,因此将它们从处理列表中移除可以提高整体效率。通过优先处理高相似度的像素点,并删除低相似度的像素点,使得区域增长过程更加准确地沿着正确的方向进行,有助于减少将不属于同一区域的像素点错误地归入同一分割区域的情况。
40、可选地,在第一处理和/或第二处理的步骤中,区域增长子模型基于第一像素点序列和/或第二像素点序列,并利用预设的生长准则对第一像素点集和/或第二像素点集中的像素点进行处理。
41、通过采用上述技术方案,通过区域增长子模型按照第一像素点序列和/或第二像素点序列中像素点的顺序,对删减后的第一像素点集和第二像素点集中的像素点进行处理,在处理过程中,一旦出现第一像素点序列和/或第二像素点序列中的某个像素点不再满足生长准则,则不必再去处理该像素点之后的像素点,减少了计算量,提高了计算速度以及图像分割的速度。
42、可选地,所述图像分割模型还包括bi-lstm子模型,在执行建模的步骤之后,执行图像分割的步骤之前,还包括:
43、第二采集:采集历史图像以及历史图像的分割数据,获得历史图像分割后的k个分割块;
44、第一确定:确定历史图像中第p个分割块的中心像素点,记为第三像素点;
45、第二确定:获取历史图像中与第p个分割块相邻的q个分割块,确定q个分割块的中心像素点,记为第四像素点;
46、第三采集:获取第三像素点与第四像素点之间的像素点,记为第五像素点;
47、第四采集:获取全部第五像素点的灰度值;
48、模型训练:采用第五像素点的灰度值对bi-lstm子模型进行训练,获得训练后的bi-lstm子模型。
49、通过采用上述技术方案,通过采集第三像素点(历史图像中第p个分割块的中心像素点)至第四像素点(与第p个分割块相邻的q个分割块的中心像素点)之间的像素点(第五像素点)的灰度值,并将这些灰度值用于训练bi-lstm子模型,可以使bi-lstm子模型学习到图像中像素块的中心像素点之间的空间关系和灰度变化模式。
50、可选地,在执行第一分割的步骤之后,执行设定种子点的步骤之前,还包括:
51、第五采集:采集第i个分割块与第i+1个分割块的中心像素点;
52、预测:将第i个分割块与第i+1个分割块的中心像素点输入至训练后的bi-lstm子模型中,预测两个中心像素点之间像素点的灰度值,记为第一灰度值;
53、第五计算:计算相邻的第一灰度值的差值,记为第一差值;
54、第五判断:判断第一差值是否大于预设差值阈值,若是,则执行替换的步骤;若否,则执行设定种子点的步骤;
55、替换:获取第一差值对应的两个像素点,并将其中一个像素点作为新的种子点。
56、通过采用上述技术方案,本步骤利用了bi-lstm在序列数据上的强大建模能力,通过训练后的bi-lstm子模型预测两个相邻分割块中心像素点之间像素点的灰度值,能够捕捉像素点之间的潜在关系,从而更准确地预测灰度值。对于灰度图像来说,分割块内部的像素点一般具有灰度相似性,而在分割块的边界上一般具有灰度不连续性,所以本技术计算了相邻的像素点的预测灰度值的差值,并与预设差值阈值进行比较,若第一差值大于预设差值阈值,则表明此处灰度不连续,存在边缘点,将其中一个像素点作为种子点,继续执行第二分割的步骤;反之,则设定一个种子点,并执行第二分割的步骤,本步骤有助于快速定位种子点,提高计算效率,优化分割边界。
57、第二方面,本发明提供了一种图像分割装置,采用如下的技术方案:
58、图像分割装置,包括:
59、第一采集模块,用于采集待分割图像;
60、建模模块,用于建立图像分割模型,所述图像分割模型包括:cnn子模型和区域增长子模型;
61、图像分割模块,与第一采集模块、建模模块通信连接,包括第一分割单元、设定种子点单元和第二分割单元;
62、第一分割单元,用于采用cnn子模型对待分割图像进行分割,获得n个分割块;
63、设定种子点单元,用于将第i个分割块的一个边缘像素点作为种子点;
64、第二分割单元,用于区域增长子模型利用预设的生长准则对种子点相邻的第j个像素点进行处理,获得处理结果;
65、第一判断模块,与图像分割模块通信连接,用于基于处理结果,判断第j个像素点是否能够合并到第i个分割块中;
66、增加模块,用于将第j个像素点增加至第i个分割块中;
67、迭代模块,与图像分割模块通信连接,包括第一遍历单元和第二遍历单元;
68、第一遍历单元,用于将第j+1个像素点作为新的第j个像素点;
69、第二遍历单元,用于将第i+1个分割块作为新的第i个分割块。
70、通过采用上述技术方案,本装置通过结合cnn子模型和区域增长子模型,实现了对图像的初步分割和进一步细化。第一分割单元利用cnn子模型快速识别出图像中的不同区域(分割块),而第二分割单元则通过区域增长子模型对分割结果进行细化处理,第一判断模块和增加模块确保了分割结果的准确性和连续性,而迭代模块则通过遍历所有像素点和分割块,实现了迭代分割过程。本技术结合深度学习方法和区域增长的策略,能够提高图像分割的准确性和效率,同时降低对人工标注的依赖,提高图像分割模型的泛化性。
71、第三方面,本发明提供了一种电子设备,采用如下的技术方案:
72、一种电子设备,包括:处理器和存储器,所述存储器存储有能够在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现所述的方法。
73、综上所述,本技术包括以下至少一种有益技术效果:
74、1.本技术的图像分割模型包括:cnn子模型和区域生长子模型,cnn子模型基于深度学习算法,能够学习到图像中的特征表示,适用于不同的图像分割任务,即使对复杂的图像进行分割时,也可以快速地识别出图像中的不同区域,提高了图像分割模型的泛化能力。本技术采用两步分割策略(第一分割和第二分割),第一分割利用cnn子模型进行初步分割,可以快速得到大致的分割区域,为后续的区域增长提供基础。第二分割则通过区域增长子模型对分割结果进行细化,有助于处理分割边界的模糊性和不规则性,在第二分割的步骤之前,选择第i个分割块的一个边缘像素点作为种子点,更容易区分不同区域,增加对当前分割块分割的准确性,之后通过设定迭代的步骤,完成对整个图像的分割。
75、2.本技术通过计算种子点与相邻像素点集中像素点的总相似度(第一相似度和第二相似度),可以量化种子点与周围像素的关联程度。本技术根据两个相似度的比较结果,决定区域增长的方向:如果第一相似度大于第二相似度,则优先处理第二像素点集;反之,则处理第一像素点集,有助于确保区域增长过程沿着最相似像素点的反方向进行,也就是说,种子点位于分割块的边缘,若种子点与当前像素点集的特征更加相似,则证明该种子点归属于该分割块,若要在待分割图像中分割该分割块,应在另一个像素点集中进行区域增长,以获取该分割块的边缘像素点,本步骤减少了区域增长算法的计算内容,提高了计算效率。
76、3.本步骤利用了bi-lstm在序列数据上的强大建模能力,通过训练后的bi-lstm子模型预测两个相邻分割块中心像素点之间像素点的灰度值,能够捕捉像素点之间的潜在关系,从而更准确地预测灰度值。对于灰度图像来说,分割块内部的像素点一般具有灰度相似性,而在分割块的边界上一般具有灰度不连续性,所以本技术计算了相邻的像素点的预测灰度值的差值,并与预设差值阈值进行比较,若第一差值大于预设差值阈值,则表明此处灰度不连续,存在边缘点,将其中一个像素点作为种子点,继续执行第二分割的步骤;反之,则设定一个种子点,并执行第二分割的步骤,本步骤有助于快速定位种子点,提高计算效率,优化分割边界。
1.图像分割方法,其特征在于,包括:
2.根据权利要求1所述的图像分割方法,其特征在于,在执行第一采集的步骤之后,执行建模的步骤之前,还包括:
3.根据权利要求2所述的图像分割方法,其特征在于,在设定种子点的步骤中,采用第一像素点代替所述的边缘像素点。
4.根据权利要求1-3任一项所述的图像分割方法,其特征在于,所述图像分割的步骤,还包括:
5.根据权利要求4所述的图像分割方法,其特征在于,在执行第四计算的步骤之后,执行第四判断的步骤之前,还包括:
6.根据权利要求5所述的图像分割方法,其特征在于,在第一处理和/或第二处理的步骤中,区域增长子模型基于第一像素点序列和/或第二像素点序列,并利用预设的生长准则对第一像素点集和/或第二像素点集中的像素点进行处理。
7.根据权利要求1-3任一项所述的图像分割方法,其特征在于,所述图像分割模型还包括bi-lstm子模型,在执行建模的步骤之后,执行图像分割的步骤之前,还包括:
8.根据权利要求7所述的图像分割方法,其特征在于,在执行第一分割的步骤之后,执行设定种子点的步骤之前,还包括:
9.图像分割装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器存储有能够在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的方法的步骤。