一种基于机器视觉的票据识别方法及装置与流程

本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的票据识别方法及装置。

背景技术：

1、传统的票据识别方法主要依赖于模板匹配和规则基础的方法，在处理多样化和复杂票据时面临着巨大挑战。近年来，机器视觉和深度学习技术的进步为票据识别带来了新的机遇，但仍存在诸多问题亟待解决。

2、现有的票据识别系统在处理损坏、模糊或变形的票据时表现不佳，难以应对实际场景中的各种复杂情况。其次，票据的多样性和结构复杂性使得特征提取和表示学习变得困难，尤其是在跨域场景下，不同类型票据之间的差异性进一步增加了识别难度。票据中包含的多种信息类型（如文本、图像、表格等）需要综合分析和理解，而现有方法在多模态信息融合和语义理解方面仍有不足。

技术实现思路

1、本发明提供了一种基于机器视觉的票据识别方法及装置，本发明能够有效处理损坏和变形的票据，实现多尺度和多模态的特征提取与融合，并具备跨域迁移能力，以适应不同类型和格式的票据。

2、第一方面，本发明提供了一种基于机器视觉的票据识别方法，所述基于机器视觉的票据识别方法包括：

3、对输入的票据图像进行预处理和随机遮挡处理，得到预处理后的票据图像；

4、对所述预处理后的票据图像进行多尺度特征提取，得到多尺度特征图集合；

5、基于所述多尺度特征图集合进行渐进式注意力特征优化，得到优化后的特征图；

6、对所述优化后的特征图进行语义对齐的局部特征分析，得到语义对齐特征图；

7、基于所述语义对齐特征图进行多标签协同学习，得到多标签分类结果；

8、对所述多标签分类结果进行特征压缩和识别处理，得到票据识别结果。

9、第二方面，本发明提供了一种基于机器视觉的票据识别装置，所述基于机器视觉的票据识别装置包括：

10、预处理模块，用于对输入的票据图像进行预处理和随机遮挡处理，得到预处理后的票据图像；

11、提取模块，用于对所述预处理后的票据图像进行多尺度特征提取，得到多尺度特征图集合；

12、优化模块，用于基于所述多尺度特征图集合进行渐进式注意力特征优化，得到优化后的特征图；

13、分析模块，用于对所述优化后的特征图进行语义对齐的局部特征分析，得到语义对齐特征图；

14、协同模块，用于基于所述语义对齐特征图进行多标签协同学习，得到多标签分类结果；

15、识别模块，用于对所述多标签分类结果进行特征压缩和识别处理，得到票据识别结果。

16、本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的基于机器视觉的票据识别方法。

17、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于机器视觉的票据识别方法。

18、本发明提供的技术方案中，通过引入随机遮挡预处理和多尺度特征提取技术，提高了模型对损坏和变形票据的识别能力，增强了系统的鲁棒性。采用渐进式注意力特征优化机制，实现了对票据关键区域的自适应聚焦，提升了特征的判别性和表示能力。引入语义对齐的局部特征分析方法，有效地将文本语义信息与视觉特征进行融合，增强了模型对票据内容的理解能力。通过多标签协同学习策略，充分利用了票据中不同信息字段之间的相关性，提高了分类的准确性和一致性。采用特征压缩和高效识别处理技术，降低了计算复杂度，提高了系统的处理效率，适合大规模票据识别应用。结合模板匹配和精细识别的两阶段方法，实现了对不同类型票据的准确识别和字段提取，具有良好的泛化能力。通过多个模块的有机结合，构建了一个端到端的票据识别流程，简化了系统的部署和维护。本发明具有较强的可扩展性，可以通过更新模型和模板库来适应新的票据类型，满足实际应用中的动态需求。

技术特征：

1.一种基于机器视觉的票据识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述对输入的票据图像进行预处理和随机遮挡处理，得到预处理后的票据图像，包括：

3.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述对所述预处理后的票据图像进行多尺度特征提取，得到多尺度特征图集合，包括：

4.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述基于所述多尺度特征图集合进行渐进式注意力特征优化，得到优化后的特征图，包括：

5.根据权利要求4所述的基于机器视觉的票据识别方法，其特征在于，所述基于所述初始网格特征图，通过卷积神经网络计算每个网格区域的注意力权重，得到初始注意力分数图，包括：

6.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述对所述优化后的特征图进行语义对齐的局部特征分析，得到语义对齐特征图，包括：

7.根据权利要求6所述的基于机器视觉的票据识别方法，其特征在于，所述对所述文本语义向量进行自注意力机制处理，得到增强的语义表示，并基于所述增强的语义表示，构建语义热图，将语义信息映射回原始图像空间，得到语义重要性图，包括：

8.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述基于所述语义对齐特征图进行多标签协同学习，得到多标签分类结果，包括：

9.根据权利要求1所述的基于机器视觉的票据识别方法，其特征在于，所述对所述多标签分类结果进行特征压缩和识别处理，得到票据识别结果，包括：

10.一种基于机器视觉的票据识别装置，其特征在于，用于执行如权利要求1-9中任一项所述的基于机器视觉的票据识别方法，所述基于机器视觉的票据识别装置包括：

技术总结
本发明涉及机器视觉技术领域，公开了一种基于机器视觉的票据识别方法及装置，该方法包括：对输入的票据图像进行预处理和随机遮挡处理，得到预处理后的票据图像；对预处理后的票据图像进行多尺度特征提取，得到多尺度特征图集合；基于多尺度特征图集合进行渐进式注意力特征优化，得到优化后的特征图；对优化后的特征图进行语义对齐的局部特征分析，得到语义对齐特征图；基于语义对齐特征图进行多标签协同学习，得到多标签分类结果；对多标签分类结果进行特征压缩和识别处理，得到票据识别结果，本发明能够有效处理损坏和变形的票据，实现多尺度和多模态的特征提取与融合，并具备跨域迁移能力，以适应不同类型和格式的票据。

技术研发人员：苏治,丁军,张煜,陶旭光,喻祥,范耀军
受保护的技术使用者：优顶特技术有限公司
技术研发日：
技术公布日：2024/12/5