发票图像智能识别方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种发票图像智能识别方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的不断发展，深度学习在图像处理和文字识别领域得到了广泛应用。传统的发票识别方法主要依赖于光学字符识别(ocr)技术，这些技术要求输入的图像质量较高，通常需要水平且噪音较少的图像数据。然而，在实际场景中，发票图像的拍摄条件往往较差，图像大部分存在扭曲、旋转、模糊等问题，导致通用ocr算法在发票数据上的识别效果较差，最终结构化数据提取效果不理想。

2、在医疗、保险、财务等行业中，发票处理是一项关键任务。这些行业中存在大量纸质发票，人工录入这些发票信息既费时又容易出错，难以满足高效、准确的信息处理需求。现有的发票处理系统存在以下不足：

3、图像质量问题：由于拍摄角度、光线条件等因素，发票图像质量参差不齐，存在扭曲、旋转、模糊等问题，传统ocr技术难以处理这些低质量图像。

4、手动处理成本高：依赖人工进行发票信息录入，不仅效率低下，而且容易出错，增加了运营成本。

5、数据一致性差：手动录入过程中，不同操作员可能会产生不一致的录入结果，影响数据的准确性和可靠性。

6、缺乏自动化手段：现有系统中自动化程度低，难以实现大规模的发票信息自动提取和处理。

技术实现思路

1、本发明的主要目的在于提供一种发票图像智能识别方法、装置、设备及存储介质，旨在解决现有技术对低质量发票图像识别不准确的技术问题。

2、为实现上述目的，本发明提供一种发票图像智能识别方法，所述发票图像智能识别方法包括以下步骤：

3、获取待识别图像，利用第一深度学习模型检测所述待识别图像中的发票关键点，当检测到所述待识别图像中包含多张发票图像时，根据所述发票关键点对所述待识别图像进行拆分，形成多张独立的发票图像；

4、检测每张发票图像的完整性，当检测到所有发票图像均完整时，使用第二深度学习模型检测每张发票图像中的文字位置，生成文字识别框；

5、根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，将每张发票图像及每张发票图像的文字识别框旋转至水平方向；

6、截取每张发票图像的文字识别框的文字图片，将所述文字图片输入文字识别模型，得到每张发票图像的文字识别结果。

7、可选地，所述检测每张发票图像的完整性，包括：

8、检测每张发票图像上的预设类型关键信息是否全部存在，同时利用边缘检测算法检查每张发票图像是否存在边缘损失；

9、若每张发票图像的预设类型关键信息全部存在且不存在边缘损失，或者每张发票图像的预设类型关键信息全部存在且边缘损失不影响所述预设类型关键信息，则确认每张发票图像完整。

10、可选地，所述根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，包括：

11、在每张发票图像的文字识别框中选取文字识别置信度最高的前预设数量的目标文字识别框，根据所述目标文字识别框的文字识别置信度及长宽比判断每张发票图像的旋转方向；

12、根据每张发票图像的旋转方向从预设旋转角度中确定每张发票图像的旋转角度。

13、可选地，所述根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，包括：

14、在每张发票图像的文字识别框中选取文字识别置信度最高的前预设数量的目标文字识别框，使用每个目标文字识别框的边界点计算每个目标文字识别框的主方向角度；

15、根据每个目标文字识别框的主方向角度及文字识别置信度得到每张发票图像的旋转角度。

16、可选地，在将每张发票图像及每张发票图像的文字识别框旋转至水平方向之后，还包括：

17、使用第三深度学习模型检测每张发票图像中的印章图像，对所述印章图像进行图像增强处理，使用trocr模型对增强后的印章图像进行识别，提取所述印章图像的文字信息，所述文字信息包含每张发票对应的单位名称。

18、可选地，在提取所述印章图像中的文字信息之后，还包括：

19、若发票图像中存在电子发票图像，使用第四深度学习模型识别所述电子发票图像的发票二维码，对所述发票二维码进行图像对比度增强，使用二维码解码算法对增强后的发票二维码进行解码，提取电子发票的电子票据详细信息。

20、可选地，在提取电子发票的电子票据详细信息之后，还包括：

21、使用信息抽取模型与预设传统抽取方式对每张发票图像进行信息抽取，得到结构化数据，所结构化数据包含关键字段与明细项；

22、按照预设规则综合每张发票图像的文字识别结果、印章图像中的文字信息、电子票据详细信息及结构化数据，生成每张发票图像的最终票据结果。

23、进一步地，为实现上述目的，本发明还提供一种发票图像智能识别装置，所述发票图像智能识别装置包括：

24、发票检测拆分模块，获取待识别图像，利用第一深度学习模型检测所述待识别图像中的发票关键点，当检测到所述待识别图像中包含多张发票图像时，根据所述发票关键点对所述待识别图像进行拆分，形成多张独立的发票图像；

25、发票完整性检测模块，检测每张发票图像的完整性，当检测到所有发票图像均完整时，使用第二深度学习模型检测每张发票图像中的文字位置，生成文字识别框；

26、图像方向校正模块，根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，将每张发票图像及每张发票图像的文字识别框旋转至水平方向；

27、图片文字识别模块，截取每张发票图像的文字识别框的文字图片，将所述文字图片输入文字识别模型，得到每张发票图像的文字识别结果。

28、进一步地，为实现上述目的，本发明还提供一种发票图像智能识别设备，所述发票图像智能识别设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的发票图像智能识别程序，所述发票图像智能识别程序被所述处理器执行时实现如上述所述的发票图像智能识别方法的步骤。

29、进一步地，为实现上述目的，本发明还提供一种计算机存储介质，所述存储介质上存储有发票图像智能识别程序，所述发票图像智能识别程序被处理器执行时实现如上所述的发票图像智能识别方法的步骤。

30、本发明涉及一种发票图像智能识别方法，通过获取待识别图像，利用第一深度学习模型检测图像中的发票关键点，当图像中包含多张发票时，根据关键点进行拆分，形成多张独立的发票图像；检测每张发票图像的完整性，使用第二深度学习模型检测文字位置，生成文字识别框；根据文字识别框的文字识别置信度确定旋转角度，将发票图像及文字识别框旋转至水平方向；截取文字识别框的文字图片，将其输入文字识别模型，得到文字识别结果。本发明通过利用深度学习模型，可以有效处理低质量、旋转和扭曲的发票图像，提高了低质量发票图像的识别准确性和处理效率，同时实现了发票图像的自动拆分、校正和识别，减少了人工干预，提高了处理效率。

技术特征：

1.一种发票图像智能识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的发票图像智能识别方法，其特征在于，所述检测每张发票图像的完整性，包括：

3.如权利要求1所述的发票图像智能识别方法，其特征在于，所述根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，包括：

4.如权利要求1所述的发票图像智能识别方法，其特征在于，所述根据每张发票图像的文字识别框的文字识别置信度确定每张发票图像的旋转角度，包括：

5.如权利要求1所述的发票图像智能识别方法，其特征在于，在将每张发票图像及每张发票图像的文字识别框旋转至水平方向之后，还包括：

6.如权利要求5所述的发票图像智能识别方法，其特征在于，在提取所述印章图像中的文字信息之后，还包括：

7.如权利要求6中所述的发票图像智能识别方法，其特征在于，在提取电子发票的电子票据详细信息之后，还包括：

8.一种发票图像智能识别装置，其特征在于，所述发票图像智能识别装置包括：

9.一种发票图像智能识别设备，其特征在于，所述发票图像智能识别设备包括存储器、处理器以及存储在所述存储器上并可以在所述处理器上运行的发票图像智能识别程序，所述发票图像智能识别程序被所述处理器执行时实现如权利要求1-7中任一项所述的发票图像智能识别方法的步骤。

10.一种计算机存储介质，其特征在于，所述存储介质上存储有发票图像智能识别程序，所述发票图像智能识别程序被处理器执行时实现如权利要求1-7中任一项所述的发票图像智能识别方法的步骤。

技术总结
本发明涉及一种发票图像智能识别方法，通过获取待识别图像，利用第一深度学习模型检测图像中的发票关键点，当图像中包含多张发票时，根据关键点进行拆分，形成多张独立的发票图像；检测每张发票图像的完整性，使用第二深度学习模型检测文字位置，生成文字识别框；根据文字识别框的文字识别置信度确定旋转角度，将发票图像及文字识别框旋转至水平方向；截取文字识别框的文字图片，将其输入文字识别模型，得到文字识别结果。本发明通过利用深度学习模型，可以有效处理低质量、旋转和扭曲的发票图像，提高了低质量发票图像的识别准确性和处理效率，同时实现了发票图像的自动拆分、校正和识别，减少了人工干预，提高了处理效率。

技术研发人员：蒋梦莹
受保护的技术使用者：中国平安财产保险股份有限公司
技术研发日：
技术公布日：2024/12/5