视频理解、模型训练方法、装置、计算机设备及存储介质与流程

本发明涉及视频理解，尤其涉及一种视频理解、模型训练方法、装置、计算机设备及存储介质，本发明可以用于视频搜索、智能家居、在线教育等领域。

背景技术：

1、视频理解是当前计算机视觉研究领域中备受学术界和工业界关注的方向。随着视频行业的高速发展，如何利用人工智能技术更好地对视频内容进行理解变得越来越重要。

2、相关技术中，将视频文件的内容理解任务看作视觉识别和分类任务(visualrecognition and classifications)。

3、然而，相关技术中通过视觉识别和分类的方式得到的视频内容的完整性有待提升。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种视频理解、模型训练方法、装置、计算机设备及存储介质。

2、本发明提出一种视频理解方法，所述方法包括：

3、获取待理解视频文件对应的多个图像文本对；其中，所述图像文本对包括图像帧和所述图像帧对应的文本；

4、将所述多个图像文本对输入至目标视频理解模型中进行内容理解，得到所述待理解视频文件的视频内容；其中，所述目标视频理解模型在训练过程的损失数据包括二元分类损失数据和对比损失数据，所述二元分类损失数据用于训练所述目标视频理解模型预测任意两个图像文本对帧顺序的能力，所述对比损失数据用于训练所述目标视频理解模型预测所述任意两个图像文本对是否属于同一单位分段的能力。

5、在其中一个实施方式，所述任意两个图像文本对包括第一图像文本对、第二图像文本对；所述目标视频理解模型的训练方式，包括：

6、将所述第一图像文本对、所述第二图像文本对输入至初始视频理解模型中，确定所述第一图像文本对和所述第二图像文本对之间帧顺序的预测概率分布数据，以及所述第一图像文本对和所述第二图像文本对之间的第一特征分布数据；其中，所述第一图像文本对和所述第二图像文本对属于同一单位分段；

7、基于所述第一图像文本对和第二图像文本对之间帧顺序的真实概率分布数据、以及所述预测概率分布数据确定所述二元分类损失数据；

8、基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定所述对比损失数据；其中，所述第二图像文本对和所述第三图像文本对属于不同的单位分段；

9、基于所述二元分类损失数据和所述对比损失数据对所述初始视频理解模型进行参数更新，以得到所述目标视频理解模型。

10、在其中一个实施方式，所述初始视频理解模型包括编码网络、排序处理组件；所述预测概率分布数据的确定方式，包括：

11、通过所述编码网络对所述第一图像文本对中的图像帧和文本进行特征提取和特征融合，得到所述第一图像文本对的第一融合特征；

12、通过所述编码网络对所述第二图像文本对中的图像帧和文本进行特征提取和特征融合，得到所述第二图像文本对的第二融合特征；

13、将所述第一融合特征与所述第二融合特征输入至所述排序处理组件中进行二元分类处理，得到所述预测概率分布数据。

14、在其中一个实施方式，所述初始视频理解模型还包括聚类处理组件；所述第一特征分布数据的确定方式，包括：

15、将所述第一图像文本对的第一融合特征与所述第二图像文本对的第二融合特征输入至所述聚类处理组件中进行对比损失学习，得到所述第一图像文本对和所述第二图像文本对之间的第一特征分布数据。

16、在其中一个实施方式，所述第二特征分布数据的确定方式,包括：

17、确定第三图像文本对的第三融合特征；

18、将所述第二融合特征与所述第三融合特征输入至所述聚类处理组件中进行对比损失学习，得到所述第二图像文本对和所述第三图像文本对之间的第二特征分布数据。

19、在其中一个实施方式，所述编码网络包括第一编码网络和第二编码网络；所述第一融合特征和所述第二融合特征的确定方式，包括：

20、通过所述第一编码网络对所述第一图像文本对中的图像帧和文本进行特征提取，得到第一图像特征和第一文本特征；

21、通过所述第一编码网络对所述第二图像文本对中的图像帧和文本进行特征提取，得到第二图像特征和第二文本特征；

22、将所述第一图像特征、所述第一文本特征、第二图像特征、第二文本特征输入至所述第二编码网络中进行交叉融合和特征提取，得到所述第一图像的关联特征分类头、所述第一文本的关联特征分类头、所述第二图像的关联特征分类头、所述第二文本的关联特征分类头；

23、基于所述第一图像的关联特征分类头、所述第一文本的关联特征分类头进行合并，得到所述第一融合特征；

24、基于所述第二图像的关联特征分类头、所述第二文本的关联特征分类头进行合并，得到所述第二融合特征。

25、在其中一个实施方式，所述第一编码网络包括共同训练得到的图像编码分支和文本编码分支；所述通过所述第一编码网络对所述第一图像文本对中的图像帧和文本进行特征提取，得到第一图像特征和第一文本特征，包括：

26、通过所述图像编码分支对所述第一图像文本对中的图像帧进行特征提取，得到所述第一图像特征；

27、通过所述文本编码分支对所述第一图像文本对中的文本进行特征提取，得到所述第一文本特征。

28、在其中一个实施方式，所述单位分段为场景；所述第一图像文本对和所述第二图像文本对属于同一场景；所述对比损失数据的确定方式，包括：

29、基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定场景对比损失数据；其中，所述第二图像文本对和所述第三图像文本对属于不同的场景。

30、在其中一个实施方式，所述单位分段为分镜；所述第一图像文本对和所述第二图像文本对属于同一分镜；所述对比损失数据的确定方式，包括：

31、基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定分镜对比损失数据；其中，所述第二图像文本对和所述第三图像文本对属于不同的分镜。

32、在其中一个实施方式，所述单位分段为场景和分镜；模型训练过程包括第一训练阶段和第二训练阶段，所述第一训练阶段早于所述第二训练阶段；所述对比损失数据的确定方式，包括：

33、在所述第一训练阶段，基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定分镜对比损失数据；其中，所述第一图像文本对和所述第二图像文本对属于同一分镜，所述第二图像文本对和所述第三图像文本对属于不同的分镜；

34、在所述第二训练阶段，基于第四图像文本对和第五图像文本对之间的第三特征分布数据、以及所述第五图像文本对和第六图像文本对之间的第四特征分布数据确定场景对比损失数据；其中，所述第四图像文本对和所述第五图像文本对属于同一场景；所述第五图像文本对和所述第六图像文本对属于不同的场景。

35、本发明提供一种模型训练方法，所述方法包括：

36、将第一图像文本对、第二图像文本对输入至初始视频理解模型中，确定所述第一图像文本对和所述第二图像文本对之间帧顺序的预测概率分布数据，以及所述第一图像文本对和所述第二图像文本对之间的第一特征分布数据；其中，所述第一图像文本对和所述第二图像文本对属于同一单位分段；

37、基于所述第一图像文本对和第二图像文本对之间帧顺序的真实概率分布数据、以及所述预测概率分布数据确定二元分类损失数据；

38、基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定对比损失数据；其中，所述第二图像文本对和所述第三图像文本对属于不同的单位分段；

39、基于所述二元分类损失数据和所述对比损失数据对所述初始视频理解模型进行参数更新，以得到目标视频理解模型。

40、本发明提供一种视频理解装置，所述装置包括：

41、图像文本对获取模块，用于获取待理解视频文件对应的多个图像文本对；其中，所述图像文本对包括图像帧和所述图像帧对应的文本；

42、视频文件理解模块，用于将所述多个图像文本对输入至目标视频理解模型中进行内容理解，得到所述待理解视频文件的视频内容；其中，所述目标视频理解模型在训练过程的损失数据包括二元分类损失数据和对比损失数据，所述二元分类损失数据用于训练所述目标视频理解模型预测任意两个图像文本对帧顺序的能力，所述对比损失数据用于训练所述目标视频理解模型预测所述任意两个图像文本对是否属于同一单位分段的能力。

43、本发明提供一种模型训练装置，所述装置包括：

44、图像文本对输入模块，用于将第一图像文本对、第二图像文本对输入至初始视频理解模型中，确定所述第一图像文本对和所述第二图像文本对之间帧顺序的预测概率分布数据，以及所述第一图像文本对和所述第二图像文本对之间的第一特征分布数据；其中，所述第一图像文本对和所述第二图像文本对属于同一单位分段；

45、分类损失确定模块，用于基于所述第一图像文本对和第二图像文本对之间帧顺序的真实概率分布数据、以及所述预测概率分布数据确定二元分类损失数据；

46、对比损失确定模块，用于基于所述第一图像文本对和第二图像文本对之间的第一特征分布数据、以及所述第二图像文本对和第三图像文本对之间的第二特征分布数据确定对比损失数据；其中，所述第二图像文本对和所述第三图像文本对属于不同的单位分段；

47、模型参数更新模块，用于基于所述二元分类损失数据和所述对比损失数据对所述初始视频理解模型进行参数更新，以得到目标视频理解模型。

48、本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。

49、本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

50、根据本发明上述实施例，在目标视频理解模型的训练过程中，通过二元分类损失数据训练目标视频理解模型预测任意两个图像文本对帧顺序的能力，通过对比损失数据训练目标视频理解模型预测任意两个图像文本对是否属于同一单位分段的能力，在目标视频理解模型完成训练后，将待理解视频文件对应的多个图像文本对输入至目标视频理解模型中进行内容理解，得到待理解视频文件的视频内容；由于目标视频理解模型具有预测任意两个图像文本对帧顺序的能力以及预测任意两个图像文本对是否属于同一单位分段的能力，通过这两个能力目标视频理解模型不仅能够在整体上理解视频文件，而且能够在时序结构上理解图像帧序列的叙事结构，提升对视频文件内容理解的完整性。

51、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种视频理解方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述任意两个图像文本对包括第一图像文本对、第二图像文本对；所述目标视频理解模型的训练方式，包括：

3.根据权利要求2所述的方法，其特征在于，所述初始视频理解模型包括编码网络、排序处理组件；所述预测概率分布数据的确定方式，包括：

4.根据权利要求3所述的方法，其特征在于，所述初始视频理解模型还包括聚类处理组件；所述第一特征分布数据的确定方式，包括：

5.根据权利要求4所述的方法，其特征在于，所述第二特征分布数据的确定方式包括：

6.根据权利要求3所述的方法，其特征在于，所述编码网络包括第一编码网络和第二编码网络；所述第一融合特征和所述第二融合特征的确定方式，包括：

7.根据权利要求6所述的方法，其特征在于，所述第一编码网络包括共同训练得到的图像编码分支和文本编码分支；所述通过所述第一编码网络对所述第一图像文本对中的图像帧和文本进行特征提取，得到第一图像特征和第一文本特征，包括：

8.根据权利要求2至7任一项所述的方法，其特征在于，所述单位分段为场景；所述第一图像文本对和所述第二图像文本对属于同一场景；所述对比损失数据的确定方式，包括：

9.根据权利要求2至7任一项所述的方法，其特征在于，所述单位分段为分镜；所述第一图像文本对和所述第二图像文本对属于同一分镜；所述对比损失数据的确定方式，包括：

10.根据权利要求2至7任一项所述的方法，其特征在于，所述单位分段为场景和分镜；模型训练过程包括第一训练阶段和第二训练阶段，所述第一训练阶段早于所述第二训练阶段；所述对比损失数据的确定方式，包括：

11.一种模型训练方法，其特征在于，所述方法包括：

12.一种视频理解装置，其特征在于，所述装置包括：

13.一种模型训练装置，其特征在于，所述装置包括：

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

技术总结
本发明公开了一种视频理解、模型训练方法、装置、计算机设备及存储介质，在目标视频理解模型的训练过程中，通过二元分类损失数据训练目标视频理解模型预测任意两个图像文本对帧顺序的能力，通过对比损失数据训练目标视频理解模型预测任意两个图像文本对是否属于同一单位分段的能力，在目标视频理解模型完成训练后，将待理解视频文件对应的多个图像文本对输入至目标视频理解模型中进行内容理解，得到待理解视频文件的视频内容；通过该目标视频理解模型不仅能够在整体上理解视频文件，而且能够在时序结构上理解图像帧序列的叙事结构，提升对视频文件内容理解的完整性。

技术研发人员：郑子隆,汪江汇,汪宇轩
受保护的技术使用者：北京通用人工智能研究院
技术研发日：
技术公布日：2024/12/5