一种基于多模态模型的楼宇异常检测数据集生成方法与流程

本发明属于智慧楼宇和人工智能，具体涉及一种基于多模态模型的楼宇异常检测数据集生成方法。

背景技术：

1、目前，智慧楼宇的异常检测主要依赖于传感器监测或基于图像识别的监控系统。监控系统通过安装在楼宇内部的摄像头收集实时图像数据，利用计算机视觉技术对这些图像数据进行处理，以检测和识别异常事件，如烟雾、火灾等。这些处理技术通常会包括移动目标检测、图像分割、特征提取以及模式识别等步骤。一些系统还会使用基于深度学习的算法，比如卷积神经网络（cnn）等进一步提高检测准确性。

2、然而，这些现有技术存在几个问题。首先，高质量的异常事件图像数据集难以获取，因为实际中异常事件并不常见。其次是在实际应用中，异常事件种类多样，现有的数据无法全面覆盖所有可能的异常事件类型，导致系统可能无法有效地识别未见过的异常类型。最后，隐私和数据保护也是现有技术面临的挑战，尤其是涉及到监控图像数据的存储与处理。

3、在数据采集方面，传统的数据增强方法如图像旋转、翻转、裁剪和颜色调整等技术可以在一定程度上富多样化数据集，但可能不足以模拟真实世界中的复杂场景。因此，在异常检测的准确性、鲁棒性以及数据覆盖面上，现有技术仍存在较大的改进空间。

4、为此，设计一种基于多模态模型的楼宇异常检测数据集生成方法，从而克服上述问题。

技术实现思路

1、本发明的目的在于克服现有技术存在的不足，而提供一种基于多模态模型的楼宇异常检测数据集生成方法。本发明可以增强异常检测算法的准确性和鲁棒性，实现对各种异常情况更全面的识别和响应，可以自动产生大量、高质量和多样化的异常图像数据。

2、本发明是通过如下的技术方案予以实现的：一种基于多模态模型的楼宇异常检测数据集生成方法，所述方法包括如下步骤：

3、1）建立多模态大模型；

4、2）收集异常场景文本库，加入至大模型中，作为生成图像数据的基础；

5、3）自动生成图像数据集；

6、4）生成数据集的验证与应用。

7、作为优选：所述步骤1）中建立多模态大模型的方法为采用开源多模态大模型，结合多种场景的图像和文本数据进行微调或训练，以保证模型能够适应智慧楼宇的特定异常场景。

8、作为优选：所述步骤2）收集异常场景文本库，加入至大模型中，作为生成图像数据的基础的具体方法为：通过收集各类楼宇异常情况的详细描述文本，构建一个全面的异常场景文本库，该库涵盖多种异常类型，异常类型包括烟雾、火灾、水浸、非法入侵，作为生成图像数据的基础；该描述文本为网络下载图片、现有的文献、已发生的事件或新闻报道、语音提取的文字文本、视频提取语音后转化的文字文本。

9、作为优选：所述步骤3）自动生成图像数据集的方法为：通过对多模态大模型输入异常检测的场景文本提示词，利用模型生成对应的图像数据。

10、作为优选：所述步骤4）生成数据集的验证和应用具体方法为：

11、1）通过步骤3）会生成多张图像数据；

12、2）将生成的多张图形数据进行初删选，通过过滤算法过滤出不合格的图像，如不清洗，错误的图像；像素异常的图像；

13、3）将其应用于现有智慧楼宇对应的异常检测算法中进行训练和测试。

14、本发明所提供的基于多模态模型的楼宇异常检测数据集生成方法及其系统，与现有的楼宇异常检测数据集获取技术相比，其有益效果如下：

15、1. 数据多样性提升：该系统能够生成大批多样化的异常情况图像，从而提供比实际采集更丰富的训练数据集。

16、2. 异常检测性能增强：由于训练数据的丰富性和多样性，提高了异常检测算法检测智慧楼宇异常事件的准确率和鲁棒性。

17、3. 降低数据采集难度和成本：自动生成数据集的方式能够减少实地采集数据的难度，尤其是危险场景下的数据集采集，降低了成本并提高了数据获取的效率和安全性。

18、4. 加强系统的智能化和自动化：由本系统所生成的数据可以辅助构建更加智能化和自动化的楼宇管理系统，以提高响应速度和处理能力。

技术特征：

1.一种基于多模态模型的楼宇异常检测数据集生成方法，其特征在于：所述方法包括如下步骤：

2.根据权利要求1所述的基于多模态模型的楼宇异常检测数据集生成方法，其特征在于：所述步骤1）中建立多模态大模型的方法为采用开源多模态大模型，结合多种场景的图像和文本数据进行微调或训练，以保证模型能够适应智慧楼宇的特定异常场景。

3.根据权利要求1所述的基于多模态模型的楼宇异常检测数据集生成方法，其特征在于：所述步骤2）收集异常场景文本库，加入至大模型中，作为生成图像数据的基础的具体方法为：通过收集各类楼宇异常情况的详细描述文本，构建一个全面的异常场景文本库，该库涵盖多种异常类型，异常类型包括烟雾、火灾、水浸、非法入侵，作为生成图像数据的基础；该描述文本为网络下载图片、现有的文献、已发生的事件或新闻报道、语音提取的文字文本、视频提取语音后转化的文字文本。

4.根据权利要求1所述的基于多模态模型的楼宇异常检测数据集生成方法，其特征在于：所述步骤3）自动生成图像数据集的方法为：通过对多模态大模型输入异常检测的场景文本提示词，利用模型生成对应的图像数据。

5.根据权利要求1所述的基于多模态模型的楼宇异常检测数据集生成方法，其特征在于：所述步骤4）生成数据集的验证和应用具体方法为：

技术总结
本发明为一种基于多模态模型的楼宇异常检测数据集生成方法，所述方法包括如下步骤：1）建立多模态大模型；2）收集异常场景文本库，加入至大模型中，作为生成图像数据的基础；3）自动生成图像数据集；4）生成数据集的验证与应用。本发明可以增强异常检测算法的准确性和鲁棒性，实现对各种异常情况更全面的识别和响应，可以自动产生大量、高质量和多样化的异常图像数据。

技术研发人员：马亮,李强,李玮,李向阳,陈璐滢
受保护的技术使用者：德清阿尔法创新研究院
技术研发日：
技术公布日：2024/12/5