一种基于可视化协同交互技术的多模态模型驱动方法与流程

本发明涉及的一种模型驱动方法，特别是涉及应用于医疗信息领域的一种基于可视化协同交互技术的多模态模型驱动方法。

背景技术：

1、在现代医疗体系中，随着医疗技术的进步和电子医疗记录的普及，医疗数据量呈现爆炸性增长，通过运用多种不同的信息采集、处理和传输方式，以满足不同患者的多样化需求，这些方式包括但不限于文字、图像、声音、生物信号等，它们共同构成了一个复杂而庞大的多模态医疗信息体系。

2、如中国专利cn202410350480.8说明书公开了一种基于多模态大语言模型的远程会诊系统，该系统包括多模态大语言模型模块、数据处理模块、用户界面、通信模块和智能化推荐模块；多模态大语言模型模块用于处理和分析来自不同模态的医疗数据，解析和理解医生和患者的自然语言交流，识别病理图像、解读检验报告和分析患者历史数据，提供自然语言生成的医疗报告和诊断建议，提供全面的诊断支持；数据处理模块用于处理来自各种医疗设备的实时数据，基于最新标准的动态加密技术进行数据加密，保护患者数据，确保数据传输和存储的安全；通信模块用于供医生和患者通过视频会议、即时消息或电子邮件进行互动。

3、由于现有医疗体系庞大而复杂，就诊过程变得越来越复杂，就诊手续越来越多，患者在就诊治疗时容易因不了解就诊过程而造成治疗延迟，另外，因医疗患者众多，医生在就诊治疗时难以兼顾到所有患者的情绪和状况，容易造成医患关系不和谐。

技术实现思路

1、针对上述现有技术，本发明要解决的技术问题是由于现有医疗患者众多、就诊过程复杂等因素，患者容易因不了解就诊过程造成治疗延迟以及医患关系不和谐等问题。

2、为解决上述问题，本发明提供了一种基于可视化协同交互技术的多模态模型驱动方法，包括以下步骤：

3、s1、用户通过输入a医院中相对应的就诊卡号、患者姓名和主治医生姓名，顺利登录a医院的多人交互平台，并进入该主治医生的交流界面；

4、s2、用户通过多模态输入器向多人交互平台输入交流内容，随后由词汇识别模块对交流内容进行特征识别，检测是否存在隐私词汇和消极词汇；

5、当存在与人员相关的隐私词汇时，进行步骤s3，当未识别到隐私词汇以及消极词汇时，进行步骤s4，当不存在隐私词汇但存在与人员或疾病相关的消极词汇时，依次进行步骤s4和步骤s5；

6、s3、通过提示反馈模块对交流内容中的隐私词汇进行标注，并将带有标注的交流内容输回多模态输入器，使用户知晓并重新输入新的交流内容，随后再次进行步骤s2中的特征识别过程；

7、s4、通过输出显示模块将交流内容显示在多人交互平台的界面上，供其他用户查看，实现交互过程；

8、s5、将用户发表的带有消极词汇的交流内容进行收集、记录，用于后期主治医生进行查看，并进行真实性核实过程；

9、当内容具有一定真实性时，可向对应的主治医生发送改善建议，当内容缺乏真实性时，可将核实结果发送给该用户，并向用户表示已进行核实处理。

10、作为本申请的进一步补充，步骤s5中真实性核实过程包括以下步骤：

11、s5-1、在对应主治医生的交流界面中，随机抽取n个用户（n为大于2的正整数），然后将步骤s5中用户发表的带有消极词汇的交流内容转换成问句，以平台私信的方式发送至上述n个用户，等待用户反馈；

12、s5-2、当超出n/n（n为小于n的正整数）的用户所反馈的意见与步骤s5用户发表的交流内容一致时，表明交流内容具有一定真实性时，反之，则缺乏真实性时。

13、作为本申请的进一步补充，多人交互平台包括登录模块、多模态输入模块、语汇识别模块、提示反馈模块、输出显示模块、记录模块和内容核实模块，多模态输入模块与多模态输入器连接，用于接收多模态输入器传送的交流内容，记录模块用于记录用户发表的带有消极词汇的交流内容，内容核实模块用于进行步骤s5中的真实性核实过程。

14、作为本申请的进一步补充，登录模块连接有科室库、患者数据库和医生数据库，科室库中储存有a医院的所有科室信息，患者数据库储存有a医院的所有患者信息，医生数据库储存有a医院的所有在职医生信息。

15、作为本申请的进一步补充，多模态输入器包括终端主体，终端主体的前端转动连接有折叠板，且二者的转动连接位置位于终端主体的下端区域，折叠板的外端固定连接有操作屏，操作屏位于水平状态下折叠板的上端面，终端主体的前端固定连接有摄像头。

16、作为本申请的又一种改进，折叠板远离终端主体的一端转动连接有折叠框，且水平状态下的折叠框位于折叠板的上端，操作屏位于折叠框的框架内侧，折叠框的内端连接有一对卷帘，一对卷帘分别位于竖直状态下折叠框的上下区域。

17、作为本申请的又一种改进的补充，卷帘包括转杆、挡布和动杆，转杆的两端转动连接于折叠框的内部，挡布的一端固定连接于转杆的外端，且另一端与动杆固定连接，折叠框的左右两端均开设有滑道，动杆的两端分别滑动连接于一对滑道的内部，并延伸至外界。

18、作为本申请的又一种改进的补充，卷帘还包括一对螺栓，滑道的内壁开设有与外界想通的多个螺孔，一对螺栓分别螺纹连接于一对螺孔的内部，且螺栓的端部与动杆抵接。

19、作为本申请的又一种改进的补充，终端主体的前端开设有一对竖槽，当折叠框与终端主体表面贴合时，螺栓位于竖槽的内部。

20、作为本申请的又一种改进的补充，终端主体的前端与折叠框的外端均涂设有一对磁性涂层，当折叠框与终端主体表面贴合时，折叠框上的一对磁性涂层分别与终端主体上的一对磁性涂层相贴合吸附。

21、综上所述，本申请创新设置了可多人同时线上交流的多人交互平台，采用就诊卡号、患者和主治医生姓名作为身份验证信息，使用户登录并进入对应主治医生的交流界面，进行在线交流，有效了解到在就诊、住院治疗时手续、注意事项、术后康复情况等，在主治医生因患者众多未全面顾及患者情绪和状况的情况下，通过线上交流可有效减少患者焦虑等负面情绪，同时，通过线上交流，可有效听取到患者的心声，并进行相应就医改善，对医患关系和谐起到有效的促进作用；另外，通过多模态输入器的配合使用，使特殊人群可通过手语或唇语进行线上交流内容的输入，并在输入过程中起到有效的面部隐私防护效果，维护其心理健康。

技术特征：

1.一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：步骤s5中所述真实性核实过程包括以下步骤：

3.根据权利要求1所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述多人交互平台包括登录模块、多模态输入模块、语汇识别模块、提示反馈模块、输出显示模块、记录模块和内容核实模块，所述多模态输入模块与多模态输入器连接，用于接收多模态输入器传送的交流内容，所述记录模块用于记录用户发表的带有消极词汇的交流内容，所述内容核实模块用于进行步骤s5中的真实性核实过程。

4.根据权利要求3所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述登录模块连接有科室库、患者数据库和医生数据库，所述科室库中储存有a医院的所有科室信息，所述患者数据库储存有a医院的所有患者信息，所述医生数据库储存有a医院的所有在职医生信息。

5.根据权利要求1所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述多模态输入器包括终端主体（1），所述终端主体（1）的前端转动连接有折叠板（2），且二者的转动连接位置位于终端主体（1）的下端区域，所述折叠板（2）的外端固定连接有操作屏（3），所述操作屏（3）位于水平状态下折叠板（2）的上端面，所述终端主体（1）的前端固定连接有摄像头（4）。

6.根据权利要求5所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述折叠板（2）远离终端主体（1）的一端转动连接有折叠框（5），且水平状态下的折叠框（5）位于折叠板（2）的上端，所述操作屏（3）位于折叠框（5）的框架内侧，所述折叠框（5）的内端连接有一对卷帘（6），一对所述卷帘（6）分别位于竖直状态下折叠框（5）的上下区域。

7.根据权利要求6所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述卷帘（6）包括转杆（61）、挡布（62）和动杆（63），所述转杆（61）的两端转动连接于折叠框（5）的内部，所述挡布（62）的一端固定连接于转杆（61）的外端，且另一端与动杆（63）固定连接，所述折叠框（5）的左右两端均开设有滑道（501），所述动杆（63）的两端分别滑动连接于一对滑道（501）的内部，并延伸至外界。

8.根据权利要求7所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述卷帘（6）还包括一对螺栓（64），所述滑道（501）的内壁开设有与外界想通的多个螺孔（502），一对所述螺栓（64）分别螺纹连接于一对螺孔（502）的内部，且螺栓（64）的端部与动杆（63）抵接。

9.根据权利要求8所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述终端主体（1）的前端开设有一对竖槽（101），当所述折叠框（5）与终端主体（1）表面贴合时，所述螺栓（64）位于竖槽（101）的内部。

10.根据权利要求6所述的一种基于可视化协同交互技术的多模态模型驱动方法，其特征在于：所述终端主体（1）的前端与折叠框（5）的外端均涂设有一对磁性涂层（7），当所述折叠框（5）与终端主体（1）表面贴合时，折叠框（5）上的一对磁性涂层（7）分别与终端主体（1）上的一对磁性涂层（7）相贴合吸附。

技术总结
本发明涉及应用于医疗信息领域的一种基于可视化协同交互技术的多模态模型驱动方法，通过设置线上多人交互平台，采用就诊卡号、患者和主治医生姓名作为身份验证信息，完成用户登录，并在对应主治医生交流界面下进行在线交流，有效了解到就医治疗时手续、注意事项、术后康复等情况，在主治医生因患者众多而未全面顾及患者情绪和状况的情况下，通过线上交流使患者有效减少焦虑等负面情绪，同时，通过线上交流可有效听取患者的心声，并进行相应就医改善，对医患关系和谐起到有效促进作用，另外，通过多模态输入器的配合使用，使特殊人群可通过手语或唇语进行交流内容输入，并在输入过程中起到有效的面部隐私防护效果，维护其心理健康。

技术研发人员：钱翠荣,刘建辉,夏滨,向书龙,庞静,卢福世,张德祥
受保护的技术使用者：合肥天源迪科信息技术有限公司
技术研发日：
技术公布日：2024/12/5