一种烹饪教室场景下的智能AI研训示教系统及方法与流程
本发明属于智能研训，特别涉及一种烹饪教室场景下的智能ai研训示教系统及方法。
背景技术：
1、目前职业教育、技能培训等各种人才培训模式正在高速发展中，基于各种细分场景的教培内容则具备不同的场景特征。目前不同职教场景存在共性的问题，即围观式教学问题。教学实训场景缺乏真实感，实训条件不够完善，学生难以在真实工作环境中掌握职业技能。实训设备数量有限，无法满足全体学生同时操作实训的需求，围观式教学导致许多学生不能清晰的观看老师实训的过程。具体到烹饪教室场景下，由于训练存在实时性，老师也无法实时指导每一位学生操作。综上，解决围观式教学问题、针对烹饪教育过程中学生操作进行实时指导是亟待解决的问题。
技术实现思路
1、发明目的：针对上述背景技术中存在的问题，本发明提供了一种烹饪教室场景下的智能ai研训示教系统及方法，在传统多端录播的基础上，针对烹饪实操环节老师无法实时指导的问题，给出一种ai研训示教方法，基于图像和传感器信息对学生的实操练习过程进行分析判断，并实时提醒，有效解决了烹饪实操的无法及时教学的问题。
2、技术方案：一种烹饪教室场景下的智能ai研训示教系统，包括边缘侧视频终端和远程服务器端；所述边缘侧视频终端包括教师端和若干学生端；每个所述边缘侧视频终端包括边缘侧计算终端、摄像头、阵列麦、物联传感模块和显示模块；所述远程服务器端包括课程数据库和ai研训平台；所述课程数据库包括若干条烹饪工艺数据，所述ai研训平台基于烹饪工艺数据，对边缘侧视频终端传输的音视频数据及传感器数据进行实时监测，综合分析，并给出标准化指示命令及对应指导方法。
3、进一步的，所述物联传感模块包括用于测量环境温度的红外传感器和用于测量添加物重量的重力传感器；所述边缘侧视频终端设有用于称重的托盘，所述重力传感器集成于托盘内部。所述边缘侧计算终端接收并处理摄像头、阵列麦和物联传感模块的数据，与远程服务器端通信，并控制显示模块的显示内容。
4、进一步的，所述边缘侧视频终端实时采集烹饪操作视频流，与物联传感模块的传感数据同步传输至ai研训示教平台；教师端实时接收每一路学生端传输的实操视频画面，学生端同步接收教师端传输的示范教学画面。
5、一种烹饪教室场景下的智能ai研训示教方法，包括以下步骤：
6、步骤s1、针对当前课程教学菜品，从课程数据库中选取标准烹饪工艺数据，并加载至ai研训示教平台；远程服务器端进入上课准备；
7、步骤s2、老师进行示范教学演示时，教师端实时传输操作过程的音视频数据及对应物联传感数据至ai研训示教平台；所述ai研训示教平台对老师的操作视频进行特征识别，并结合音频数据识别及传感数据分析，基于操作内容生成若干指示命令，并将指示命令与示范教学画面同步传输至学生端供展示教学；
8、步骤s3、学生进行烹饪实操练习时，将学生端采集的视频图像分别传输至教师端及远程服务器端，同时将各项传感数据传输至ai研训示教平台；所述ai研训示教平台基于指示命令对学生端烹饪实操练习进行监测；当某一路学生端发生操作不当时，ai研训示教平台发出提醒指令至对应学生端；
9、步骤s4、当某一路学生端在连续n段指示命令中累计发出m个提示指令时，由ai研训示教平台通知教师端，老师根据教师端提醒指令重点关注对应学生，必要时进行实地指导；
10、步骤s5、教学完成后，教师端将将标准烹饪操作视频流与指示命令同步上传至远程服务器端，供学生课后复习使用。
11、进一步的，所述步骤s2中ai研训示教平台采集老师实际操作时的各项工艺数据，对应至步骤s1中获取的烹饪工艺数据，生成相应指示命令；所述指示命令包括温度数据、添加物种类、添加物重量和间隔时长；所述间隔时长代表两次添加过程的间隔时间；重复操作，获取指示命令，直至烹饪操作完成；实操完毕后，教师端本地存储当前实操演示视频及生成的指示命令，同时将生成的指示命令传输至学生端显示模块，供学生端实操练习参考。
12、进一步的，所述生成的每一条指示命令中，温度数据、添加物重量和间隔时长均包括指导值和指导区间；所述指导值为老师示范教学时的标准值，指导区间则为对应的烹饪工艺中给出的指导区间；所述学生端显示模块同时显示指导值和指导区间。
13、进一步的，所述步骤s3中，具体判断学生端操作不当的方法包括：
14、（1）在每一段指示命令开始时，获取当前锅内温度。当锅内温度达到温度数据对应指导区间上限后的th1秒内未检测到添加物时发出提醒指令；其中th1为时间阈值；
15、（2）通过图像识别当前添加物种类，并根据学生称重情况综合判断添加物种类和重量；当添加物种类与指示命令不符，或添加物重量与指示命令中添加物重量指导区间上限的差值的绝对值大于重量阈值th2时，发出提醒指令；
16、（3）当两次添加的间隔时长小于等于间隔时长的指导区间下限时，代表添加过早，此时发出提醒指令。
17、本发明采用的技术方案与现有技术方案相比，具有以下有益效果：
18、针对目前烹饪教学过程中学生围观式教学的问题，本发明提供了一种基于学生端、教师端和远程服务器端的多端实时录播教学系统，在对老师的示范教学视频进行实时录播的同时，通过远程服务器端实时分析，并对应烹饪工艺数据，为老师的示范教学行为提供量化的指示命令，供学生参考及远程分析检测。
19、针对学生实操过程中存在的老师无法实时指导的问题，本发明提供了一种基于ai分析的研训示教方法，通过采集传感器及视频信息，与量化的指示命令进行实时比对监测，当发生操作不当时，实时发出提醒指令，针对问题突出的学生端，提醒老师实地指导，提高了教学质量及指导效率。
技术特征：
1.一种烹饪教室场景下的智能ai研训示教系统，其特征在于，包括边缘侧视频终端和远程服务器端；所述边缘侧视频终端包括教师端和若干学生端；每个所述边缘侧视频终端包括边缘侧计算终端、摄像头、阵列麦、物联传感模块和显示模块；所述远程服务器端包括课程数据库和ai研训平台；所述课程数据库包括若干条烹饪工艺数据，所述ai研训平台基于烹饪工艺数据，对边缘侧视频终端传输的音视频数据及传感器数据进行实时监测，综合分析，并给出标准化指示命令及对应指导方法。
2.根据权利要求1所述的一种烹饪教室场景下的智能ai研训示教系统，其特征在于，所述物联传感模块包括用于测量环境温度的红外传感器和用于测量添加物重量的重力传感器；所述边缘侧视频终端设有用于称重的托盘，所述重力传感器集成于托盘内部；所述边缘侧计算终端接收并处理摄像头、阵列麦和物联传感模块的数据，与远程服务器端通信，并控制显示模块的显示内容。
3.根据权利要求1所述的一种烹饪教室场景下的智能ai研训示教系统，其特征在于，所述边缘侧视频终端实时采集烹饪操作视频流，与物联传感模块的传感数据同步传输至ai研训示教平台；教师端实时接收每一路学生端传输的实操视频画面，学生端同步接收教师端传输的示范教学画面。
4.一种烹饪教室场景下的智能ai研训示教方法，应用于权利要求1-3中任一项所述烹饪教室场景下的智能ai研训示教系统，其特征在于，包括以下步骤：
5.根据权利要求4所述的一种烹饪教室场景下的智能ai研训示教方法，其特征在于，所述步骤s2中ai研训示教平台采集老师实际操作时的各项工艺数据，对应至步骤s1中获取的烹饪工艺数据，生成相应指示命令；所述指示命令包括温度数据、添加物种类、添加物重量和间隔时长；所述间隔时长代表两次添加过程的间隔；重复操作，获取指示命令，直至烹饪操作完成；实操完毕后，教师端本地存储当前实操演示视频及生成的指示命令，同时将生成的指示命令传输至学生端显示模块，供学生端实操练习参考。
6.根据权利要求5所述的一种烹饪教室场景下的智能ai研训示教方法，其特征在于，所述生成的每一条指示命令中，温度数据、添加物重量和间隔时长均包括指导值和指导区间；所述指导值为老师示范教学时的标准值，指导区间则为对应的烹饪工艺中给出的指导区间；所述学生端显示模块同时显示指导值和指导区间。
7.根据权利要求6所述的一种烹饪教室场景下的智能ai研训示教方法，其特征在于，所述步骤s3中，具体判断学生端操作不当的方法包括：
技术总结
本发明公开了一种烹饪教室场景下的智能AI研训示教系统，包括边缘侧视频终端和远程服务器端；所述边缘侧视频终端包括教师端和若干学生端；所述远程视频终端包括课程数据库和AI研训平台；所述课程数据库包括若干条烹饪工艺数据，所述AI研训平台基于烹饪工艺数据，对边缘侧视频终端传输的音视频数据及传感器数据进行实时监测；本发明还公开了AI研训示教方法，针对在对老师的示范教学视频进行实时录播的同时，通过远程服务器端实时分析，为老师的示范教学行为提供量化的指示命令，同时利用AI模型实时对比实操行为，并针对操作不当行为发出提醒指令。
技术研发人员：周雪松,杨定高
受保护的技术使用者：江苏欧帝电子科技有限公司
技术研发日：
技术公布日：2024/12/5