一种学习路径推荐方法及装置、电子设备、存储介质
本技术涉及数据挖掘，特别涉及一种学习路径推荐方法及装置、电子设备、存储介质。
背景技术：
1、随着教育技术的发展和在线学习平台的普及，学习者对于学习资源的获取更加便捷。然而，随着信息时代知识和学习资源的爆炸性增长，也为人们获取新知识带来了新的痛点，即学习者如何在海量繁杂的学习资源中准确获取适合自己需求的学习资源同时以恰当的学习顺序高效的学习。
2、所以当前为学习者推荐学习路径的技术应运而生。当前对于学习路径的方法，主要是针对学习者需要学习的各项知识项目，即要学习的知识点或技能等，按照各项知识项目的前驱后继关系，即知识项目的学习顺序关系，依次确定学习者当前需要学习的知识项目，并将与知识项目具有考察关系的所有练习项目提供给学习者进行练习，即关联的各项两项项目提供给学习者进行练习，从而让其可以学习和掌握相应的知识项目。
3、但是由于这种方式只考虑到的项目间的前驱后继关系以及考察关系，没有考虑到项目难度，这使得推荐的学习路径不够平滑，出现学习路径“低效”的情况，即以相同学习量去学习不同难度的项目，导致花费多余的时间在已经掌握的知识上或者在完成学习量后未能有效掌握知识，以及出现学习路径“颠簸”情况，即在已经掌握难度较高的练习后，还会被推荐处理难度较低的项目进行学习。
技术实现思路
1、基于上述现有技术的不足，本技术提供了一种学习路径推荐方法及装置、电子设备、存储介质，以解决现有技术推荐的学习路径不够平滑的问题。
2、为了实现上述目的，本技术提供了以下技术方案：
3、本技术第一方面提供了一种学习路径推荐方法，包括：
4、根据各个学习项目之间的关联关系，构建项目分层图；其中，所述学习项目包括多个知识项目及其对应的各项练习项目；所述关联关系包括前驱后继关系以及考察关系；
5、通过分层图神经网络聚合所述学习项目间的高阶信息以及难度信息，得到各项所述练习项目的项目表征；
6、通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，并传递给低层智能体；
7、通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值；
8、通过所述低层智能体将当前最新更新的所述当前阶段练习次数作为所述上一阶段练习次数，与当前最新更新的所述用户的当前知识状态反馈给所述高层智能体，以返回执行所述由高层智能体根据用户的当前知识状态和上一阶段练习次数，从项目分层图上的各个目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，直至所述用户掌握各项所述目标知识项目。
9、可选地，在上述的学习路径推荐方法中，所述通过分层图神经网络聚合所述学习项目间的高阶信息以及难度信息，得到各项所述练习项目的项目表征，包括：
10、基于历史学习记录，分别将各项所述学习项目的未正确作答人数与总作答人数的比值，乘以对应的预设难度级别，得到各项所述学习项目的难度；
11、生成知识项目嵌入矩阵和练习项目嵌入矩阵，以及根据各项所述学习项目的难度，生成知识项目难度嵌入矩阵和练习项目难度嵌入矩阵；其中，所述知识项目嵌入矩阵和所述练习项目嵌入矩阵分别为用于表示全量的所述知识项目和所述练习项目；
12、分别针对每项所述知识项目，将所述知识项目嵌入矩阵中所述知识项目对应的项目向量与所述知识项目难度嵌入矩阵中所述知识项目对应的难度向量连接运算结果乘以第一权重矩阵，并与第一偏置项相加，得到各项所述知识项目的结合嵌入向量，以及分别针对每项所述练习项目，将所述练习项目嵌入矩阵中所述练习项目对应的项目向量与所述练习项目难度嵌入矩阵中所述练习项目对应的难度向量连接运算结果乘以第二权重矩阵，并与第二偏置项相加，得到各项所述练习项目的结合嵌入向量；
13、分别针对每项所述练习项目，将所述练习项目的结合嵌入向量与其相邻的各项所述知识项目的结合嵌入向量的均值进行连接运算结果，得到各项所述练习项目的项目表征。
14、可选地，在上述的学习路径推荐方法中，所述通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，包括：
15、通过所述高层智能体将所述用户的当前知识状态与各项所述目标知识项目的编码向量进行连接运算，得到所述高层智能体的当前状态；
16、利用近端策略优化算法，基于所述高层智能体的当前状态，从当前知识项目动态空间中确定出当前知识项目；其中，当前知识项目动态空间由所述项目分层图上的所述目标知识项目组成；
17、利用所述用户的当前知识状态以及自定义正确作答概率，计算得到所述当前初始难度；
18、通过训练好的多层感知机，基于所述用户的当前知识状态、所述上一阶段练习次数、上一阶段的练习限制次数以及所述当前知识项目的难度，计算得到所述当前练习限制次数。
19、可选地，在上述的学习路径推荐方法中，所述通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值，包括：
20、通过所述低层智能体从所述当前知识项目对应的各项所述练习项目中选取，难度为所述当前初始难度的所述练习项目，作为所述当前练习项目，提供给所述用户进行学习；
21、累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态；
22、判断所述累加当前阶段练习次数是否达到所述当前练习限制次数，或所述用户的当前知识状态是否达到状态阈值；
23、若判断出所述累加当前阶段练习次数未达到所述当前练习限制次数，且所述用户的当前知识状态未达到状态阈值，则将所述用户的当前知识状态与所述当前知识项目的编码向量进行连接运算，得到所述低层智能体的当前状态；
24、利用演员评论家算法，基于所述低层智能体的当前状态，从所述当前知识项目对应的各项所述练习项目中选取新的所述当前学习项目，提供给所述用户进行学习，并返回执行所述累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态；
25、若判断出所述累加当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值，则执行所述通过所述低层智能体将当前最新更新的所述当前阶段练习次数作为所述上一阶段练习次数，与当前最新更新的所述用户的当前知识状态反馈给所述高层智能体。
26、本技术第二方面提供了一种学习路径推荐装置，包括：
27、构建模块，用于根据各个学习项目之间的关联关系，构建项目分层图；其中，所述学习项目包括多个知识项目及其对应的各项练习项目；所述关联关系包括前驱后继关系以及考察关系；
28、聚合模块，用于通过分层图神经网络聚合所述学习项目间的高阶信息以及难度信息，得到各项所述练习项目的项目表征；
29、高层智能体模块，用于通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，并传递给低层智能体；
30、低层智能体模块，用于通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值；
31、通过所述低层智能体将当前最新更新的所述当前阶段练习次数作为所述上一阶段练习次数，与当前最新更新的所述用户的当前知识状态反馈给所述高层智能体，以返回执行所述由高层智能体根据用户的当前知识状态和上一阶段练习次数，从项目分层图上的各个目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，直至所述用户掌握各项所述目标知识项目。
32、可选地，在上述的学习路径推荐装置中，所述聚合模块，包括：
33、难度计算模块，用于基于历史学习记录，分别将各项所述学习项目的未正确作答人数与总作答人数的比值，乘以对应的预设难度级别，得到各项所述学习项目的难度；
34、矩阵生成模块，用于生成知识项目嵌入矩阵和练习项目嵌入矩阵，以及根据各项所述学习项目的难度，生成知识项目难度嵌入矩阵和练习项目难度嵌入矩阵；其中，所述知识项目嵌入矩阵和所述练习项目嵌入矩阵分别为用于表示全量的所述知识项目和所述练习项目；
35、融合模块，用于分别针对每项所述知识项目，将所述知识项目嵌入矩阵中所述知识项目对应的项目向量与所述知识项目难度嵌入矩阵中所述知识项目对应的难度向量连接运算结果乘以第一权重矩阵，并与第一偏置项相加，得到各项所述知识项目的结合嵌入向量，以及分别针对每项所述练习项目，将所述练习项目嵌入矩阵中所述练习项目对应的项目向量与所述练习项目难度嵌入矩阵中所述练习项目对应的难度向量连接运算结果乘以第二权重矩阵，并与第二偏置项相加，得到各项所述练习项目的结合嵌入向量；
36、结合模块，用于分别针对每项所述练习项目，将所述练习项目的结合嵌入向量与其相邻的各项所述知识项目的结合嵌入向量的均值进行连接运算结果，得到各项所述练习项目的项目表征。
37、可选地，在上述的学习路径推荐装置中，所述高层智能体模块执行所述通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数时，用于：
38、通过所述高层智能体将所述用户的当前知识状态与各项所述目标知识项目的编码向量进行连接运算，得到所述高层智能体的当前状态；
39、利用近端策略优化算法，基于所述高层智能体的当前状态，从当前知识项目动态空间中确定出当前知识项目；其中，当前知识项目动态空间由所述项目分层图上的所述目标知识项目组成；
40、利用所述用户的当前知识状态以及自定义正确作答概率，计算得到所述当前初始难度；
41、通过训练好的多层感知机，基于所述用户的当前知识状态、所述上一阶段练习次数、上一阶段的练习限制次数以及所述当前知识项目的难度，计算得到所述当前练习限制次数。
42、可选地，在上述的学习路径推荐装置中，所述低层智能体模块执行所述通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值时，用于：
43、通过所述低层智能体从所述当前知识项目对应的各项所述练习项目中选取，难度为所述当前初始难度的所述练习项目，作为所述当前练习项目，提供给所述用户进行学习；
44、累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态；
45、判断所述累加当前阶段练习次数是否达到所述当前练习限制次数，或所述用户的当前知识状态是否达到状态阈值；
46、若判断出所述累加当前阶段练习次数未达到所述当前练习限制次数，且所述用户的当前知识状态未达到状态阈值，则将所述用户的当前知识状态与所述当前知识项目的编码向量进行连接运算，得到所述低层智能体的当前状态；
47、利用演员评论家算法，基于所述低层智能体的当前状态，从所述当前知识项目对应的各项所述练习项目中选取新的所述当前学习项目，提供给所述用户进行学习，并返回执行所述累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态；
48、若判断出所述累加当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值，则执行所述通过所述低层智能体将当前最新更新的所述当前阶段练习次数作为所述上一阶段练习次数，与当前最新更新的所述用户的当前知识状态反馈给所述高层智能体。
49、本技术第三方面提供了一种电子设备，包括：
50、存储器和处理器；
51、其中，所述存储器用于存储程序；
52、所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的学习路径推荐方法。
53、本技术第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的学习路径推荐方法。
54、本技术提供的一种学习路径推荐方法，根据各个学习项目之间的关联关系，构建项目分层图。其中，学习项目包括多个知识项目及其对应的各项练习项目。关联关系包括前驱后继关系以及考察关系。然后通过分层图神经网络聚合学习项目间的高阶信息以及难度信息，得到各项练习项目的项目表征，以通过融合了难度信息的表征去表示练习项目，从而在路径推荐时考虑到项目的难度。然后通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，并传递给低层智能体。接着，通过低层智能体从当前初始难度起，逐步根据用户的当前知识状态，从当前知识项目对应的各项练习项目中选取相应难度的当前练习项目，提供给用户进行学习，并累加当前阶段练习次数以及根据当前练习项目的项目表征以及学习反馈，更新用户的当前知识状态，直至当前阶段练习次数达到当前练习限制次数，或用户的当前知识状态达到状态阈值。通过低层智能体将当前最新更新的当前阶段练习次数作为上一阶段练习次数，与当前最新更新的用户的当前知识状态反馈给高层智能体，以返回执行高层智能体进行下一阶段的学习，从而通过高层智能体和低层智能体，以及两者间的交互，实现了一种难度驱动的，推荐学习的知识项目以及知识项目下的练习项目的方法，进而保证推荐的学习路径更加平滑，提高学习的效率。
技术特征：
1.一种学习路径推荐方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过分层图神经网络聚合所述学习项目间的高阶信息以及难度信息，得到各项所述练习项目的项目表征，包括：
3.根据权利要求1所述的方法，其特征在于，所述通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值，包括：
5.一种学习路径推荐装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，所述聚合模块，包括：
7.根据权利要求5所述的装置，其特征在于，所述高层智能体模块执行所述通过高层智能体根据用户的当前知识状态和上一阶段练习次数，从所述项目分层图上的各项目标知识项目中确定出当前知识项目，以及确定当前初始难度以及当前练习限制次数时，用于：
8.根据权利要求5所述的装置，其特征在于，所述低层智能体模块执行所述通过所述低层智能体从所述当前初始难度起，逐步根据所述用户的当前知识状态，从所述当前知识项目对应的各项所述练习项目中选取相应难度的当前练习项目，提供给所述用户进行学习，并累加当前阶段练习次数以及根据所述当前练习项目的项目表征以及学习反馈，更新所述用户的当前知识状态，直至所述当前阶段练习次数达到所述当前练习限制次数，或所述用户的当前知识状态达到状态阈值时，用于：
9.一种电子设备，其特征在于，包括：
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如权利要求1至4任意一项所述的学习路径推荐方法。
技术总结
本申请公开了一种学习路径推荐方法及装置、电子设备、存储介质，所述方法包括：根据各个学习项目之间的关联关系，构建项目分层图；通过分层图神经网络聚合学习项目间的高阶信息以及难度信息，得到各项练习项目的项目表征；设计难度驱动的，包括两个智能体的分层强化学习框架，其中，高层智能体负责在知识项目层选择下一阶段要学习的知识项目，低层智能体负责在练习项目层选择当前阶段下一步要练习的练习项目；并且，实现了高层智能体确定练习项目的初始难度，并且根据从高层智能体传递的学习项目难度信息来控制学习者的最大练习次数，实现了两个智能体之间的通信机制，从而实现了一种有效的平滑学习路径的推荐方法。
技术研发人员：黄振亚,刘淇,张浩天,沈双宏,徐碧涵
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/12/5