[发明专利]一种多模态的学生课堂行为分析系统和方法

摘要

本发明属于计算机技术领域，具体为一种多模态的学生课堂行为分析系统和方法。本发明系统包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块；学生注意力检测模块检测学生的专注率，教师授课内容检测模块检测教师的授课内容，教师授课风格检测模块检测教师的授课风格，相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系；本发明对学生的专注率与音频特征、授课主题之间的相关性进行分析，能帮助教师调整授课风格，提升学生的专注率。

主权项

1.一种多模态的学生课堂行为分析系统，其特征在于，其包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块；学生注意力检测模块检测学生的专注率，教师授课内容检测模块检测教师的授课内容，教师授课风格检测模块检测教师的授课风格，相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系；其中：学生注意力检测模块包括人脸检测子模块和学生视角检测子模块；所述人脸检测子模块，利用MTCNN算法得到初步人脸检测结果后，依次经过颜色直方图过滤和时间序列优化，得到最终的人脸检测结果，用于学生视角检测子模块；所述学生视角检测子模块从人脸检测子模块得到的最终的检测到的人脸提取特征点Landmark，利用迭代法求解PnP，得到人脸的朝向；教师授课内容检测模块包括中文分词子模块和授课主题子模块，所述中文分词子模块利用FudanNLP工具对教师授课内容对其进行中文分词，授课主题子模块对中文分词子模块中文分词后结果利用LDA算法提取授课主题；教师授课风格检测模块包括教师音量提取子模块，教师声音过零率提取子模块和教师语速提取子模块；教师音量提取子模块在教师音频中提取对应的音量特征，教师声音过零率提取子模块在教师授课音频中提取相应的过零率特征，教师语速提取子模块通过计算每分钟教师所讲的词汇数量来计算；相关性分析模块用于教师授课风格和学生专注率的关系分析和教师授课内容和学生专注率的关系分析；通过计算皮尔森相关系数和斯皮尔曼相关系数分析教师授课音频的音量、过零率、语速和学生专注率的关系，从而得到教师授课风格和学生专注率的关系；利用图表的可视化得到授课内容和专注率的的分析结果。