一种基于可穿戴设备和多模态智能分析的学生课堂注意力分析系 统
项目概况
- 成果名称：一种基于可穿戴设备和多模态智能分析的学生课堂注意 力分析系统 一、成果简介 学生上课时的注意力是否集 中是体现学习效率，反映教学质量的重要指标。传统的对学生注意 力的分析主要采用的是课堂观察或量表对照等手段，在信息化、规 范化和智能化等方面存在明显的不足和滞后，缺乏一种长时间和大 范围的监测手段。 针对上述问题，本系统提供一种可实时 自动获取学生注意力状态的基于可穿戴设备和多模态智能分析的 学生注意力分析能力。本系统通过头戴式设备中携带的摄像机和加 速度电子陀螺仪，可以获得佩戴者当前注视方向的视频数据和头部 的姿态信息。基于深度神经网络的多目标检测方法能对视频中的感 兴趣目标进行准确的检测，确定感兴趣目标在佩戴者视场内的位 置；姿态数据则可以实时体现佩戴者头部的姿势和晃动的状态，反 映佩戴者的精神状态。这两种数据可以为计算佩戴者的注意力状态 提供充分的信息，将这两种信息进行融合，就可以得到有意义的佩 戴者的注意力分析结果。本系统一方面有助于家长了解孩子自身课 堂注意力的情况，另一方面也帮助教师在教学过程中掌握学生的整 体状态，以便教师对课堂进行有效调节，提高课堂的教学效率。 二、研究情况 本系统采取的技术方案为： S1、利用头戴 式设备获取学生当前关注视场的彩色视频数据及头部姿态信息；头 戴式设备包括：用于采集彩色视频数据的摄像机、用于采集头部姿 态数据的加速度电子陀螺仪、用于数据传输的无线网络模块和用于为摄像机、加速度电子陀螺仪和无线网络模块供电的电池模块； S2、将获取的彩色视频数据和头部姿态信息进行编码，并通过无线 网络进行传输； S3、多模态智能分析服务器包括 CPU（高性能）、 GPU（高性能）、高速服务器内存、大容量硬盘和高速无线路由器 等设备，多模态智能分析服务器通过无线网络传输获得编码后的数 据，再进行解码，得到学生当前关注视场的彩色视频数据及头部姿 态数据； S4、利用基于深度神经网络的多目标检测器对彩色视频 数据进行目标检测，获得注意力关注对象的检测结果，此处的基于 深度神经网络的多目标检测器采用的是 YOLOv3 模型，包含有 53 个 卷积层，在一些层之间设置了类似与残差网络的快捷链路。在本实 施例中，注意力关注对象包括教师和投影仪幕布两种。通过搜集人 和投影仪幕布两种图像来训练基于深度神经网络的多目标检测器、 实时检测视频中人和投影仪幕布两种目标位置，本发明搜集了大量 的行人和投影仪幕布图像，训练得到可以实现行人和投影仪目标检 测的 YOLOv3 模型作为多目标检测器； S5、融合目标检测结果和 头部姿态数据，得到学生当前注意力分析的结果；头部姿态数据包 括头部当前 3 个姿态角，以及相应的 3 个角速度和 3 个加速度。通 过对上述 9 个值的分析，可以得到当前头部的姿势和晃动的情况。 在视频中设置感兴趣区，判断多目标检测结果是否处于预设的感兴 趣区，可知学生视场的中心是否对准教师或是投影仪幕布，量化抽 象得到一个关注度值。同样，通过学生头部姿态数据，量化抽象得 到一个学生姿态值。经过对关注度值和学生姿态值加权相加后得到 最终的学生注意力值。 S6、经过一段时间的分析统计后，将学生 的注意力分析结果进行显示和上报。 三、应用领域 本 系统可以广泛的应用于中小学和各种教育培训机构，获取学生在课 堂学习中关注的内容和头部的姿势，经过统计分析后形成学生上课 的注意力状态，反馈给教师和家长，帮助教师和家长准确全面地掌 握所有学生在课堂教学中的参与情况。一方面有助于家长了解孩子 自身课堂注意力的情况，另一方面也帮助教师在教学过程中掌握学 生的整体状态，以便教师对课堂进行有效调节，提高课堂的教学效 率。
团队介绍
Copyright @ 2019 新乡科技服务中心 豫ICP备19023816号