(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381696.8 (22)申请日 2022.11.07 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 沈锦瑞　林垠　殷保才　胡金水　 殷兵　 (74)专利代理 机构 北京维澳专利代理有限公司 11252 专利代理师 陈变花 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/59(2022.01) G06V 10/778(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多任务的座舱内行为检测方法、 装置以 及设备 (57)摘要 本发明公开了一种基于多任务的座舱内行 为检测方法、 装置以及设备， 座舱内行为检测方 法包括： 接收座舱内的实时图像； 识别所述实时 图像中的人脸区域， 扩大所述人脸区域形成的第 一外轮廓， 并提取扩大后的第一外轮廓所围区域 的图像， 作为输入图像； 将所述输入图像输入多 线索识别模 型， 获得每个目标行为的第一检测结 果； 所述多线索识别模型中， 每个目标行为对应 一个线索； 对每个目标行为的第一检测结果进行 分析， 并判断是否满足提醒条件； 若满足， 则输出 针对所述目标行为的提醒信息。 本发 明既充分利 用了人脸全图语义信息， 降低了误触发率， 又减 少了识别模 型的数量， 大大提高了车机的运行效 率。 权利要求书3页 说明书11页 附图6页 CN 115546875 A 2022.12.30 CN 115546875 A 1.一种基于多任务的座 舱内行为检测方法， 其特 征在于， 包括： 接收座舱内的实时图像； 识别所述实时图像中的人脸区域， 扩大所述人脸区域形成的第一外轮廓， 并提取扩大 后的第一外轮廓所围区域的图像， 作为输入图像； 其中， 所述扩大后的第一外轮廓所围区域 包括与多个目标 行为对应的物体所在的第一区域； 将所述输入图像输入多线索识别模型， 获得每个目标行为的第一检测结果； 所述多线 索识别模型中， 每 个目标行为对应一个线索； 对每个目标行为的第一检测结果进行分析， 并判断是否满足提醒 条件； 若满足， 则输出针对所述目标 行为的提醒信息 。 2.根据权利要求1所述的基于多任务的座舱内行为检测方法， 其特征在于，  所述多线 索识别模型的训练方法包括： 对初始识别模型进行信息融合训练， 获得第一识别模型； 利用所有目标行为的教师模型分别对所述第 一识别模型进行知识蒸馏， 获得所述多线 索识别模型。 3. 根据权利要求2所述的基于多任务的座舱内行为检测方法， 其特征在于，  对初始识 别模型进行信息融合训练， 获得第一识别模型， 具体包括自学习训练， 所述自学习训练包 括: 获取样本图像 中与每个目标行为对应的目标面部部位的关键点信 息， 将每个目标面部 部位的关键点信息形成的第二外轮廓扩大， 形成增强区域， 将所有目标面部部位的增强区 域的图像组合作为第一输入信息； 其中， 扩大后的第二外轮廓所围区域包括与所述增强区 域内的目标面部 部位对应的物体所在的第二区域； 获取样本图像 中与每个目标行为对应的物体所在的第 三区域的图像， 将 获取到的与 所 有目标行为对应的第三区域的图像组合作为第二输入信息； 将所述第一输入信息和所述第二输入信息融合， 获得多 线索图像； 将所述多线索图像和所述样本图像同时输入所述初始识别模型进行训练， 获得第 二识 别模型， 将所述第二识别模型作为所述第一识别模型。 4.根据权利要求3所述的基于多任务的座舱内行为检测方法， 其特征在于，  对初始识 别模型进行信息融合训练， 获得第一识别模型， 还包括互学习训练， 在所述互学习训练中， 利用第三识别模型和所述第二识别模型进 行互学习， 训练完成后的第二识别模型作为所述 第一识别模型； 其中， 所述第三识别模型的输入数据为所述第二输入信息 。 5.根据权利要求4所述的基于多任务的座舱内行为检测方法， 其特征在于， 初始状态 下， 所述第二识别模型的特征提取器和所述第三识别模型的特征提取器的非多线索预训练 参数相同。 6.根据权利要求2所述的基于多任务的座舱内行为检测方法， 其特征在于， 知识蒸馏过 程中， 所述第一识别模型输出的每个目标行为的第二检测结果均与对应的教师模型的输出 结果进行后验概 率分布约束。 7.根据权利要求2或6所述的基于多任务的座舱内行为检测方法， 其特征在于， 所述教 师模型为基于多线索信息的教师模型， 每个目标行为的教师模型对于自身目标行为的预测权　利　要　求　书 1/3 页 2 CN 115546875 A 2效果最佳。 8.根据权利要求7所述的基于多任务的座舱内行为检测方法， 其特征在于， 所述教师模 型的输出 数据为所有目标 行为的检测结果。 9.一种基于多任务的座舱内行为检测装置， 其特征在于， 包括接收模块、 提取模块、 识 别模块、 分析模块以及输出模块； 所述接收模块用于 接收座舱内的实时图像； 所述提取模块用于识别所述实时图像中的人脸区域， 扩大所述人脸区域形成的第 一外 轮廓， 并提取扩大后的第一外轮廓所围区域的图像， 作为输入图像； 其中， 所述扩大后的第 一外轮廓所围区域包括与多个目标 行为对应的物体所在的第一区域； 所述识别模块用于将所述输入图像输入多线索识别模型， 获得每个目标行为的第 一检 测结果； 所述多 线索识别模型中， 每 个目标行为对应一个线索； 所述分析模块用于对每个目标行为的第 一检测结果进行分析， 并判断是否满足提醒条 件； 所述输出模块用于在满足提醒 条件时输出针对所述目标 行为的提醒信息 。 10.根据权利要求9所述的基于多任务的座舱内行为检测装置， 其特征在于， 还包括训 练模块， 所述训练模块包括信息融合训练模块和知识蒸馏模块； 所述信息融合训练模块用于对初始 识别模型进行信息融合训练， 获得第一识别模型； 所述知识蒸馏模块用于利用所有目标行为的教师模型分别对所述第一识别模型进行 知识蒸馏， 获得 所述多线索识别模型。 11.根据权利要求10所述的基于多任务的座舱内行为检测装置， 其特征在于， 所述信 息 融合训练模块包括第一输入信息获取模块、 第二输入信息获取模块、 融合模块以及多信息 训练模块； 所述第一输入信息获取模块用于获取样本图像中与每个目标行为对应的目标面部部 位的关键点信息， 将每个目标面部部位的关键点信息形成的第二外轮廓扩大， 形成增强区 域， 将所有目标面部部位的增强区域的图像组合作为第一输入信息； 其中， 扩大后的第二外 轮廓所围区域包括与所述增强区域内的目标面部 部位对应的物体所在的第二区域； 所述第二输入信息获取模块用于获取样本图像中与每个目标行为对应的物体所在的 第三区域的图像， 将获取到的与所有目标行为对应的第三区域的图像组合作为第二输入信 息； 所述融合模块用于将所述第一输入信息和所述第二输入信息融合， 获得多 线索图像； 所述多信息训练模块用于将所述多线索图像和所述样本图像同时输入所述初始识别 模型进行训练， 获得第二识别模型， 将所述第二识别模型作为所述第一识别模型。 12.根据权利要求11所述的基于多任务的座舱内行为检测装置， 其特征在于， 所述信 息 融合训练模块还包括互学习模块， 所述互学习模块用于执行 互学习训练， 在互学习训练中， 利用第三识别模型和所述第二识别模型进 行互学习， 训练完成后的第二识别模型作为所述 第一识别模型； 其中， 所述第三识别模型的输入数据为所述第二输入信息 。 13.一种基于多任务的座 舱内行为检测设备， 其特 征在于， 包括： 一个或多个处理器、 存储器以及一个或多个计算机程序， 其中所述一个或多个计算机权　利　要　求　书 2/3 页 3 CN 115546875 A 3