(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111504849.9 (22)申请日 2021.12.10 (71)申请人 中汽创智科技有限公司 地址 211100 江苏省南京市江宁区秣陵街 道胜利路8 8号 (72)发明人 季栋辉　于波　朱成彦　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 苗芬芬 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06V 10/774(2022.01) (54)发明名称 一种情绪识别方法、 装置、 设备及 介质 (57)摘要 本申请涉及一种情绪识别方法、 装置、 设备 及介质， 本申请通过获取目标对象的目标脸部图 像， 利用特征提取模型对目标脸部图像进行特征 提取， 得到图像特征向量， 将图像特征向量输入 关键点检测模 型， 得到人脸部位上与情绪关联的 人脸关键点的人脸关键点信息， 利用情绪识别模 型对图像特征向量和人脸关键点信息进行情绪 识别处理， 得到目标对象的情绪类别信息， 将图 像特征向量和与情绪相关联的人脸关键点信息 共同作为情绪识别模型的输入， 大大提高了情绪 类别结果的准确性， 提高情绪识别模 型识别处理 的效率。 权利要求书2页 说明书11页 附图5页 CN 114332990 A 2022.04.12 CN 114332990 A 1.一种情绪识别方法， 其特 征在于， 所述方法包括： 获取目标对象的目标脸部图像； 利用特征提取模型对所述目标脸部图像进行 特征提取， 得到图像特 征向量； 将所述图像特征向量输入关键点检测模型， 得到人脸关键点信 息； 其中， 所述人脸关键 点表征人脸部位上与情绪关联的关键点； 利用情绪识别模型对所述图像特征向量和所述人脸关键点信 息进行情绪识别处理， 得 到所述目标对象的情绪类别 信息。 2.根据权利要求1所述的方法， 其特征在于， 所述利用情绪识别模型对所述图像特征向 量和所述人脸关键点信息进行情绪识别处理， 得到所述 目标对象的情绪类别信息之前， 所 述方法还 包括： 根据所述人脸关键点信息， 得到目标情绪 参考信息； 所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处 理， 得到所述目标对象的情绪类别 信息包括： 将所述图像特 征向量和所述目标情绪 参考信息进行拼接， 得到目标 特征向量； 利用所述情绪识别模型对所述目标特征向量进行情绪识别处理， 得到所述目标对象的 情绪类别 信息。 3.根据权利要求2所述的方法， 其特征在于， 所述人脸关键点信 息包括第 一关键点信 息 和第二关键点信息， 其中， 第一关键点和第二关键点 位于目标 人脸部位； 所述根据所述人脸关键点信息， 得到目标情绪 参考信息包括： 根据所述第 一关键点信 息和所述第 二关键点信 息， 得到所述目标人脸部位的情绪参考 信息， 并将所述目标 人脸部位的情绪 参考信息作为所述目标情绪 参考信息。 4.根据权利要求2所述的方法， 其特征在于， 所述人脸关键点信 息包括第 一关键点信 息 和第二关键点信息， 其中， 第一关键点位于第一目标人脸部位， 第二关键点位于第二目标人 脸部位； 所述根据所述人脸关键点信息， 得到目标情绪 参考信息包括： 根据所述第 一关键点信 息和所述第 一目标人脸部位对应的第 一权重， 得到第 一目标人 脸部位的情绪 参考信息； 根据所述第 二关键点信 息和所述第 二目标人脸部位对应的第 二权重， 得到第 二目标人 脸部位的情绪 参考信息； 对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行 整合处理， 得到所述目标情绪 参考信息。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取多个样本数据以及对应数据标签， 所述多个样本数据包括多个样本人脸图像的样 本图像特征向量和样本人脸关键点信息； 所述数据标签为所述样本人脸图像中对象的情绪 类别信息； 将多个所述样本人脸图像的所述样本图像特征向量和所述样本人脸关键点信息输入 预设机器学习模型进 行类别预测处理， 得到所述多个样本人脸图像中对象的情绪类别预测 信息； 基于所述情绪类别预测信息和所述对应数据标签， 训练所述预设机器学习模型， 得到权　利　要　求　书 1/2 页 2 CN 114332990 A 2所述情绪识别模型。 6.根据权利要求1所述的方法， 其特征在于， 所述获取目标对象的目标脸部 图像之前， 所述方法还 包括： 采集所述目标对象在连续时间段内预设数量帧的脸部图像； 从所述预设数量帧的脸部图像中， 得到目标脸部图像。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取所述目标对象的生理信息； 所述利用情绪模型对所述图像特征向量和所述人脸关键点信 息进行情绪识别处理， 得 到所述目标对象的情绪类别 信息包括： 利用所述情绪识别模型对所述图像特征向量、 所述人脸关键点信 息和所述目标对象的 生理信息进行情绪识别处 理， 得到所述目标对象的情绪类别 信息。 8.一种情绪识别装置， 其特 征在于， 所述装置包括： 目标脸部图像获取模块， 用于获取目标对象的目标脸部图像； 特征提取模块， 用于利用特征提取模型对所述目标脸部 图像进行特征提取， 得到 图像 特征向量； 关键点信息确定模块， 用于将所述图像特征向量输入关键点检测模型， 得到人脸关键 点信息； 其中， 所述人脸关键点表征 人脸部位上与情绪关联的关键点； 情绪识别模块， 用于利用情绪识别模型对所述图像特征向量和所述人脸关键点信 息进 行情绪识别处 理， 得到所述目标对象的情绪类别 信息。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至7中任一项所述的情 绪识别方法。 10.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由电 子设备的处理器执行时， 使得所述电子 设备能够执行如权利要求 1至7中任一项 所述的情绪 识别方法。权　利　要　求　书 2/2 页 3 CN 114332990 A 3