(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742934.7 (22)申请日 2022.06.27 (71)申请人 山东省人工智能研究院 地址 250000 山东省济南市历下区科院路 19号 申请人 山东大学　 苏州天瞳威视电子科技有限公司 　 青岛海尔智能技 术研发有限公司 (72)发明人 高赞　龚丽敏　宋健明　张蕊　 陶瑞涛　聂礼强　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 丁奎英 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06F 16/583(2019.01) (54)发明名称 基于多模态智能感知和融合的换衣行人重 识别和检索方法 (57)摘要 本发明提供一种基于多模态智能感知和融 合的换衣行人重识别和检索方法、 系统、 电子设 备及存储介质， 属于计算机视觉技术领域， 通过 对原始的行人图像进行像素采样， 并根据人体解 析图对所获取的像素进行修改获得换衣后的行 人图像； 然后分别对原始的行人图像和换衣后的 行人图像进行2D特征提取， 对点云数据进行3D特 征提取； 最后根据提取的特征进行行人身份识 别。 最终达到了高效、 精准地行人换衣重识别的 技术效果。 权利要求书3页 说明书12页 附图3页 CN 114998934 A 2022.09.02 CN 114998934 A 1.一种基于多模态智能感知和融合的换衣行 人重识别和检索方法， 其特 征在于， 包括： 获取待识别的行人图像， 并根据所述行人图像获取相对应的人体解析图和点云数据； 其中， 所述 点云数据包括 三维坐标信息以及RGB像素信息； 将所述原 始的行人图像、 人体解析图和点云数据输入预训练的换衣行 人重识别模型； 对所述原始 的行人图像分别进行上衣采样和裤子采样， 获取上衣像素和裤子像素， 根 据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣后的行人图 像； 对所述换衣后的行人图像和 原始的行人图像以及所述点云数据分别进行特征提取， 并 将所提取的特 征进行融合获得 行人的身份特 征； 对所述行 人的身份特 征进行分类识别， 确定所述待识别的行 人的身份。 2.如权利要求1所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其 特征在于， 根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣 后的行人图像的方法， 包括： 利用人体解析图获取上衣像素集合和上衣的所有向量表示， 其中， 人体解析图是通过 预训练的人体解析模型获取的， 其语义结果描述为S ＝[S1,S2,...,SB]； 其中， Si的形状为1* H*W； 对原始的行人图像X＝[X1， X2， ...， XB]进行随机处理获取 假设X 的所有向量像素表示为 其中， 表示上衣 部分的像素， M表 示总的像素值， 且， M＝B ·H·W； 对所述随机处理的原始的行人图像进 行语 义分割并获取语义分割结果 根据所获取的语义分割结果获得上衣 的像素向量， 进 而根据所述上衣的像素向量获取 上衣像素集 合 利用所述上衣像素集 合改变所述上衣的所有向量表示； 根据人体解析图获取裤子像素集合和裤子的所有向量表示， 并利用所述裤子像素集合 改变所述裤子的所有向量表示； 通过改变后的上衣的所有向量表示和改变后的裤子的所有向量表示， 获取换衣后的行 人图像。 3.如权利要求2所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其 特征在于， 对所述换衣后的行人图像和原始的行人图像以及所述点云数据分别进 行特征提 取， 并将所提取的特 征进行融合获得 行人的身份特 征的方法， 包括： 对所述换衣后的行人图像和原始的行人图像进行特征提取获取2D特征图， 对所述点云 数据进行 特征提取获取3D特 征图； 将所述2D特征图和所述3D特征图分别输入注意力机制网络， 并获取第三2D特征图和第 三3D特征图； 其中， 根据所述2D特征图通过通道注 意力模块 获取第一2D特征图； 将2D特征图 和第一2D特征图按通道相乘， 通过空间注意力模块获取第二2D特征图； 将2D特征图和第二 2D特征图相乘获得第三2D特征图； 另， 通过通道注 意力模块 获取第一3D特征图； 将 3D特征图 和第一3D特征图按通道相乘， 通过空间注意力模块获取第二3D特征图； 将3D特征图和第二 3D特征图相乘获得第三3D特 征图；权　利　要　求　书 1/3 页 2 CN 114998934 A 2将所获取的第三2D特 征图和第三3D特 征图相加， 获得 行人的身份特 征。 4.如权利要求3所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其 特征在于， 对所述换衣后的行人图像和原始的行人图像进行特征提取通过ResNet ‑50神经网络实 现； 对所述点云数据进行 特征提取通过图卷积网络实现。 5.如权利要求3中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其特征在于， 根据所述2D特 征图通过通道 注意力模块获取第一2D特 征图的方法， 包括： 对所述2D特 征图分别经 过最大池化和平均池化， 形成两个权 重向量； 将所述两个权 重向量经 过权重共享， 映射成每 个通道的权 重； 将映射后的权 重相加， 并进行归一 化处理， 确定通道权 重； 根据所述 通道权重和所述2D特 征图， 获取第一2D特 征图。 6.如权利要求1中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其特征在于， 所述换衣行人重识别模型利用损失函数进行训练约束， 所述损失函数通过以 下公式实现： L＝Lmse+Li+Lt 其中， 所述 Lmse表示均方误差损失， Li表示交叉熵损失， Lt表示三元组损失。 7.如权利要求1中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法， 其特征在于， 所述均方误差损失函数通过以下公式实现： 其中， ||·||表示L2范数， fi表示X的第i个特 征， fi'表示换衣后的特 征。 8.一种基于多模态智能感知和融合的换衣行 人重识别和检索系统， 其特 征在于， 包括： 数据获取单元， 用于获取待识别的行人图像， 并根据所述行人图像获取相对应的人体 解析图和点云数据； 其中， 所述 点云数据包括 三维坐标信息以及RGB像素信息； 特征提取单元， 用于将所述原始 的行人图像、 人体解析图和点云数据输入预训练的换 衣行人重识别模型； 对所述原始的行人图像分别进行上衣采样和裤子采样， 获取上衣像素 和裤子像素， 根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换 衣后的行人图像； 对所述换衣后的行人图像和原始的行人图像以及所述点云数据分别进 行 特征提取， 并将所提取的特 征进行融合获得 行人的身份特 征； 身份识别单元， 用于对所述行人的身份特征进行分类识别， 确定所述待识别的行人的 身份。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行如权利要求 1至7中任一所述的基于多模态智 能感知和融合的换衣行 人重识别和检索方法中的步骤。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处权　利　要　求　书 2/3 页 3 CN 114998934 A 3