(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210078338.3 (22)申请日 2022.01.24 (71)申请人 支付宝(杭州)信息技 术有限公司 地址 310023 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 唐锦阳　都金涛　祝慧佳　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 钱孟清　段登新 (51)Int.Cl. G06F 40/295(2020.01) G06F 16/36(2019.01) G06N 5/02(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 训练实体识别模型的方法及系统和实体识 别方法及系统 (57)摘要 公开了一种用于训练实体识别模型的方法， 包括： 构造训练集； 以及将该训练集中的训练样 本输入到实体识别模型， 以得到该训练样本中的 句子的序列标注预测输出和实体匹配预测输出， 基于该句子的序列标注预测输出和该句子的序 列标注标签确定该句子的序列标注损失； 至少部 分地基于该句子的实体匹配预测输出和该句子 的隐喻实体标签确定该句子的实体匹配损失； 确 定该实体识别模 型的总损失， 该总损失为该序列 标注损失和该 实体匹配损失的加权和； 以及迭代 执行训练以最小化该实体识别模 型的总损失， 从 而得到经训练的实体识别模型。 本申请还涉及相 对应的实体识别方法以及相关系统、 装置和介 质。 本方案能够全面、 高效地识别出包括隐喻实 体在内的感兴趣实体 。 权利要求书3页 说明书18页 附图10页 CN 114492443 A 2022.05.13 CN 114492443 A 1.一种用于训练实体识别模型的方法， 包括： 构造训练集， 其中所述训练集包括多个训练样本d＝{Sinput,XNER,XTER}， 其中Sinput为句 子， XNER为该句子的序列标注标签， XTER为该句子的隐喻实体标签， 所述隐喻实体标签用于表 示该句子的隐喻实体， 其中隐喻实体是 该句子实际指向、 但未 出现在该句子中的实体； 使用所述训练集对所述实体识别模型执行训练， 所述实体识别模型基于经预训练的K ‑ BERT模型， 其中对所述实体识别模型 执行训练包括： 将所述训练集中的训练样本输入到实体识别模型， 以得到该训练样本中的句子的序列 标注预测输出和实体匹配预测输出， 基于该句子的序列标注预测输出和该句子的序列标注标签确定该句子的序列标注损 失Loss_sequence； 至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签确定该句子的 实体匹配损失L oss_match； 确定所述实体识别模型的总损失Loss_total， 所述总损失为所述序列标注损失和所述 实体匹配损失的加权和， 即： Loss_total＝Loss_sequence+α *Loss_match， 其中α指示实体 匹配损失的权 重； 以及 迭代执行训练以最小化所述实体识别模型的总损失， 从而得到经训练的实体识别模 型。 2.如权利要求1所述的方法， 其中与所述句子相关联的知识图谱也被输入到所述实体 识别模型。 3.如权利要求2所述的方法， 其中确定该句子的实体匹配损失L oss_match包括： 使用与所述知识图谱相关联的图神经网络来 生成该句子的隐喻实体向量； 确定所述句子的实体匹配预测输出与该隐喻实体向量之间的向量距离； 以及 确定该句子的实体匹配损失Loss_match， 其中该句子的实体匹配损失Loss_match和该 实体匹配预测输出与该隐喻实体向量之间的向量距离成正比。 4.如权利要求3所述的方法， 其中确定该句子的实体匹配损失L oss_match包括： 至少基于所述知识图谱和该句子的隐喻实体标签来确定该句子的随机实体， 其中所述 随机实体是随机获取的实体； 使用所述图神经网络来 生成该句子的随机实体向量； 以及 至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签和随机实体标 签确定该句子的实体匹配损失Loss_match， 其中该句子的实体匹配损失Loss_ match和该实 体匹配预测输出与该随机实体向量之间的向量距离成反比。 5.如权利要求3所述的方法， 其中确定该句子的实体匹配损失L oss_match包括： 至少基于所述知识图谱和该句子的隐喻实体标签来确定该句子的知识嵌入实体， 该知 识嵌入实体是基于所述知识图谱嵌入到该句子中的不同于该隐喻实体的实体； 使用所述图神经网络来 生成该句子的知识嵌入实体向量； 至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签和知识嵌入实 体标签确定该句子的实体匹配损失Loss_ match， 其中该句子的实体匹配损失Loss_ match和 该实体匹配预测输出与该知识嵌入实体向量之间的向量距离成反比。 6.如权利要求3所述的方法， 其中确定该句子的实体匹配损失L oss_match包括：权　利　要　求　书 1/3 页 2 CN 114492443 A 2至少基于所述知识图谱和该句子的隐喻实体标签来确定该句子的知识嵌入实体和随 机实体， 该知识嵌入实体是基于所述知识图谱嵌入到该句子中的不同于该隐喻实体的实 体， 该随机实体是随机获取的实体； 使用所述图神经网络来 生成该句子的随机实体向量和知识嵌入实体向量； 至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体、 知识嵌入实体和随 机实体来确定该句子的实体匹配损失Loss_ match， 其中该句子的实体匹配损失Loss_ match 和该实体匹配预测输出与该隐喻实体向量之间的向量距离成正比， 和该实体匹配预测输出 与该知识嵌入实体向量之 间的向量距离成反比， 和该实体匹配预测输出与该随机实体向量 之间的向量距离成反比， 且和该知识嵌入实体向量与该随机实体向量之间的向量距离成反 比。 7.如权利要求3 ‑6中任一项所述的方法， 其中所述图神经网络为图卷积网络 。 8.如权利要求3 ‑6中任一项所述的方法， 其中在初始化所述图神经网络时， 使用所述实 体识别模型的K ‑BERT模型的字嵌入来 生成知识图谱中的每 个节点的初始嵌入表示。 9.一种用于实体识别的方法， 包括： 获取待处 理的句子； 使用基于权利要求1 ‑8中任一项的方法训练的实体识别模型来对所述待处理句子进行 处理， 如果所述实体识别模型 的序列标注预测输出中得到实体， 则输出所得到的实体作为 所识别的实体； 如果所述实体识别模型没有识别出实体， 则 输出所述实体识别模型的实体匹配预测输 出； 使用所述实体匹配预测输出在实体向量库中执行检索， 以在所述实体向量库中检索出 与所述实体匹配预测输出相匹配的实体向量； 以及 将与所检索出的实体向量相对应的实体作为所识别的实体。 10.如权利要求9所述的方法， 其中所述实体向量库 是通过对与 所述输入句子相关联的 知识图谱执 行向量化得到的。 11.如权利要求10所述的方法， 其中所述实体向量库是通过图神经模型对所述输入句 子执行向量化得到的， 所述图神经模型在训练所述实体识别模型的同时被迭代更新。 12.如权利要求9所述的方法， 其中使用所述实体匹配预测输出在实体向量库中执行检 索是通过 FAISS库实现的。 13.一种用于训练实体识别模型的系统， 包括： 训练集构造模块， 用于构造训练集， 其中所述训练集包括多个训练样本d＝{Sinput,XNER, XTER}， 其中Sinput为句子， XNER为该句子的序列标注标签， XTER为该句子的隐喻实体标签， 所述 隐喻实体标签用于表示该句 子的隐喻实体， 其中隐喻实体是该句 子实际指向、 但未出现在 该句子中的实体； 以及 实体识别模型训练模块， 用于使用所述训练集对所述实体识别模型执行训练， 所述实 体识别模型基于经 预训练的K ‑BERT模型， 其中所述实体识别模型训练模块包括： 预测模块， 用于将所述训练集中的训练样本输入到实体识别模型， 以得到该训练样本 中的句子的序列标注预测输出和实体匹配预测输出， 损失计算模块， 用于基于该句子的序列 标注预测输出和该句子的序列标注标签确定该权　利　要　求　书 2/3 页 3 CN 114492443 A 3