(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111486178.8 (22)申请日 2021.12.07 (71)申请人 北京三快在线科技有限公司 地址 100080 北京市海淀区北四环西路9号 2106-030 (72)发明人 马俊磊　温灏　王兴星　蔡四兵　 谢乾龙　 (74)专利代理 机构 北京曼威知识产权代理有限 公司 11709 代理人 邓超 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 10/04(2012.01) G06N 20/00(2019.01) G06F 16/9535(2019.01) (54)发明名称 一种模型训练的方法、 信息推送的方法及装 置 (57)摘要 本说明书公开了一种模 型训练的方法、 信息 推送的方法及装置， 获取预先标注出的训练样 本， 其中， 该训练样本中包含有用户的历史业务 记录， 以及用户在历史上执行完历史业务记录对 应的历史业务后， 是否对历史业务执行评价操作 的评价操作记录， 而后， 可 以将训练样本输入到 待训练的评价预测模型中， 预测用户执行完历史 业务后， 是否将执行对历史业务的评价操作的操 作结果。 最后， 以最小化该操作结果与用户针对 该历史业务的评价操作记录之间的偏差为优化 目标， 对评价预测模型进行训练。 权利要求书3页 说明书12页 附图3页 CN 114298735 A 2022.04.08 CN 114298735 A 1.一种模型训练的方法， 其特 征在于， 包括： 获取预先标注出的训练样本， 所述训练样本中包含用户的历史业务记录， 以及所述用 户在历史上执行完所述历史业务记录对应的历史业务后， 是否对所述历史业务执行评价操 作的评价操作记录； 将所述训练样本输入到待训练 的评价预测模型中， 预测所述用户执行完所述历史业务 后， 是否对所述历史业 务执行评价操作的操作结果； 以最小化所述操作结果与所述用户针对所述历史业务的评价操作记录之间的偏差为 优化目标， 对所述评价预测模型进行训练。 2.如权利要求1所述的方法， 其特征在于， 将所述训练样本输入到待训练 的评价预测模 型中， 预测所述用户执行完所述历史业务后， 是否对所述历史业务执行评价操作的操作结 果， 具体包括： 将所述训练样本输入到待训练 的评价预测模型中， 确定所述用户针对所述历史业务的 满意度； 根据所述满意度， 预测所述用户执行完所述历史业务后， 是否对所述历史业务执行评 价操作的操作结果。 3.如权利要求2所述的方法， 其特征在于， 将所述训练样本输入到待训练 的评价预测模 型中， 确定所述用户针对所述历史业 务的满意度， 具体包括： 将所述训练样本输入到待训练的评价预测模型中， 以通过所述评价预测模型， 根据所 述训练样本， 确定所述用户的偏好特 征以及所述历史业 务对应的业 务对象的属性特 征； 根据所述偏好特征以及所述业务对象的属性特征， 确定所述用户针对所述历史业务的 满意度。 4.如权利要求3所述的方法， 其特征在于， 在根据 所述偏好特征以及所述业务对象的属 性特征， 确定所述用户针对所述历史业 务的满意度之前， 所述方法还 包括： 若确定所述历史业务为配送业务， 从所述训练样本 中提取出所述历史业务对应配送过 程中的配送特征， 所述配送特征用于表征在执行所述历史业务对应的配送过程时的配送状 况； 根据所述偏好特征以及所述业务对象的属性特征， 确定所述用户针对所述历史业务的 满意度， 具体包括： 根据所述偏好特征、 所述业务对象的属性特征以及所述配送特征， 确定所述用户针对 所述历史业 务的满意度。 5.如权利要求1所述的方法， 其特征在于， 以最小化所述操作 结果与所述用户针对所述 历史业务的评价操作记录之间的偏差为优化 目标， 对所述评价预测模型进行训练之前， 所 述方法包括： 若根据所述操作结果， 确定所述用户将针对历史业务执行评价操作后， 预测所述用户 针对所述历史业 务的评价类型； 以最小化所述操作结果与所述用户针对所述历史业务的评价操作记录之间的偏差为 优化目标， 对所述评价预测模型进行训练， 具体包括： 以最小化所述操作结果与所述用户针对所述历史业务的评价操作记录之间的偏差， 和/或最小化预测出的所述用户针对所述历史业务的评价类型与识别出的所述用户针对所权　利　要　求　书 1/3 页 2 CN 114298735 A 2述历史业 务的实际评价类型之间的偏差为优化目标， 对所述评价预测模型进行训练。 6.如权利要求5所述的方法， 其特征在于， 识别所述用户针对所述历史业务的实际评价 类型， 具体包括： 若确定所述用户针对所述历史业务在实际中执行了评价操作， 对所述用户针对所述历 史业务的评价信息进行语义识别， 确定所述用户针对所述历史业 务的实际评价类型。 7.如权利要求5所述方法， 其特 征在于， 标注训练样本， 具体包括： 若确定所述用户在执行完所述历史业务后， 产生重复执行与 所述历史业务相同类型的 业务的行为， 将所述训练样本标注为 正样本。 8.如权利要求7所述的方法， 其特征在于， 识别所述用户针对所述历史业务的实际评价 类型， 具体包括： 若确定所述用户针对所述历史业务在实际中未执行评价操作， 根据确定出的所述用户 在执行完所述历史业务后， 产生重复执行与所述历史业务相同类型 的业务的行为， 识别所 述用户针对所述历史业 务的实际评价类型。 9.如权利要求5所述的方法， 其特 征在于， 标注训练样本， 具体包括： 根据所述用户在所述历史业务对应的商家执行完所述历史业务后， 在同类的其他商家 执行业务的次数 是否超过设定次数， 对所述训练样本进行 标注。 10.如权利要求9所述的方法， 其特征在于， 识别所述用户针对所述历史业务的实际评 价类型， 具体包括： 若确定所述用户针对所述历史业务在实际中未执行评价操作， 根据所述用户在所述历 史业务对应的商家执行完所述历史业务后， 在同类的其他商家执行业务的次数是否超过设 定次数， 识别所述用户针对所述历史业 务的实际评价类型。 11.一种信息推送的方法， 其特 征在于， 包括： 获取用户的业 务信息以及所述用户的历史业 务记录； 将所述业务信 息以及所述历史业务记录输入到预先训练 的评价预测模型中， 预测所述 用户执行完所述业务信息对应的业务后， 是否对所述业务执行评价操作的操作结果， 所述 评价预测模型 是通过上述权利要求1～10任一项所述的方法训练得到的； 根据所述操作结果， 向所述用户推送评价消息， 以使所述用户基于所述评价消息的提 示， 对所述 业务进行评价。 12.如权利要求11所述的方法， 其特征在于， 根据所述操作结果， 向所述用户推送评价 消息， 具体包括： 若根据所述操作结果， 预测所述用户执行完所述业务信息对应的业务后， 将对所述业 务执行评价操作， 预测所述用户针对所述 业务的评价类型； 将标注有所述评价类型的所述评价消息推送给所述用户， 以使所述用户基于所述评价 类型的提 示， 对所述 业务进行评价。 13.一种模型训练的装置， 其特 征在于， 包括： 获取模块， 用于获取预先标注出的训练样本， 所述训练样本中包含用户的历史业务记 录， 以及所述用户在历史上执行完所述历史业务记录对应的历史业务后， 是否对所述历史 业务执行评价操作的评价操作记录； 预测模块， 用于将所述训练样本输入到待训练的评价预测模型中， 预测所述用户执行权　利　要　求　书 2/3 页 3 CN 114298735 A 3