(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889770.0 (22)申请日 2022.07.27 (71)申请人 上海数鸣人工智能科技有限公司 地址 200436 上海市 静安区万 荣路1256、 1258号406室 (72)发明人 项亮　裴智晖　 (74)专利代理 机构 上海天辰知识产权代理事务 所(特殊普通 合伙) 31275 专利代理师 吴世华　尹一凡 (51)Int.Cl. G06Q 30/02(2012.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于阴影特征筛选的针对互联网点击率预 测的预测方法 (57)摘要 一种基于阴影特征筛选的针对互联网点击 率预测的预测方法， 其包括数据预处理步骤、 训 练集的生成步骤和所述模型训练与模型建立步 骤； 其中， 训练集的生成步骤包括特征工程的处 理和阴影特征的构造和基于特征阴影的特征筛 选。 因此， 本发明根据特征筛选策略、 是否有每一 个原特征重要性在M次重复后的均值大于阴影特 征的情况出现以及原特征和阴影特征的两者的 分布具是否有显著性差异， 对每一个原特征进行 保留或删除的操作， 将保留的原特征用于模型的 最终训练集和验证集的数据特征； 即本发明通过 构造阴影特征对于原始特征进行筛选， 使筛选后 的原始特征显著降低了树模型的过拟合风险， 提 升了算法的鲁棒性， 并在实际业务中提升点击率 预测结果都具有重要的意 义。 权利要求书2页 说明书9页 附图3页 CN 115293800 A 2022.11.04 CN 115293800 A 1.一种基于阴影特征筛选的针对互联网点击率预测的预测方法， 其特征在于， 包括数 据预处理步骤S1、 训练集的生成步骤S2和模型训练与模型建立 步骤S3； 所述数据预处 理步骤S1包括如下步骤： 步骤S11： 获取N个用户的原始数据信息， 并从所述用户的原始数据信息提取原始特征 信息； 其中， 所述原始特征信息包括用户ID、 用户所在省份、 用户所在 城市、 用户访问DPI、 用 户访问时间(频度)、 设备类型和/或用户是否点击特征； 其中， 所述用户所在省份、 用户所在 城市、 和用户访问D PI为类别特 征， 所述用户访问时间为连续特 征， 所述N大于等于2； 步骤S12： 对所述用户的原 始特征信息进行异常检测与处 理步骤； 步骤S13： 通过独热编码对类别特征进行处理， 根据业务需求及求解模型选择进行归一 化后梯度下降处 理， 或利用Ran kGauss方法对连续特 征进行调整样本分布处 理； 所述训练集的生成步骤S2包括特征工程的处理步骤S21和阴影特征的构造步骤S22和 基于特征阴影的特 征筛选步骤S23； 步骤S21具体包括如下步骤： 步骤S211： 用户访问D PI处理步骤， 建立用户ID与用户访问D PI的特征列； 步骤S212： 采用通过独热编码对类别特 征进行处 理； 步骤S213： 连续特 征进行数值型特征改造处 理； 步骤S214： 进行 特征筛选和特征构造， 以形成新的特 征； 步骤S215： 执 行连续特征离散化处理； 步骤S22阴影特征的构造具体包括如下步骤： 对连续特征和离散化后的连续特征与类别特征构造对应的阴影特征； 将训练数据集的 训练数据原特 征和获得的阴影特 征拼接， 得到2倍于所述训练数据原特 征M的混合特 征。 步骤S23具体包括如下步骤： 步骤S231： 形成对每一个原特征和其对应的阴影特征的M个特征重要性的分布情况； 根 据特征筛选策略、 是否有每一个原特征重要性在M次重复后的均值大于阴影特征 的情况出 现以及原特征和阴影特征的两者的分布具是否有显著性差异， 对每一个原特征进 行保留或 删除的操作； 步骤S232： 将保留的原特征作为模型的最终训练集和验证集数据的特征； 即使用保留 下来的原特 征作为基于树 算法的神经网络模型的输入； 所述模型训练与模型建立 步骤S3包括： 步骤S31： 建立基于树算法的神经网络初始化模型， 使用 保留下来的原始数据的原特 征， 用所述训练集中的经过处理的原始数据， 以是否点击作为训练标签， 获得每个训练样本 是否点击的输出概 率； 步骤S32， 将所述新的训练集中的每一个样本对基于树算法的神经网络模型进行训练 和验证， 得到参数优化后的所述神经网络模型， 并使用验证集进 行验证， 得到最终的基于树 算法的预测网络模型。 2.根据权利要求1所述的预测方法， 其特征在于， 所述步骤S31建立基于树算法的初始 化模型为梯度提升决策树模型， 其实现方式包括XGBo ost或lightGBM。 3.根据权利要求1所述的预测方法， 其特 征在于， 所述特 征筛选策略包括： ①、 将特征重要性均值小于其对应的阴影特征的原特征直接一起从数据集中删除， 无权　利　要　求　书 1/2 页 2 CN 115293800 A 2论二者是否具有显著性差异； ②、 对于特征重要性均值大于其对应的阴影特征的原特征， 使用曼 ‑惠特尼U检验来判 断二者分布是否具有显著性差异； 如果所选择的原特征其重要性均值显著大于对应阴影特 征的重要性， 则保留， 否则， 将原特 征和其对应的阴影特 征直接一 起从数据集中删除。 4.根据权利要求1所述的预测方法， 其特 征在于， 还 包括预测步骤S4， 其具体包括： 步骤S41： 获取拟对营销活动点击预测的用户群体和所述用户群体的用户原始数据信 息， 并从所述用户原始数据信息提取原始特征信息； 其中， 所述原始特征信息包括用户ID、 用户所在省份、 用户所在城市、 用户访问DPI、 用户访问时间、 设备类型和 /或用户是否点击 特征； 其中， 所述用户所在省份、 用户所在城市、 和用户访问DPI为类别 特征， 所述用户访问 时间为连续特 征， 所述N大于等于2； 步骤S42： 对每一个所述用户的原始数据信息进行异常检测与处理步骤； 通过独热编码 对类别特征进行处理， 根据业务需求及求解模型选择进行归一化后梯度下降处理， 或利用 RankGauss方法对连续特 征进行调整样本分布处 理； 步骤S43： 对所述用户的原始数据信息进行特征筛选和特征构造， 以形成新的特征； 将 连续特征根据多个阈值来进行离散化； 对每个特征都通过随机重排的方式完成对应的阴影 特征的构 造， 根据特征筛选策略、 是否有每一个原特征重要性在M次重复后的均值大于阴影 特征的情况出现以及原特征和阴影特征的两者的分布具是否有显著 性差异， 对每一个原特 征进行保留或删除的操作； 步骤S44： 提供建立训练好的梯度提升决策树模型， 依次输入将具有保留下来原特征的 所述用户原始数据信息， 得到拟对营销活动点击预测的用户群体中所有所述用户的预测 值； 其中， 所述用户的模型 预测值为所述用户的点击意愿度。 5.根据权利要求 4所述的预测方法， 其特 征在于， 所述模型 预测步骤S4还 包括： 步骤S45： 根据实际投放需求， 选择全部或部分所述用户的模型预测值集中点击意愿度 为1的用户进行精准营销的任务。权　利　要　求　书 2/2 页 3 CN 115293800 A 3