(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111511948.X (22)申请日 2021.12.07 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 何志伟　官思伟　赵宾杰　董哲康　 高明煜　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 杨舟涛 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 10/06(2012.01)G06Q 50/04(2012.01) (54)发明名称 一种基于深度学习的电池生产工艺异常波 动检测方法 (57)摘要 本发明公开了一种基于深度学习的电池生 产工艺异常波动检测方法， 本发明提出DAUAD模 型， 结合自编码强大的重构能力和提取特征的能 力， 为了提高输入样本潜在空间表达向量的稳定 性， 本发明增加Encoder_g模块， 对重构样本编 码， 使输入样本的潜在空间表达和重构样本的潜 在空间向量表达尽可能接近， 提高潜在表达空间 向量的稳定性。 有效解决自编码器在特征提取过 程中无法获取输入样本的关键信息的问题， 采用 GUR网络考虑过去的电池生产工序对现在的影 响， 最终实现电池生产过程中多维时间序列的异 常检测。 权利要求书4页 说明书8页 附图1页 CN 114118385 A 2022.03.01 CN 114118385 A 1.一种基于深度学习的电池生产工艺异常波动检测方法， 其特征在于， 该方法具体包 括以下步骤： 1)将电池生产工艺异常波动数据集划分为训练集Xtrain、 验证集Xval、 测试集Xtest， 其中 训练集Xtrain只包含正常的样本， 验证集Xval和测试集Xtest包含正常和异常的样本； 2)构建DAUAD模型， 并使用训练集Xtrain对模型进行训练； DAUAD模型 具体构建步骤如下： DAUAD神经网络具体可编码器Encoder_h、 解码器Decoder_h、 编码器Encoder_g， 解码器 Decoder_g和y_net； 在编码器Encoder_h中， 输入为t ‑1时刻的样本xt‑1， 设计有四层全连接层， 神经元的个 数依次为256、 64、 16、 8， 除最后一层全 连接层以外， 前三层全 连接层均接有Leaky  ReLU非线 性激活函数， 最后一层 使用Tanh非线性激活函数； 为防止模型过拟合， 在前两层全连接层中 加入Dropout， 提高模 型的鲁棒性； 最后一层神经元的输出zt‑1作为潜在空间向量， 潜在空间 向量用于保存输入样本的关键信 息； 其中 表示Encoder_h中的参数， 该过程用下面公式表 示为： 解码器Decoder_h中设计有四层全连接层， 神 经元的个数依次是16、 64、 256， 100， 除最 后一层全连接层外， 前三层均接有SELU非线性激活函数， 最后一层使用Tanh非线性激活函 数， 为防止模型过拟合， 在第二层和第三层中加入Dropout； 最后一层神经元输出为输入样 本的重构样本x ′t‑1； 其中， ε为Dncoder_h的参数， 该 过程用下面公式表示 为： x′t‑1＝Decoder_h(zt‑1， ε )           (2) 编码器Encoder_g与编码器Encoder_h具有相同的结构， 共享所有的参数权重， 编码器 Encoder_g对重构样本x ′t‑1经行编码， 得到x ′t‑1的潜在空间表示z ′t‑1， 表示为： 所述的y_net使用GRU神经网络结构， 以{xt‑L， xt‑L+1， ...， xt‑1}作为输入， 输出最后一层 t‑1时刻隐藏层状态， 串联Enco der_h的输出zt‑1作为全连接层的输入， 输出为预测t时刻输 入样本潜在空间的表达 θ表示y_net的参数， 其中L表示输入序列的长度， 公式表示 为： Decoder_g解码器以t时刻输入样本潜在空间表达 为输入， 解码得到预测t时刻输入 样本Xt， Decoder_g和Decoder_h具有相同的结构和共享所有的参数； 公式表示 为： DAUAD的具体训练过程如下： 前向传播过程中， Encoder_h网络输入t ‑1时刻样本Xt‑1， 得到当前 时刻潜在空间的表达 Zt‑1， 将Zt‑1输入Decoder _h中得到当前时刻的重构输入样本X ′t‑1， 由此计算输入样本数据与 重构样本数据之间的残差， | | ||表示L2范数， 由以下公式表示： 权　利　要　求　书 1/4 页 2 CN 114118385 A 2将重构输入样本X ′t‑1输入Encoder_g， 得到重构样本的潜在空间表达Z ′t‑1， 由此计算输 入样本与重构样本潜在空间表达向量残差， 由以下公式表示： 使用y_net预测t时刻潜在空间表达， 具体过程为将t ‑L至t‑1时刻的样本输入GRU神经 网络中， 得到最后一层隐藏层状态， 将其与Encoder_h的输出串 联， 通过一层全连接层， 全连 接层中神经元的个数为8， 全连接层后接有Tanh非线性激活函数， 预测t时刻潜在空间表达 预测向量 将 输入Decoder_g解码得到t时刻样 本输入的预测值X ′t， 由此计算t时刻的预 测误差， t时刻的预测误差公式表示 为： Lossprex＝||Xt‑X′t|| ＝||Xt‑Decoder_g[y_net(Xt‑L： t‑1， Zt‑1， θ )]||    (12) 故可得总的损失函数为： 其中N表示所有样本总数， w1， w2， w3是三个超参数， 该损失函数中， 第一项表示输入样本 的重构残差， 第二项表示输入样本与重构样本潜在空间表达的残差， 第三项表示预测样本 与实际样本的偏差； 在模型反向传播过程中， 使用Adam优化算法更新Encoder_h、 Decoder_h、 Encoder_g、 Decoder_g和y_net网络的参数， 梯度下降参数 更新公式如下： 其中 表示Encoder _h、 Encoder _g的参数， ε表示Decoder _h、 Decoder _g的参数、 θ表示 y_ net的参数， α， β， γ分别为其对应的学习率； 使用训练集Xtrain的数据， 通过多个网络的联合 训练， 反复多次训练以后， 网络Encoder_h、 Decoder_h、 Encoder_g、 Decoder_g和y_net将趋 于最优解附近； 3)使用验证集Xval用于训练好的模型进行超参数调节， 提出阈值策略， 权衡模型的误报 率和漏检率， 选择最 合适的阈值； 4)使用测试集Xtest测定模型性能和泛化能力。 2.根据权利要求1所述的一种基于深度学习的 电池生产工艺异常波动检测方法， 其特 征在于： 所述 步骤1)具体为： 将原始数据X∈ RN×T＝{x0， x1， x2， ...xT)， 其中N为序列的维度， 取值为100， T为每个序列 的长度， 取值为200000， 按照2∶1∶1比例划分为训练集Xtrain、 验证集Xval和测试集Xtest， 其中 每一个样本包含N个样本点， 即 其中i表示原始数据集中第i个样本； 原 始数据中共200000个样本， 其中训练集Xtrain＝{x0， x1， ...， x99999}共100000个样本， 验证集 Xval＝{x100000， x100001， ...， x149999}共50000个样本， 剩余测试数据集Xtest＝{x150000， x150001， ...， x199999}共50000个样本， 其中仅训练集Xtrain只包含正常样本， 验证集Xval和测试权　利　要　求　书 2/4 页 3 CN 114118385 A 3