(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211227563.5 (22)申请日 2022.10.09 (71)申请人 华东光电集成器件研究所 地址 215163 江苏省苏州市虎丘区龙山路 89号 (72)发明人 陶耀东　王旭亚　余飞　孙小进　 刘海亮　钱迟　周彪　王景溢　 (74)专利代理 机构 深圳博敖专利代理事务所 (普通合伙) 44884 专利代理师 石秉楠 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/11(2017.01) G06T 7/269(2017.01) G06T 7/70(2017.01) (54)发明名称 一种应用 于自动驾驶的相机传感器建模方 法 (57)摘要 本发明涉及自动驾驶技术领域， 且公开了一 种应用于自动驾驶的相机传感器建模 方法， 包括 以下步骤， 通过基准相机， 采集测试场景的基准 图像数据， 然后数据实例分割预处理， 需要获得 经过实例分割的RGB图像和深度信息的先验， 将 视觉的信息区域分为稳定静态区域和非稳定的 动态区域， 该过程中， 将从相机传感器获得的图 像， 采用实例分割算法处理后。 本发明通过实例 分割算法预处理得到先验语义信息， 然后分别使 用图像中的静态区域进行相机位姿解算获得初 步的相机的位姿， 使用潜在动态目标区域进行目 标跟踪和得到运动目标的位姿， 其仿真相机所采 集到的仿真图像数据的误差指标， 并通过误差指 标计算相似度， 从而提高仿真相机的验证准确 度。 权利要求书2页 说明书4页 CN 115457215 A 2022.12.09 CN 115457215 A 1.一种应用于自动驾驶的相机传感器建模方法， 其特 征在于， 包括以下步骤： S1、 通过基准相机， 采集测试场景的基准图像数据， 然后数据实例 分割预处理， 需要获 得经过实例分割的RGB图像和深度信息的先验， 将视觉的信息区域分为稳定静态区域和非 稳定的动态区域， 该过程中， 将从相机传感器获得的图像， 采用实例分割算法处理后， 分别 得到掩膜的动态 区域和未被掩膜的静态 区域， 并将其中的多个动态 区域标记序号， 最后将 这两部分区域的图像作为 新的输入分别给到下一阶段的跟踪算法中； S2、 针对测试场景进行三维建模， 得到测试场景的场景模型， 通过仿真相机， 对所述场 景模型进 行图像采集， 得到所述测试场景的仿 真图像数据， 其中， 所述仿 真相机至少包括在 自动驾驶的仿真系统中的相机， 所述仿真相机的相机参数与所述基准相机的相机参数相 同； S3、 基于ORB ‑SLAM2的RGB ‑D的输入的开发框架， 将连续两帧RGB ‑D图像中的静态区域预 先进行轻量级的里程计跟踪， 获得初步粗略的相 机位姿， 然后通过基于直方图统计的评分 算法HBOS进一步剔除由于实例分割失败或者误分割导致的异常点， 最后， 将获得的精确结 果放入后端优化的步骤中； S4、 利用恒速运动模型和区域重叠确定连续帧之间的不同的多个目标的跟踪区域， 利 用针对大运动优化的金字塔LK光流算法获取对应的光流跟踪， 通过直接 法计算出相机坐标 系下的相对的目标位姿， 将运动目标位姿放入后端优化方程中联合 解算； S5、 针对所述仿真图像数据和所述基准图像数据， 确定出误差指标， 依据所述误差指 标， 确定出 所述基准相机和所述仿真相机之间的相似度， 完成仿真相机验证。 2.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述步骤S5中误差指标包括分辨率误差， 针对仿真图像数据和基准图像数据， 确定出误差指 标， 包括对仿真图像数据的像素数量和基准图像数据的像素数量进行差异计算， 得到数量 差值， 将数量差值占据基准图像数据的像素 数量的比例， 确定为分辨 率误差。 3.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述步骤S1中数据实例分割预处理， 其输入采用的传感器为RGB ‑D相机， 其每秒帧数为10帧， 需将传感器所获得RGB图像输入到实例分割网络中， 获得静态区域图像和动态区域图像。 4.根据权利要求2所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述误差指标包括畸变误差， 针对 所述仿真图像数据和基准图像数据， 确定出误差指标， 包括 从仿真图像数据中， 确定出多个仿 真畸变检测区域， 以及从基准图像数据中， 确定出多个基 准畸变检测区域。 5.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述步骤S3中所进行的主要特征采样区域为静态区域， 其所采用的特征提取方法为ORB特征 点， 并采用基于四叉树的网格法均匀采样。 6.根据权利要求4所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述仿真畸变检测区域包括仿 真畸变检测线 条， 针对每个仿 真畸变检测区域计算出仿 真归一 化值。 7.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所 述步骤S5中误差指标包括颜色误差， 针对仿真图像数据和基准图像数据， 确定出误差指标。 8.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法， 其特征在于： 所权　利　要　求　书 1/2 页 2 CN 115457215 A 2述步骤S5中误差指标包括距离误差， 针对仿真图像数据和所述基准图像数据， 确定出误差 指标， 包括基于 仿真图像数据， 计算出仿真相机与场景模型中的虚拟对象的仿真距离 。权　利　要　求　书 2/2 页 3 CN 115457215 A 3