I 自然语言处理技术及产品评估方法 第6部分：客服质检系统 Natural language processing technology and product evaluation method — Part 6:Customer service quality inspection system （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发 布ICS 35.240 CCS L67YD/T×××× —×××× I目 次 前 言 ....................................................................... II 引 言 ...................................................................... III 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 ...................................................................... 2 5 智能质检系统框架 ............................................................ 2 6 指标及评估方法 .............................................................. 3 6.1 通则 ................................................................. 3 6.2 AI核心技术支持能力质检 .............................................. 4 6.3 业务能力检测 ......................................................... 6 YD/T×××× —×××× II 前 言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》 给出的规则起草。 本文件是 《自然语言处理技术及产品评估方法 》系列标准之一 ，该系列标准的结构和名 称如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传系统； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利 ，本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、南京新一代人工智能研究院有限公司、深圳市 腾讯计算机系统有限公司、北京百度网讯科技有限公司、北京中科汇联科技股份有限公司、 北京声智科技有限公司 、思必驰科技股份有限公司 、中国移动通信集团有限公司 、中国电信 集团有限公司、 北京理工大学。 本文件主要起草人 ：张学强、董晓飞、张丹、曹峰、王浩、陆铁文、胡嘉璇、王品、孙 叔琦、耿彪、吴华、李笑如、游世学、吴金妹、陈孝良、李良斌、陈喆、龙梦竹、陈辉龙、 白翠琴、李强、张伟、杨阳、赵龙刚、杨震、孙佩霞、屈少杰。 YD/T×××× —×××× III引 言 0.1 编制目的及标准结构 客服质检系统是指综合应用自然语言处理 、语音处理 、图像视频处理等人工智能核心技 术，对客服过程的通话录音 、在线会话进行自动处理分析和质量检验的软件系统 。以人工智 能技术为基础的智能质检是质检发展过程中一个大的跳跃 ，一方面，通过规范质检流程 ，采 用机器检测，避免主观判断， 解决了质检结果随机性问题 ；另一方面，不管是通话录音还是 会话内容 ，都统一转为文字格式保存检测 ，有利于节约人力成本和储存成本 ，减轻质检人员 工作负担 ，提高了质检效率 。为引导智能质检健康发展 ，营造良好的市场环境 ，拟开展智能 质检标准的制定工作。 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基 础技术，可提供情感分析、机器翻译、对话系统等 NLP应用技术的服务平台，从 基础技术、应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、 对话功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻 译机，从基础功能、 AI核心技术支持能力、安全性与可靠性和附加业务功能等四 个维度对智能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输 出或译文投屏的机器同传系统，从基础功能、 AI核心技术支持能力、工程实现能 力、附加业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种 产品形态的智能客服系统，从基础功能、 AI核心技术支持能力、企业服务能力和 系统成熟度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语 音、自然语言理解、基础能力、质检能力四个维度进行评估。 本文件是“自然语言处理技术及产品评估方法” 系列文件第 6部分：客服质检系统，是 为客服质检系统的研发者和选型者提供评估参考规范。 0.2 相关专利情况说明 本文件的发布机构提请注意，声明符合本文件时， 可能涉及到 6.2.6中如下 1项和呼叫 质检技术相关的专利使用。专利名称如下： CN202010508156.6 ，用户意图理解满意度评估方法、装置、设备和存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 该专利持有人已向本文件的发布机构承诺 ，他愿意同任何申请人在合理且无歧视的条款 和条件下 ，就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 ，相 关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 YD/T×××× —×××× IV地址：北京市海淀区上 地十街 10号百度大厦 2层 请注意除上述专利外 ，本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识 别这些专利的责任。YD/T×××× —×××× 1自然语言处理技术及产品评估方法 第6部分：客服质检系统 1　范围 本文件规定了客服质检系统的评估指标和方法 ，质检对象既包括人工客服 ，也包括外呼 、 呼入、语音导航和在线咨询系统等智能客服 ，主要包括智能质检系统框架 、指标及评估方法 。 本文件适用于指导第三方测评机构对客服质检系统的评估、验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 5271.28-2001 信息技术 词汇 第28部分：人工智能 基本概念与专家系统 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 36464.3-2018 信息技术 智能语音交互系统 第3部分：智能客服 3　术语和定义 下列术语和定义适用于本文件。 3.1　 客服系统 customer service system 企业为用户提供客服服务的系统，传统上由人工完成客户服务的功能。 [来源：GB/T 36464.3-2018 ，3.1] 3.2　 智能客服系统 intelligent customer service system 由语音识别、语义理解、智能搜索、语音合成等部分或全部人工智能技术能力元素组 成的，具有智能能力的客户服务系统。 [来源：GB/T 36464.3-2018 ，3.2] 3.3　 智能客服质检 intelligent customer service quality inspection 利用自然语言处理与语音识别相关技术，对人工座席或智能客服与客户的交互内容进 行检测，通过数据分析，对客服的状态、内容、情绪、语速、语音语调、关键词、对话语 气，以及系统的响应时间、排队情况等进行质检，帮助客服人员改正错误、改善服务质量 的技术。 3.4　 声纹识别 voiceprint recognition YD/T×××× —×××× 2根据语音的