必威登录网站_西汉姆联必威

必威登录网站已成为一流的线上娱乐城,西汉姆联必威演绎了世界之中的各种生灵的使命与追求,因为目前很多玩家都还在排队等着进行betway必威官网备用下载,点击进入官网。

【必威登录网站】从0开始搭建产品经理AI知识框

2019-10-22 作者:数据解读   |   浏览(182)

原标题:腾讯AI Lab 8篇论文入选,从0到1解读语音交互能力 | InterSpeech 2018

前言: AI PM认知系列第三篇,字数:2300 ,速读需4分钟

雷锋网AI科技评论按:Interspeech 会议是全球最大的综合性语音信号处理领域的科技盛会,首次参加的腾讯 AI Lab共有8篇论文入选,居国内企业前列。这些论文有哪些值得一提的亮点?一起看看这篇由腾讯 AI Lab供稿的总结文章。 另外,以上事件在雷锋网旗下学术频道 AI 科技评论数据库产品「AI 影响因子」中有相应加分。

从早期苹果的Siri,到最近国内的智能音箱大战,越来越多AI语音产品走入了大家的生活。
​近几天我也在思考,相比已有更落地方案的计算机视觉,AI的语音技术在产品应用中的本质是什么?这个思考我也跟一些语音领域的专家探讨过,而其中我个人的理解是:

9 月 2 到 6 日,Interspeech 会议在印度海得拉巴举办,腾讯 AI Lab 首次参加,有 8 篇论文入选,位居国内企业前列。该年度会议由国际语音通信协会 ISCA(International Speech Communication Association)组织,是全球最大的综合性语音信号处理领域的科技盛会。

AI语音技术的本质,通过效率的提升,场景的便捷,重新定义了用户体验。

腾讯 AI Lab 也在业界分享语音方面的研究成果,今年已在多个国际顶级会议和期刊上发表了系列研究成果,涵盖从语音前端处理到后端识别及合成等整个技术流程。比如今年 4 月举办的 IEEE 声学、语音与信号处理国际会议(ICASSP 2018),是由 IEEE 主办、全球最大、最全面的信号处理及其应用方面的顶级学术会议,腾讯 AI Lab 也入选论文 4 篇,介绍了其在多说话人语音识别、神经网络语言模型建模和说话风格合成自适应方面的研究进展。

为什么我这么理解?那我们先来看看语音有哪些天然属性

在研究方面,腾讯 AI Lab 提出了一些新的方法和改进,在语音增强、语音分离、语音识别、语音合成等技术方向都取得了一些不错的进展。在落地应用上,语音识别中心为多个腾讯产品提供技术支持,比如「腾讯听听音箱」、「腾讯极光电视盒子」,并融合内外部合作伙伴的先进技术,在语音控制、语义解析、语音合成(TTS)等方面都达到了业内领先水平。

  • 提升效率:一分钟400字的速度靠打字是无法超越的,所以特定行业,语音的技术可以大大的提升人机的效率。

  • 操作便捷:解放了你的双手,除了一些基本的操作,无需要每个字都操作键盘或点击屏幕了。

  • 学习成本:对于不认字的老人和小孩,可以用语音来进行检索和进行操作,对于不会拼音的人,也可以使用语音识别。

本文将基于智能音箱的基本工作流程介绍腾讯 AI Lab 在语音方面的近期研究进展。

所以,以下AI语音相关的分享,会围绕两个方面:

首先,我们先了解一下音箱语音交互技术链条。

  1. 语音技术:语音识别和语音合成

  2. 语音技术应用和未来思考

必威登录网站 1

1. 语音技术:语音识别和语音合成

智能音箱的最典型应用场景是家庭,在这种场景中用户与音箱设备的距离通常比用户在智能手机上使用语音应用的距离远很多,因此会引入较明显的室内混响、回声,音乐、电视等环境噪声,也会出现多说话人同时说话,有较强背景人声的问题。要在这样的场景中获取、增强、分离得到质量较好的语音信号并准确识别是智能音箱达到好的用户体验所要攻克的第一道难关。

1.1 语音识别:ASK

语音识别(Automatic Speech Recognition)是以语音为研究对象,通过语音信号处理和模式识别让计算机自动识别人类口述语言。
简单来说,就是让机器可以听得懂人话。

其中比较核心的部分是语音听写:就是将语音信息转化为文字信息。
中文语音听写的技术原理,如下:

  1. 说出一段话,比如:「产品经理」,机器收到只是一段声波信号。
  2. 进行信号的预处理,如:降噪,消除回音…等。
  3. 特征提取,如:说了几个字,音调是什么…等。
  4. 通过声学模型匹配,输出“音”:chan2,pin3,jing1,li3。(拼音举例)
  5. 通过语言模型处理,最终得到文字:产品经理。

而这里的特征提取,声学模型语言模型在技术实现上,有两种方法:

  • 传统:隐马尔可夫模型(HMM)
  • 端到端:深度神经网络(DNN)

目前语音识别技术主要是通过DNN实现的,特定场景下最高可以达到97%的识别率

麦克风阵列是这一步最常用的解决方案之一,比如腾讯听听就采用了由 6 个麦克风组成的环形阵列,能够很好地捕捉来自各个方位的声音。

1.2语音合成:TTS

语音合成(Text-To-Speech)是计算机将自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。
简单来说,就是机器讲文字朗读出来。

中文的语音合成技术原理,如下:

  1. 先通过规则把一段文字分词,如:我|爱|产品|经理。
  2. 把这段文字进行韵律的处理,标出是发什么音。
  3. 根据语音库的发音,进行单元的拼接。
  4. 最后就可以播放出这段语音了。

目前主要实现是两种方法:

  • 拼接法:把录音的句子切碎成基本单元存储起来,再根据需要拼接起来。
  • 参数法:通过录音提取波形的参数存储起来,早根据参数转化为波形。

拼接法的优点就是更自然,但是缺点是需要大量的录音,和存储。
参数法的优点就是存储小,但是缺点就是不够自然,听起来就是怪怪的机器发音。
另外谷歌发布的****WaveNet是基于语音网络使用生成算法制作而成的,相对于以前的拼接法、参数法,在声音表现力上更具优势。

此外,语音合成的技术主要体现在四个方面

  • 表现力:不同年龄,性别特征以及语调,语速的表现,个性化。
  • 音质:声音的清晰度,无杂音
  • 复杂度:减少音库的体积,降低运算量及系统开销。
  • 自然度:音律规则,间隔停顿。

目前的语音合成技术相对比较成熟,进一步优化的同时,大家的重点都放在了表现力上,以符合更多的场景应用,满足不同人对个性化的需求。

举个例子:前一段时间,我打车时候看到司机师傅使用高德的语音导航,语音合成用的是一个小朋友的声音,我们就聊了起来,司机师傅说他才刚开始拉活,路不熟,他不喜欢郭德纲的声音,话忒多,他用小朋友的声音,一个是语速慢,另外一个是吐字清晰,不会因为听不清楚走错路。
这个就是在不同场景下用户对于表现力的个性化需求,因人而异。

麦克风采集到声音之后,就需要对这些声音进行处理,对多麦克风采集到的声音信号进行处理,得到清晰的人声以便进一步识别。这里涉及的技术包括语音端点检测、回声消除、声源定位和去混响、语音增强等。另外,对于通常处于待机状态的智能音箱,通常都会配备语音唤醒功能。为了保证用户体验,语音唤醒必须要足够灵敏和快速地做出响应,同时尽量减少非唤醒语音误触发引起的误唤醒。

1.3产品应用中涉及的语音相关技术

目前我们用微信语音或者是Siri时,都属于近场的识别,而智能音箱,车载设备,机器人的语音都属于远场识别,远场识别会受到,距离,噪音,混响…等问题,需要有其他的相关技术来配合完成,提高识别率。

麦克风阵列:由一定数量的麦克风组成,用来对声场的空间特性进行采样并处理的系统。用于在会议室、户外、商场等各种复杂环境下,解决噪音、混响、人声干扰、回声等各种问题。
麦克风阵列又分为:2麦克风阵列,4麦克风阵列,6麦克风阵列,6 1麦克风阵列。
随着麦克风数量的增多,拾音的距离噪声抑制声源定位的角度,以及价,都会上升,所如如何选择要贴合实际应用的场景,找到最佳的方案。

比如:猎豹小雅AI音箱,用的就是6 1麦克风阵列,因为要针对360度的3-5米的场景中使用。而很多家电,比如电视机都是贴墙放置的,2麦克风阵列的180度,就足够使用了。
而两者麦克风阵列技术要求和价格相差数倍。所以对于产品落地来讲,在提供解决方案的时候,选择最优的方案。

语音激活检测:在用微信时候,你会点击语音的按钮,来让语音开始识别。而在远场的时候,没有办法进行相关的操作,所以需要判断什么时候有语音,什么时候没有语音。

语音唤醒:通过关键词来唤醒你的语音设备,比如:嘿~Siri,这时候语音识别才开始工作。
语音唤醒难点在于,唤醒的响应时间功耗要低,唤醒的漏报和误报率……等。

经过麦克风阵列前端处理,接下来要做的是识别说话人的身份和理解说话内容,这方面涉及到声纹识别、语音识别和模型自适应等方面的问题。

2.语音技术应用和未来的思考

目前的语音识别技术,相对成熟应用还在近场语音:

而语音产品方向的未来的挑战:

  • 远场语音:智能家居,车载语音…等
  • 语音理解:与机器交互更“自然”的沟通

未来远场语音的场景比想象的更为复杂,虽然语音识别的相关技术在智能音箱的家居场景下表现的还不错,但家居环境毕竟相对安静可控,但是其他的远场语音就没有这么顺利了。

例如:
车载识别,在开车的环境下太多噪音,发动机的声音,打开车窗的风声,车胎声,路面声音,这些噪音都会影响到语音的识别。
而解决的方法,是要在识别之前,消除掉这些噪音,但这样就会产生一个问题,那么多种声音,机器怎么知道要消除哪些?保留哪些?
现在的方法是怎么做的? 扛着个麦克风,去各个车型里面录噪音,然后把各种车,各种场景下的噪音给机器去学习,让机器分辨出哪些声音是要消除的。但不同环境,路面,不同的汽车发出的声音又都不完全一样,有大量的工作和太多不可控的情况。

将来如果想在更多场景,比如酒吧,体育场,就会更复杂,除了环境音,还有更多人说话,比如“鸡尾酒效应”,所以未来的语音之路,挑战会更多。

语音的理解就涉及到另外一个AI技术了“自然语言处理”,目的是与机器沟通时候,它可以更好的理解你的意思,并给出相对的判断或反馈,避免像现在的聊天机器人出现的所答非所问,上句不接下句的情况,而有关自然语言处理,是一个更大的课题,也是AI目前的主要瓶颈之一,会再下一个分享中具体进行讨论。

以上就是我有关AI语音的分享,是AI PM认知系列的第三篇,如果任何的疑问或建议,欢迎随时沟通探讨。

AI PM认知系列的相关阅读:
第一篇:从0开始搭建产品经理的AI认知体系
第二篇:产品经理的AI知识框架:计算机视觉
第三篇:产品经理的AI知识框架:语音识别与合成

作者:兰枫,前腾讯游戏,新浪微博PM,Elex产品总监,连续创业者。

之后,基于对说话内容的理解执行任务操作,并通过语音合成系统合成相应语音来进行回答响应。如何合成高质量、更自然、更有特色的语音也一直是语音领域的一大重点研究方向。

腾讯 AI Lab 的研究范围涵盖了上图中总结的音箱语音交互技术链条的所有 5 个步骤,接下来将依此链条介绍腾讯 AI Lab 近期的语音研究进展。

1)前端

采集到声音之后,首先需要做的是消除噪声和分离人声,并对唤醒词做出快速响应。

在拾音和噪声消除方面,腾讯 AI Lab 的 Voice Processing(简称 AIVP)解决方案集成了语音检测、声源测向、麦克风阵列波束形成、定向拾音、噪声抑制、混响消除、回声消除、自动增益等多种远场语音处理模块,能有效地为后续过程提供增强过的清晰语音。发表于 Symmetry 的论文《一种用于块稀疏系统的改进型集合-元素比例自适应算法(An Improved Set-membership Proportionate Adaptive Algorithm For A Block-sparse System)》是在回声消除方面的研究。

必威登录网站 2

远场语音处理的各个模块

在语音唤醒方面,腾讯 AI Lab 的 Interspeech 2018 研究《基于文本相关语音增强的小型高鲁棒性的关键词检测(Text-Dependent Speech Enhancement for Small-Footprint Robust Keyword Detection)》针对语音唤醒的误唤醒、噪声环境中唤醒、快语速唤醒和儿童唤醒等问题提出了一种新的语音唤醒模型——使用 LSTM RNN 的文本相关语音增强(TDSE)技术,能显著提升关键词检测的质量,并且在有噪声环境下也表现突出,同时还能显著降低前端和关键词检测模块的功耗需求。

必威登录网站 3

基于文本相关语音增强的关键词检测架构

2)声纹识别

声纹识别是指根据说话人的声波特性进行身份辨识。这种技术有非常广泛的应用范围,比如根据不同家庭用户的偏好定制个性化的应用组合。声纹系统还可用于判断新用户的性别和年龄信息,以便在之后的互动中根据用户属性进行相关推荐。

声纹识别也存在一些有待攻克的挑战。在技术上存在信道失配、环境噪声、短语音、远场等难题,在应用上还有录音冒认、兼容能力、交互设计等挑战。声纹模型还应当具备兼容确认和辨别功能,支持隐式更新和隐式注册,以便随用户使用时间的增长而逐步提升性能。

必威登录网站 4

支持隐式注册的声纹模型的性能随用户使用时长增长而提升

腾讯 AI Lab 除了应用已实现的经典声纹识别算法外(GMM-UBM、GMM/Ivector、DNN/Ivector、GSV),也在探索和开发基于 DNN embedding 的新方法,且在短语音方面已经实现了优于主流方法的识别效果。腾讯 AI Lab 也在进行多系统融合的开发工作——通过合理布局全局框架,使具有较好互补性的声纹算法协同工作以实现更精准的识别。相关部分核心自研算法及系统性能已经在语音顶级期刊上发表。

其中,被 Interspeech 2018 接收的论文《基于深度区分特征的变时长说话人确认(Deep Discriminative Embeddings for Duration Robust Speaker Verification)》提出了一种基于 Inception-ResNet 的声纹识别系统框架,可学习更加鲁棒且更具有区分性的嵌入特征。

必威登录网站 5

同样入选 Interspeech 2018 的论文《从单通道混合语音中还原目标说话人的深度提取网络(Deep Extractor Network for Target Speaker Recovery From Single Channel Speech Mixtures)》提出了一种深度提取网络(如下图所示),可在规范的高维嵌入空间中通过嵌入式特征计算为目标说话人创建一个锚点,并将对应于目标说话人的时间频率点提取出来。

实验结果表明,给定某一说话人一段非常短的语音,如给定该说话人的唤醒词语音(通常 1S 左右),所提出的模型就可以有效地从后续混合语音中高质量地分离恢复出该目标说话人的语音,其分离性能优于多种基线模型。同时,研究者还证明它可以很好地泛化到一个以上干扰说话人的情况。

必威登录网站 6

深度提取网络示意图

3)语音识别

语音识别技术已经经历过长足的发展,现在已大体能应对人们的日常使用场景了,但在噪声环境、多说话人场景、「鸡尾酒会问题」、多语言混杂等方面仍还存在一些有待解决的难题。

腾讯 AI Lab 的语音识别解决方案是结合了说话人特征的个性化识别模型,能够为每位用户提取并保存自己个性化声学信息特征。随着用户数据积累,个性化特征会自动更新,用户识别准确率可获得显著提升。

另外,腾讯 AI Lab 还创新地提出了多类单元集合融合建模方案,这是一种实现了不同程度单元共享、参数共享、多任务的中英混合建模方案。这种方案能在基本不影响汉语识别准确度的情况下提升英语的识别水平。

腾讯 AI Lab 有多篇 Interspeech 2018 论文都针对的是这个阶段的问题。

在论文《基于生成对抗网络置换不变训练的单通道语音分离(Permutation Invariant Training of Generative Adversarial Network for Monaural Speech Separation)》中,研究者提出使用生成对抗网络(GAN)来实现同时增强多个声源的语音分离,并且在训练生成网络时通过基于句子层级的 PIT 解决多个说话人在训练过程顺序置换问题。实验也证明了这种被称为 SSGAN-PIT 的方法的优越性,下面给出了其训练过程示意图:

必威登录网站 7

SSGAN-PIT 的训练过程示意图

论文《使用注意机制和门控卷积网络的单声道多说话人语音识别(Monaural Multi-Talker Speech Recognition with Attention Mechanism and Gated Convolutional Networks)》将注意机制和门控卷积网络(GCN)整合进了研究者之前开发的基于排列不变训练的多说话人语音识别系统(PIT-ASR)中,从而进一步降低了词错率。如下左图展示了用于多说话人语音识别的带有注意机制的 PIT 框架,而右图则为其中的注意机制:

必威登录网站 8

在论文《提升基于注意机制的端到端英语会话语音识别(Improving Attention Based Sequence-to-Sequence Models for End-to-End English Conversational Speech Recognition)》中,研究者提出了两项用于端到端语音识别系统的基于注意的序列到序列模型改进方法。第一项改进是使用一种输入馈送架构——其不仅会馈送语境向量,而且还会馈送之前解码器的隐藏状态信息,并将它们作为解码器的输入。第二项改进基于一种用于序列到序列模型的序列最小贝叶斯风险(MBR)训练的更好的假设集合生成方法,其中在 MBR 训练阶段为 N-best 生成引入了 softmax 平滑。实验表明这两项改进能为模型带来显著的增益。下表展示了实验结果,可以看到在不使用外部语言模型的条件下,新提出的系统达到了比其它使用外部模型的最新端到端系统显著低的字错误率。

必威登录网站 9

论文《词为建模单元的端到端语音识别系统多阶段训练方法(A Multistage Training Framework For Acoustic-to-Word Model)》研究了如何利用更好的模型训练方法在只有 300 小时的 Switchboard 数据集上也能得到具有竞争力的语音识别性能。最终,研究者将 Hierarchical-CTC、Curriculum Training、Joint CTC-CE 这三种模型训练方法结合到了一起,在无需使用任何语言模型和解码器的情况下取得了优良的表现。

另外,在今年 4 月举办的 IEEE ICASSP 2018 上,腾讯 AI Lab 有 3 篇自动语音识别方面的论文和 1 篇语音合成方面的论文(随后将介绍)入选。

在语音合成方面,其中 2 篇都是在用于多说话人的置换不变训练方面的研究。

其中论文《用于单声道多说话人语音识别的使用辅助信息的自适应置换不变训练(Adaptive Permutation Invariant Training With Auxiliary Information For Monaural Multi-talker Speech Recognition)》基于腾讯 AI Lab 之前在置换不变训练(PIT)方面的研究提出使用音高(pitch)和 i-vector 等辅助特征来适应 PIT 模型,以及使用联合优化语音识别和说话人对预测的多任务学习来利用性别信息。研究结果表明 PIT 技术能与其它先进技术结合起来提升多说话人语音识别的性能。

论文《用于单通道多说话人语音识别的置换不变训练中知识迁移(Knowledge Transfer In Permutation Invariant Training For Single-channel Multi-talker Speech Recognition)》则将 teacher-student 训练和置换不变训练结合到了一起,可将单说话人模型中提取出的知识用于改进 PIT 框架中的多说话人模型。实验结果也证明了这种方法的优越性。下图展示了这种加上了知识提取架构的置换不变训练架构。

必威登录网站 10

另外一篇语音识别方面的 ICASSP 2018 论文《使用基于字母的特征和重要度采样的神经网络语言建模(Neural Network Language Modeling With Letter-based Features And Importance Sampling)》则提出了一种 Kaldi 语音识别工具套件的扩展 Kaldi-RNNLM 以支持神经语言建模,可用于自动语音识别等相关任务。

在语音识别方面最后值得一提的是,腾讯 AI Lab 还在《Frontiers of Information Technology & Electronic Engineering》(FITEE)上发表了一篇关于「鸡尾酒会问题」的综述论文《鸡尾酒会问题的过去回顾、当前进展和未来难题(Past Review, Current Progress, And Challenges Ahead On The Cocktail Party Problem)》,对针对这一问题的技术思路和方法做了全面的总结。

4)自然语言处理/理解

在智能音箱的工作流程中,自然语言处理是一个至关重要的阶段,这涉及到对用户意图的理解和响应。腾讯 AI Lab 在自然语言的处理和理解方面已有很多突破性的研究进展,融合腾讯公司多样化的应用场景和生态,能为腾讯的语音应用和听听音箱用户带来良好的用户体验和实用价值。

在将于当地时间 7 月 15-20 日在澳大利亚墨尔本举办的 ACL 2018 会议上,腾讯 AI Lab 有 5 篇与语言处理相关的论文入选,涉及到神经机器翻译、情感分类和自动评论等研究方向。腾讯 AI Lab 之前推送的文章《ACL 2018 | 解读腾讯 AI Lab 五篇入选论文》已对这些研究成果进行了介绍。另外在 IJCAI 2018(共 11 篇,其中语言处理方向 4 篇)和 NAACL 2018(4 篇)等国际顶级会议上也能看到腾讯 AI Lab 在语言处理方面的研究成果。

5)语音合成

对智能音箱而言,语音答复是用户对音箱能力的最直观感知。最好的合成语音必定要清晰、流畅、准确、自然,个性化的音色还能提供进一步的加成。

腾讯在语音合成方面有深厚的技术积累,开发了可实现端到端合成和重音语调合成的新技术,并且在不同风格的语音合成上也取得了亮眼的新进展。下面展示了一些不同风格的合成语音:

必威登录网站 11

在 Interspeech 2018 上,腾讯 AI Lab 的论文《面向表现力语音合成采用残差嵌入向量的快速风格自适应(Rapid Style Adaptation Using Residual Error Embedding for Expressive Speech Synthesis)》探索了利用残差作为条件属性来合成具有适当的韵律变化的表现力语音的方法。该方法有两大优势:1)能自动学习获得风格嵌入向量,不需要人工标注信息,从而能克服数据的不足和可靠性低的问题;2)对于训练集中没有出现的参考语音,风格嵌入向量可以快速生成,从而使得模型仅用一个语音片段就可以快速自适应到目标的风格上。下图展示了该论文提出的残差编码网络的架构(左图)以及其中残差编码器的结构(右图)。

必威登录网站 12

腾讯 AI Lab 在 ICASSP 2018 上也有一篇关于风格适应的论文《基于特征的说话风格合成适应(Feature Based Adaptation For Speaking Style Synthesis)》。这项研究对传统的基于模型的风格适应(如下左图)进行了改进,提出了基于特征的说话风格适应(如下右图)。实验结果证明了这种方法的有效性,并且表明这种方法能在保证合成语音质量的同时提升其疑问语气风格的表现力。

必威登录网站 13

总结

智能语音被广泛认为是「下一代人机交互入口」,同时也能和腾讯公司广泛的应用生态相结合,为用户提供更加方便快捷的服务。腾讯 AI Lab 的技术已能为更多产品提供更高效更智能的解决方案。

腾讯 AI Lab 在语音方面的主攻方向包括结合说话人个性化信息语音识别、前后端联合优化、结合语音分离技术、语音语义的联合识别。

腾讯 AI Lab 未来还将继续探索语音方面的前沿技术,创造能与人类更自然交流的语音应用。也许未来的「腾讯听听音箱」也能以轻松的语调回答这个问题:

「9420,生命、宇宙以及一切的答案是什么?」

注:9420 是「腾讯听听音箱」的唤醒词,而在《银河系漫游指南》中上面这个终极问题的答案是 42,而 9420 的谐音也刚好为「就是爱你」(42=是爱),看起来是个很合适的答案。

雷锋网AI科技评论返回搜狐,查看更多

责任编辑:

本文由必威登录网站发布于数据解读,转载请注明出处:【必威登录网站】从0开始搭建产品经理AI知识框

关键词: 必威登录网站 开发 技术 腾讯 解码