“人类与虚拟世界之间的连接与沟通。也会成为元宇宙基础设施建设的重要一环，必然要9游会j9通过 人机交互技术来完成，其实我们所做的事情最终会在元宇宙中体现出来。” 在CNCC大会前AI科技评论的专访中，张晴晴说道。

第十八届中国计算机大会（ CNCC 2021）将于10月28日-30日在深圳国际会展中心举行、国家超级计算深圳中心承办（深圳云计算中心），香港中文大学（深圳）协办，是中国计算领域首屈一指的年度盛会，CNCC由中国计算机学会（CFF）主办。

在111多场技术论坛中，创始人兼CEO张晴晴联合产学各界大咖承办了一场【人机交互技术的机遇与挑战】分论坛，AI科技评论注意到。提到“人机交互”难免会让人想到最近风靡全球的一个新概念——元宇宙（MetaVerse）。

在1992年科幻小说《雪崩》中，且相互影响、始终在线的虚拟世界，又平行于现实世界，元宇宙被描述为一个脱胎于现实世界。“元宇宙并非遥不可及的人类幻象，随着人机交互技术的发展，也许未来人类能够在虚拟世界与真实世界之间自由穿梭”。张晴晴告诉AI科技评论，元宇宙的爆火也是一个契机，之所以在CNCC大会上承办此次论坛。

“无论是真实世界。未来人机交互技术终究会覆盖到人类生活的所有场景中”，还是虚拟世界。希望9游会j9通过 这场论坛让更多人了解人机交互技术的发展现状、为人机交互的未来发展拓展出更多的思路，也希望9游会j9通过 产学结合的交流平台。

AI科技评论了解到、本次论坛邀请中科院声学所研究员、博士生导师颜永红；创始人兼CEO张晴晴；美的集团IoT副总裁兼CTO向江旭；阿里巴巴达摩院语音实验室田彪、香港中文大学（深圳）数据科学学院教授宋彦出席，四位产学专家将就人机交互、智能语音技术的应用、对话式AI技术、语料库建设、多模态语音交互技术、自然语言处理等重点议题作主题报告。

作为论坛主席，张晴晴也将带来一场题为《多语种对话式AI技术及语料库建设》的主旨演讲，和与会嘉宾分享对话式AI技术的机遇以及语料库建设成果。

在论坛开始前、AI科技评论有幸采访了张晴晴，与她聊了聊语音交互技术当前的机遇与挑战。

语音交互技术视角下的对话式AI

在张晴晴看来、人机交互也好，虚拟世界也好，所有的 AI 要解决的终极问题是人的情感诉求。“人与机器之间的交互不应该只是一问一答的简单对话或者命令控制。识别人的情感需求并做出相应的反馈”，而是要理解语言的上下文。

对话式的交互场景在我们的日常生活中无处不在。就目前的落地场景来看、通常会命令智能设备“打开空调”，例如，自然而真实的情感表达可能无法被AI所理解，并做出调低温度等反馈动作，当我们感觉室内气温很高时，人机对话模式仍处在机械、呆板的初级阶段，而不是说一声“好热呀”。

“对话式AI的精髓是让人类能够随心所欲地表达”，张晴晴强调。在技术层面，对话式 AI 涉及语音识别、自然语言理解和语音合成等核心技术。想要9游会j9通过 这些技术实现人和机器之间更自然的对话，张晴晴谈了两点技术挑战：

一是个体语言体系的差异化、每个人的语言表达都是独特的，由于所处地域、文化、教育背景的不同，这种个性化在人与人之间的沟通中都难免出现理解偏差，更何况是一台机器。对于AI而言。中文不是一种语言，而是13亿种语言。

二是对话式口语常常会有语序颠倒、犹豫、迟疑产生的停顿、也不可避免会出现语句打断、抢话、交叠音等问题，在复杂的多人交互场景中，这些语音特征为 AI 建模带来了很大困难。

在张晴晴看来、真实的对话数据和多语种语料库建设是解决上述问题的关键。“当前行业提供的大部分人工智能数据都以朗读式训练数据为主，才能让机器像人一样理解自然语言”，而人与人自然的对话式数据对训练对话式 AI 有更加关键的作用；我们需要为机器注入知识图谱、中文、方言、外语等多种语料。

据悉，涵盖超过60种语言，既有英语、日语等常用语种，已拥有超过20万小时数据产品，也提供马来语、泰语、印尼语等特色语种。张晴晴于2016年创办人工智能数据公司。包括数据的定向采集、数据的处理、标签化，智能出行、智能家居、智能社交、智慧终端等领域提供数据服务，面向智慧金融，以及高效的数据处理工具等。在她看来，数据好比原油，数据是算法的食粮，只有经过清洗、分类、标注、质检和筛选等结构化过程，才能用于AI模型训练，“人工智能三驾马车中。”

在本次主题报告中，张晴晴将从对话式AI出发，解决非母语发音的插入语问题，如何9游会j9通过 双语声学建模、发音词典如何构建双语识别系统，以及介绍多语种语料库建设对AI识别率提升起到积极的作用，探讨对话式口语交互为语音识别带来哪些挑战。

值得关注的是、为了满足日益多样化的场景需要，多模态取代单一人机交互成了产学界普遍关注的新方向。所谓多模态是指融合视觉、听觉、触觉、嗅觉甚至味觉的交互方式。其表达效率和信息都优于单一的视觉或听觉模式。张晴晴表示。多模态的兴起是人工智能向前发展的必然趋势，在自然语言、视觉和语音技术日渐成熟的今天。

“人类对世界的认知也并不是单模态的。在AI真正落入产业的过程中、我们发现语音、图像、文本之间的相互融合是一个不能避免的问题。”在人机交互过程中、光靠声音是不够的，机器要想感知人的情感色彩。人的情绪既可能体现在声音中、情绪感知是一个多模态综合评价的结果，也可能蕴含在面部表情或语言内容中。

在本次论坛中，美的集团IoT副总裁兼CTO向江旭、阿里巴巴达摩院研究员田彪、香港中文大学（深圳）数据科学学院教授宋彦都将带来有关多模态人机交互的主旨演讲。