为什么他们选择和AI恋爱？(6)

另一种是开放领域的对话。这是NLP（自然语言处理）领域中技术最复合的方向之一，涉及对语言的精准理解以及回复的精确生成，“一般无目的、无领域约束”。技术上的挑战有对话中的“一对多”、知识的有效利用以及上下文一致性等问题，如果缺乏对这些问题的有效建模，模型可能会产出一些通用、无意义的对话。
以Replika为例，该应用的基础模型是GPT-3。GPT-3由OpenAI训练与开发，它的神经网络包含1750亿个神经，是全世界参数最多的神经网络模型。
实际上，GPT-3并非针对对话训练的模型，而是通用语言模型，主要应用于新闻分类、问答系统等。目前对话机器人多是以专门为对话任务设计的BlenderBot和DialoGPT作为底层框架。
Meta（原Facebook）方面表示，BlenderBot2.0可以拥有长期记忆，利用互联网搜索来补充对话背景，“它能就几乎任何话题进行复杂的对话”。而DialoGPT则是微软使用GPT-2在大规模reddit数据上预训练的对话系统，其研发者表示，“在非交互的图灵测试条件下，该系统可以生成接近人类水平的对话”。
超大语言模型GPT-3的优势在于：模型大，训练数据集大，训练时间久。它由非常巨大的文本语料库训练而成，这个语料库基本包含了人类描述世界上任何事物的词语知识，因此这个超大语言模型具有极强的“学习力”，也更容易类人。比如，AI并没有淋过雨，但当它被问及“雨是干的还是湿的”时，它能回答出：雨是湿的。
不过，它与人类理解语意的方式不同， 对语言模型而言，“湿”只是一个符号，经常会和“雨”等词汇结合使用。因此，GPT-3是否真的理解人类语言的含义？北京智源人工智能研究院的研究员付杰向「甲子光年」表示，“学术界有一种观点认为，GPT-3也许就不懂词的真正意义。从语言学角度讲，也许理解了；但是从其他角度，也许它并不理解”。
但这似乎不妨碍用户端的体验：人们发现与一些对话机器人聊得越久，它就越懂自己，并感受到了它对情感的回应。
在语言模型上，麻省理工学院CSAIL（计算机科学与人工智能实验室）的博士后研究员鸿一向「甲子光年」解释，一个原因是，机器基于向量相似度的语义联想，与人类大脑皮层基于神经信号的语义联想具有一定相似性。”换言之，是指在有针对性的训练后，基于机器学习的语言模型能执行和人相似的语义联想。计算机可以将任何词汇和语句嵌入向量空间，赋予其相应维度的向量表示。语义相关的词句会被充分训练的语言模型编码为几何接近的向量。