ChatGPT 虽能对答如流、花样百出，但离真正的人还差多远？深度学习三巨头之一的 Yann LeCun 等人撰文，对这一问题进行了深入探讨。
2022年底OpenAI推出ChatGPT，其爆火程度一直持续到今天，这个模型简直就是行走的流量，所到之处必将引起一番讨论狂潮。
各大科技公司、机构、甚至是个人，纷纷加紧研发类ChatGPT产品。与此同时，微软将ChatGPT接入必应，几乎前后脚，谷歌发布Bard为搜索引擎提供动力。英伟达 CEO 黄仁勋对ChatGPT给与了一个很高的评价，他表示，ChatGPT 是人工智能领域的 iPhone 时刻，也是计算领域有史以来最伟大的技术之一。
很多人对对话式AI已经到来深信不疑，但这类模型真的完美无缺吗？不见得，在它们身上总会出现一些荒诞的时刻（uncanny moments），例如随意发表不受约束的言论，或者喋喋不休地说出接管世界的计划等。
为了理解对话式AI这些荒诞时刻，由深度学习三巨头之一的Yann LeCun以及纽约大学计算机科学系博士后Jacob Browning等人联合撰写了一篇文章《AI Chatbots Don’t Care About Your Social Norms》，文中讨论了对话式AI的三个方面：聊天机器人、社会规范和人类期望。
文中谈到，人类非常善于避免口误，不让自己做出失误和失礼的言行。相比之下，聊天机器人却经常犯错。因此理解为什么人类擅长避免出错，可以更好的帮助我们理解目前聊天机器人为何不能被信任。
聊天机器人加入人类反馈，不让模型说错话
对于GPT-3来说，犯错的方式包括模型统计不准确。GPT-3比较依赖用户提示，它对语境、情境等的理解只关注从用户的提示中可以得到什么。ChatGPT也是如此，不过后者以一种新颖而有趣的方式稍作修改。除了统计学外，模型的反应也被人类评估员强化了。对于系统的输出，人类评估员会进行强化，使其输出好的反应。最终结果是，这个系统不仅会说一些貌似合理的东西，而且（理想情况下）还会说一些人类会判断为合适的东西——即便是模型说错了话，至少不会冒犯别人。
但这种方法给人的感觉太机械性。在人类对话中，有无数种方法可以说错话：我们可以说一些不恰当的、不诚实的、令人困惑的或者只是愚蠢的事情。我们甚至在说正确的事情时，由于说的语气或语调不对而受到指责。我们在与他人打交道的过程中，会穿越无数的「对话雷区」。控制自己不说错话不仅仅是对话的一个重要部分，它往往比对话本身更重要。有时，闭上嘴巴可能是唯一正确的行动方案。