新智元报道
编辑:好困 Aeneas 桃子
【新智元导读】做聊天机器人,OpenAI不是第一家,但绝对是最出风头的那个。谷歌、Meta、DeepMind、OpenAI的聊天机器人大PK,谁最牛?
前几天,Meta首席人工智能科学家Yann LeCun的一段对于ChatGPT的点评迅速传遍圈内外,引发了大波讨论。
在Zoom的媒体和高管小型聚会上,LeCun给出了一段令人惊讶的评价:「就底层技术而言,ChatGPT并不是多么了不得的创新。」
「虽然在公众眼中,它是革命性的,但是我们知道,它就是一个组合得很好的产品,仅此而已。」
ChatGPT不算什么创新
ChatGPT作为这几个月的聊天机器人「顶流」,早就红遍全世界,甚至切实改变了一部分人的职业生涯,以及学校教育的现状。
全世界为它惊叹的时候,LeCun对ChatGPT的点评居然如此「轻描淡写」。
但其实,他的言论不无道理。
像ChatGPT这种数据驱动的人工智能系统,许多公司和研究型实验室有。LeCun表示,OpenAI在这个领域并没有多么独树一帜。
「除了谷歌和Meta之外,还有六家初创公司,基本上都拥有非常相似的技术。」LeCun 补充道。
接着,LeCun小酸了一把——
「ChatGPT用的是以自监督方式进行预训练的Transformer架构,而自监督学习是本人长期以来一直提倡的,那会儿OpenAI还没诞生呢。」
其中,Transformer是谷歌的发明。这种语言神经网络,正是GPT-3等大型语言模型的基础。
而第一个神经网络语言模型,Yoshua Bengio早在20年前就提出了。Bengio的注意力机制后来被谷歌用于Transformer,之后更是成为了所有语言模型中的关键元素。
另外,ChatGPT用的是人类反馈强化学习(RLHF)的技术,也是由谷歌DeepMind实验室开创的。
在LeCun看来,ChatGPT与其说是一个科学突破,不如说是一项成功的工程案例。
OpenAI的技术「在基础科学方面并没有什么创新性,它只是设计得很好而已。」
「当然啦,我不会为此批评他们。」