在发布了描述GPT-3的论文后仅两个月,AI开发和部署公司OpenAI就开始通过私人Beta版与一组选定的用户一起测试其新颖的,由AI驱动的语言生成器-令人震惊的是,很多人对此感到震惊。该工具仅需少量的单词即可完成,可以生成文章,短篇小说甚至诗歌,在许多情况下,它们可以令人信服地传达事实,答案和写作风格。尽管如此,GPT-3经常以令人惊讶的基本方式跳闸,拉开了令人信服的模仿人类语音模式并不一定需要真正认知的帷幕。
GPT-3是一种具有1750亿个惊人参数的自回归语言模型,OpenAI声称它是任何以前的非稀疏语言模型的十倍。这使GPT-3可以在许多翻译,问题解答和文本生成任务中取得显著成果,而仅使用少量训练数据就无需进行微调。例如,要求GPT-3写出华莱士·史蒂文斯(Wallace Stevens)风格的题为“影子在路上”的诗,GPT-3写道:
太阳就是我们所拥有的。现在,在阴影下
一切都改变了。头脑必须专注于那些
白色的田野,在它看来一直很老。
那些古老的光芒,令人费解
他们扎根于巨大根源的方式,
梦幻般的大黑暗世界,
大海的羽毛迷宫。
当然,早期用户正在推动GPT-3的极限。Twitter用户Mario Klingemann让GPT-3模仿了Jerome K. Jerome,他写了一篇关于“在Twitter上的重要性”的文章,“这是一个奇怪的事实,伦敦人民仍然感兴趣的最后剩余的社交生活是Twitter 。” OpenAI在其研究中发现,由GPT-3生成的新闻文章样本证明对人类而言很难与人类撰写的文章区分开。
GPT-3甚至可以理解其他语言的语法,例如音乐创作和编码。另一位抢先体验用户Sharif Shameem报告说,他们使用GPT-3构建了一个布局生成器,该生成器可以仅使用所需布局的描述为功能性网站布局构建JSX代码。
但是,GPT-3仍然有明显的盲点。另一个抢先体验的用户Kevin Lacker将GPT-3置于基本的Turing测试环境中。情况一直很好,直到它开始回答“我的脚有几只眼睛?”之类的问题。和“您如何搅乱零食?” 回答为“您的脚有两只眼睛”和“您用树枝状的树枝使树枝碎”。
也许更麻烦的是,GPT-3容易出现自动语言重复的另一个缺陷:偏执。不幸的是,针对“黑人”或“犹太人”等主题的GPT-3的简单提示有时会产生令人反感的句子-这个问题需要进行微调才能在GPT-2中解决。
GPT-3的近乎神奇的结果似乎与这些轻微的基本故障不兼容,从而引发了公众对该工具的早期启动的反应。资深编码员约翰·卡马克(John Carmack)说,GPT-3的编码能力“产生了轻微的颤抖”。但Twitter用户西蒙·萨里斯(Simon Sarris)则打趣道:“我们不是从机器上揭下面具,以显示一个天才向导,而是将彼此拉下面具,以显示该栏很低。”
GPT-3计划于今年晚些时候进行商业发布。