大型计算机语言模型会带来环境 社会风险

导读世界上最大的公司和大学的计算机工程师正在使用机器扫描书面材料的内容。目标?教这些机器语言的礼物。有人甚至声称这样做,计算机将能够模

世界上最大的公司和大学的计算机工程师正在使用机器扫描书面材料的内容。目标?教这些机器语言的礼物。有人甚至声称这样做,计算机将能够模仿人的大脑。但是,根据一篇新论文“论随机鹦鹉的危险:语言模型会变得太大吗?”,这篇令人印象深刻的计算能力会带来真正的成本,包括使种族主义永存并造成严重的环境破坏。该论文将于3月10日(星期三)在ACM公平,问责和透明度会议(ACM FAccT)上发表。

华盛顿大学语言学教授,论文的主要作者艾米丽·本德尔(Emily M. Bender)和Timnit Gebru等人,这是对有关语言学习技术快速增长带来的风险的文献的首次详尽综述。著名的AI研究员。

威斯康星大学霍华德分校和弗朗西斯·诺斯特兰德(Frances Nostrand)的本德尔说:“我们要问的是,这种方法可能带来什么危险,而我们给出的答案涉及到调查广泛领域的文献并将它们放在一起。”特聘教授。

研究人员浮出水面的是,自然语言模型中不断增长的计算能力存在不利之处。他们讨论了不断增长的语言建模培训数据量如何加剧社会和环境问题。令人震惊的是,这样的语言模型使霸权语言永存,并欺骗人们以为他们正在与人而不是机器进行“真实”对话。这些模型的增加的计算需求进一步加剧了环境退化。

由于该领域内趋向于越来越大的语言模型及其势力范围不断扩大的趋势,因此作者之所以写这篇论文是有动力的。

该论文已经引起了广泛的关注,部分原因是该论文的两位合著者表示,他们最近因尚未解决的原因而被Google开除。谷歌的两位前研究员玛格丽特·米切尔(Margaret Mitchell)和格布鲁(Gebru)表示,他们支持该论文的学术研究,并指出其结论是呼吁业界注意这一点。

人工智能研究人员米切尔说:“很明显,现在就必须担心,因为现在已经来不及了。”

Bender说,这需要大量的计算能力来推动模型语言程序的发展。作者认为,这会极大地消耗能量,并且会导致环境恶化。这些费用并不是由计算机工程师承担的,而是由无法负担环境费用的被边缘化的人承担的。

班德说:“不仅在这里有巨大的能源影响,而且碳的影响将首先给那些没有从这项技术中受益的人们带来成本。” “当我们进行成本效益分析时,重要的是要考虑谁在获得利益,谁在付出成本,因为他们不是同一个人。”

这种强大的计算能力也可以将访问权限限制为只有资源最丰富的公司和研究小组才能使用,而美国,加拿大,欧洲和中国以外的较小的开发商则被排除在外。那是因为需要大型机器来运行必要的软件,才能使计算机模仿人类的思想和言语。

作者说,另一个风险来自训练数据本身。因为计算机从网络和其他来源读取语言,所以它们可以吸收并延续种族主义,性别歧视,弱能主义者,极端主义和其他有害的意识形态。

班德说:“人们陷入的谬论之一是,互联网很大,互联网就是一切。如果我只是刮擦整个互联网,那么显然我就已经纳入了各种观点。” “但是,当我们逐步阅读文献时,它说现在不是这样,因为不是每个人都在互联网上,在互联网上的人们中,并不是每个人在社交上都愿意参加相同的活动道路。”

而且,人们可以混淆语言模型来进行真正的人机交互,以为他们实际上是在与人交谈,或者正在阅读某人说或写的东西,而实际上这是一种来自机器的语言。因此,随机鹦鹉。

班德说:“它产生了看似连贯的文本,但没有交流意图。它不知道它在说什么。那里不存在。”

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢