新一代人工智能算法:语言能力提高引发担忧

来源:参考消息网 时间:2022-07-28 13:46:25

据美联社7月17日报道,如果你向最新的人工智能架构提出这样一个问题:做一台有知觉的计算机或者一只恐龙甚至松鼠是什么感觉?这些人工智能的表现可能已经相当令人信服。但在处理其他看似直截了当的任务时,它们的表现就不是那么好了——有时甚至差劲到了危险的程度。

以生成型已训练变换模型3(GPT-3)为例,这是一个由微软公司控制的系统,可以根据从一个庞大的数字图书和在线作品数据库里学到的知识,生成一段段类似人写出来的文本。GPT-3被认为是最先进的新一代人工智能算法之一,它能够进行对话,根据需要生成可读文本,甚至生成新的图像和视频。

除其他本领外,GPT-3可以写出你想要的绝大多数文本——例如一封申请动物园管理员工作的求职信,或者一首以火星为背景的莎士比亚风格十四行诗。然而,当美国波莫纳学院的加里·史密斯教授就爬楼梯向它提出一个简单但显得荒谬的问题时,GPT-3就不知所措了。

这个人工智能模型回答说:“是的,你可以安全地用手爬楼梯,如果你先把它们洗干净的话。”

这些强大的、消耗大量能量的人工智能系统在技术上被称为“大型语言模型”,因为它们已经接受了大量文本和其他媒介的训练。这些人工智能系统已经被做成客服聊天机器人、谷歌搜索引擎和为你写完句子的“自动完成”电子邮件功能。但大多数制造这类人工智能系统的科技公司都对这些系统的内部运作方式讳莫如深,外人很难了解那些可能让它们变成虚假信息、种族主义和其他危害源头的缺陷。

人工智能领域初创企业抱抱脸公司的研发工程师泰旺·勒斯科说:“它们非常擅长写文本,已经达到人类的熟练程度。它们不太擅长的是阐述事实。有时候看起来非常有条理,几乎以假乱真,却是错的。”

谨防失控风险

正因如此,由勒斯科等人共同领导的一个人工智能研究团队日在法国政府的帮助下启动了一个新的大型语言模型。该模型据说是为了解决GPT-3等封闭系统的缺陷。这个团队叫“大科学”,他们的模型名为大科学大型开放多语言模型。它的主要突破在于可在46种语言下工作,包括阿拉伯语、西班牙语和法语——与大多数聚焦英语或汉语的系统不同。

并非只有勒斯科的团队打算破解人工智能语言模型的黑匣子。脸书和Instagram的母公司元宇宙台公司也在呼吁采取更开放的方式。该公司正试图赶上谷歌和美国开放人工智能研究中心所打造的系统。

元宇宙台公司人工智能部门总经理若埃勒·皮诺说:“我们已经看过一个又一个消息,说人们正在从事此类工作,但都非常不透明,几乎看不到内部情况,也无法窥探这些模型是如何工作的。”

斯坦福大学计算机科学副教授、基础模型研究中心主任珀西·梁(音)说,建立最能言善辩或信息量最大的系统——并从其应用中获利——所带来的竞争压力是大多数科技公司严格把控这些系统并且不在制定相关规范上展开合作的原因之一。

梁副教授说:“对一些公司来说,这是它们的秘密配方。”但这些公司也常常担心如果有失控的情况发生,可能导致有人在使用这些系统时不负责任。随着人工智能系统编写健康建议、中学期末论文或政论的能力日益增强,虚假信息可能迅速增加,人们将越来越难以知道这些信息来自人类还是计算机。

识别“有毒言论”

元宇宙台公司最推出了一个名为OPT-175B的新语言模型,该模型使用了可公开获得的数据——从红迪论坛上的火爆评论到美国专利档案以及安然公司丑闻中的大量电子邮件。

元宇宙台公司说,它开放了数据、代码和研发日志,因此外部研究人员可以更容易地通过研究现实中的人们是如何写文章和沟通的来帮助识别和减轻该模型沾染的偏见,纠正其学到的有毒言论。

皮诺说:“这件事很难。我们敞开自己,准备迎接大量的批评。我们知道,这个模型会说一些我们不会感到自豪的事。”

虽然大多数公司都制定了其内部的人工智能防护措施,但梁副教授说,现在需要的是更广泛的相关规范,以指导研究和决策,比如何时将新模型公之于众。

这些模型需要很高的计算能力,以至于只有大公司和政府才能负担得起,这可不是什么好消息。例如,“大科学”项目能够训练其模型,是因为该项目可以访问法国强大的超级计算机“让·扎伊”。

2018年,谷歌推出一种名为BERT的系统,使用一种将句子中的词语进行比对从而预测语义和语境的技术,这让追求更大、更智能的人工智能语言模型的趋势取得了重大飞跃,并且这些模型可以通过大量文本进行“预训练”。但真正给人工智能世界留下深刻印象的是GPT-3。GPT-3是总部设在旧金山的开放人工智能研究中心在2020年发布的,很快就由微软获得了该模型的独家授权。

GPT-3带来了创新实验方面的繁荣,因为通过付费获得访问权限的人工智能研究人员把GPT-3当作一个沙盒来测试人工智能的能——尽管没有关于其训练数据的重要信息。

纠正模型“偏见”

开放人工智能研究中心在一篇研究论文中广泛描述了相关训练来源,并公开报告了它为应对该技术可能被滥用所做的努力。

但“大科学”项目联合负责人托马·沃尔夫说,开放人工智能研究中心没有提供它如何过滤这些数据的细节,也没有向外部研究人员提供有关处理过的数据的访问权限。

同时担任抱抱脸公司首席科学官的沃尔夫说:“所以,我们实际上无法分析GPT-3在训练时接收到的数据。最这波人工智能技术浪潮的核心更多地是聚焦数据集而不是模型。最重要的是数据,而开放人工智能研究中心对其使用的数据极其讳莫如深。”

沃尔夫说,开放语言模型所使用的数据集有助于人类更好地理解模型的偏见。他说,与只在美国接受英语文本训练的模型相比,接受阿拉伯语训练的多语言模型就不太可能对伊斯兰教发表攻击言论或产生误解。

谷歌的LaMDA是目前最新的人工智能实验模型之一。该模型在回答问题时给人留下了如此深刻的印象,以至于一名谷歌工程师说它正在接于有意识——这一说法导致他上个月被停职。

关键词: 人工智能 微软公司 新一代人工智能算法 人工智能模型

相关阅读

推荐阅读

新一代人工智能算法:语言能力提高引发担忧

新一代人工智能算法:语言能力提高引发担忧

据美联社7月17日报道,如果你向最新的人工智能架构提出这样一个问题:做一台有知觉的计算机或者一只恐龙甚至松鼠是什么感觉?这些人工智能的更多

2022-07-28 13:46:25
客厅C位争夺战一触即发  智能投影产品基本完成4K进化

客厅C位争夺战一触即发 智能投影产品基本完成4

智能投影仪的兴起对电视的客厅C位形成了挑战。不过,由于电视的显示效果更加细腻,所以地位未被真正撼动。然而,随着显示技术的发展,如今更多

2022-06-30 12:43:40
全球第一!苹果公司市值反超沙特阿美  重回全球第1

全球第一!苹果公司市值反超沙特阿美 重回全球第1

6月22日晚,苹果公司市值反超沙特阿美,重回全球第一,截稿前,苹果公司股票涨超1 30%,刷新日高至137 640美元,盘中市值2 23万亿美元。值更多

2022-06-23 16:51:43
苹果正式推送第二个iOS16测试版:备份完一套房子没了

苹果正式推送第二个iOS16测试版:备份完一套房子

今天凌晨,苹果正式推送了第二个iOS 16测试版,这个版本除了修复不少第一版的bug之外,还带来了一些新功能的更新。其中最引人注意的一项,更多

2022-06-23 15:27:39
Adobe发布新开源工具为内容创作者带来福音

Adobe发布新开源工具为内容创作者带来福音

Adobe 的愿景之一是在充满照片和视频的互联网中,为其提供有关于它们来自何处的额外信息。该公司的核心目标是减少视觉错误信息的传播,也更多

2022-06-15 09:11:18
郭明錤:苹果iPhone14系列智能机将迎来诸多升级

郭明錤:苹果iPhone14系列智能机将迎来诸多升级

知名苹果分析师郭明錤在周一的一条推文中指出 ——即将推出的 iPhone 14 系列智能机,将迎来前摄等方面的诸多升级。比如前摄将具有更大更多

2022-06-14 09:22:38
伯克利人工智能研究实验室正在进行FogROS2的预览版

伯克利人工智能研究实验室正在进行FogROS2的预览版

伯克利人工智能研究实验室正在进行FogROS项目。该项目是开源机器人操作系统ROS 2 Humble Hawksbill最新版本的一部分,也是ROS 2的第八更多

2022-05-24 14:54:34
爆料:骁龙8+功耗比三星4nm更强  摩托罗拉或将首发

爆料:骁龙8+功耗比三星4nm更强 摩托罗拉或将首发

5月19日消息,博主@i冰宇宙在社交平台爆料,基于台积电4nm工艺打造的骁龙8+功耗表现比三星4nm的骁龙8更胜一筹,这个毫无悬念。和骁龙8一样更多

2022-05-20 14:50:54
+ 点击查看更多精彩
字节跳动计划投资“大量资金”开发VR领域
    据 Protocol 报道,字节跳动正在认真考虑进入虚拟现实(VR)领域...
任天堂Switch曝光:合作伙伴招聘新游戏机开发工程师
    据外媒报道称,任天堂即将推新一代Switch,其中一个最有力的证据...
途牛发布纳斯达克股价不合规通知函
    4月18日,在途牛收到纳斯达克股价不合规通知函后,途牛方面发布声...
一加新机现身:搭载天玑8100处理器,主打快充和游戏
    今天,一款型号显示为PGKM10的一加新机现身GeekBench,这款新机搭...
紫光国微:预计2022年第一季度净利润同比增长69.9%
    紫光国微发布公告称,预计2022年第一季度归属于上市公司股东的净...
斯坦福大学建造小型太阳能电池板原型
    日前,斯坦福大学的研究人员已经建造了一个小型太阳能电池板原型...
    资讯播报