您现在的位置是:首页 > 科技网站首页科技

研究人员开发了一种识别计算机生成文本的方法

  • 科技
  • 2020-03-24 18:43:22
  • 来源:

在一个充斥着人工智能的世界里,哈佛大学(Harvard)约翰•a•保尔森工程与应用科学学院(SEAS)和IBM Research的研究人员提出了这样一个问题:有没有更好的方法来帮助人们检测人工智能生成的文本?

这个问题促使海洋研究所的博士研究生Sebastian Gehrmann和IBM的研究人员Hendrik Strobelt开发了一种统计方法,以及一种开放的交互式工具来检测人工智能生成的文本。

自然语言生成程序通过训练数以千万计的在线文本,并通过预测最常出现的单词来模仿人类语言。例如,“have”、“am”和“was”等词在静态情况下最可能出现在“i”之后。

利用这个想法,Gehrmann和Strobelt开发了一种方法,这种方法不是识别文本中的错误,而是识别过于可预测的文本。

格曼说:“我们的想法是,随着模型越来越好,它们从肯定比人类更差(这是可以检测到的)到与人类一样好或更好(这是用传统方法很难检测到的)。”

“以前,你可以通过所有的错误判断文本是机器生成的,”Strobelt说。现在,不再是错误,而是使用非常可能(而且有些乏味)的单词来调用机器生成的文本。有了这个工具,人类和人工智能可以一起工作来检测假文本。”

Gehrmann和Strobelt将在7月28日至8月2日举行的计算语言学协会(ACL)会议上展示他们的研究成果,该成果由sea计算机科学助理Alexander Rush合著。

Gehrmann和Strobelt的方法,被称为GLTR,是基于一个从4500万文本网站上训练出来的模型——OpenAI模型的公共版本,GPT-2。因为它使用GPT-2来检测生成的文本,所以GLTR在GPT-2上工作得最好,但在其他模型上也做得很好。

它是这样工作的:

如果将一段文本输入该工具,它将以绿色、黄色、红色或紫色突出显示文本,每种颜色都表示该单词在其前面的上下文中的可预测性。绿色表示这个词是可以预测的,黄色表示可以预测,红色表示不太可以预测紫色表示这个模型完全不能预测这个词。

所以由GPT-2生成的一段文本看起来是这样的:

相比之下,这是一篇真正的《纽约时报》文章:

以下节选自詹姆斯·乔伊斯的《芬尼根守夜》,可以说是人类有史以来最不可预测的作品:

这种方法并不是为了取代人类识别假文本,而是为了支持人类的直觉和理解。研究人员在一组参加海洋计算机科学课程的本科生中测试了这个模型。

没有这个模型,学生们可以识别出大约50%的人工智能生成的文本。通过颜色叠加,学生们能够识别72%。

Gehrmann和Strobelt表示,只要稍加培训和经验,这个数字可能会进一步提高。

“我们的目标是创造人类和人工智能的协作系统,”Gehrmann说。“这项研究的目的是为人类提供更多的信息,让他们能够在知情的情况下决定哪些是真的,哪些是假的。”


Top