研究人员开发出一种能够识别 AI 幻觉的算法 -pc6资讯

您的位置：首页 → 精文荟萃 → 网络评测 → 研究人员开发出一种能够识别 AI 幻觉的算法

研究人员开发出一种能够识别 AI 幻觉的算法 时间：2024/6/24 12:28:57来源：www.pc6.com作者：学臣我要评论(0)

虽然像 ChatGPT、Claude 和 Gemini 这样的大型语言模型令人印象深刻，但它们都有一个共同的大问题:经常会产生幻觉。这是人工智能领域的一个严重问题，甚至苹果也对未来苹果智能（Apple Intelligence）如何处理幻觉表示担忧。幸运的是，一组研究人员现在开发出了一种 AI 幻觉检测器，可以判断 AI 是否虚构内容。

机器人人工智能 AI

图源备注：图片由AI生成，图片授权服务商Midjourney

这些幻觉导致了许多令人尴尬和耐人寻味的失误，它们也是 ChatGPT 等人工智能尚未更加实用的主要原因之一。我们曾经看到谷歌不得不修改其 AI 搜索概览，因为 AI 开始告诉人们吃石头是安全的，还说在披萨上涂胶水是安全的。甚至有律师使用 ChatGPT 帮助撰写法庭文件，结果因为聊天机器人虚构了文件中的引用而被罚款。

根据该论文，研究人员开发的新算法能够帮助辨别 AI 生成的答案在大约79% 的时间内是否准确。当然，这并不是一个完美的记录，但比目前其他主流方法高出了10%。

Gemini 和 ChatGPT 等聊天机器人可以很有用，但它们也很容易产生虚构的答案。这项研究是牛津大学计算机科学系的成员进行的。研究人员在论文中解释说，他们使用的方法相对简单。

首先，他们让聊天机器人对同一个提示进行多次回答，通常是五到十次。然后，他们计算出一个我们称之为语义熵的数值，这是答案的意义相似性或差异性的度量。如果模型对每个提示条目的回答都不同，那么语义熵分数会更高，表明 AI 可能是在虚构答案。然而，如果答案都相同或意义相似，语义熵分数就会较低，表明它提供的答案更一致且可能是真实的。这并不是一个百分之百准确的 AI 幻觉检测器，却是一个有趣的处理方法。

其他方法依赖于所谓的朴素熵，通常是检查答案的措辞是否不同，而不是其含义。因此，它不太可能像计算语义熵那样准确地发现幻觉，因为它没有关注句子中的词语背后的含义。

研究人员表示，该算法可以通过按钮添加到 ChatGPT 等聊天机器人中，让用户对他们的提示所得到的答案获得 “确定性评分”。直接内置 AI 幻觉检测器到聊天机器人中是诱人的，因此可以理解将这样的工具添加到各种聊天机器人中的用途。

相关视频

没有数据

文章评论

查看所有0条评论>>