计算机屏幕显示由纽约伊萨卡康奈尔大学研究人员启动的对名为 Whisper 的 AI 驱动的转录程序生成的文本。以 “#Ground truth” 开头的文本是实际所说的内容，而以 “text” 开头的句子是转录程序如何解释单词的方式。 科技巨头 OpenAI 吹捧其人工智能驱动的转录工具 Whisper 具有接近“人类水平的稳健性和准确性”。但 Whisper 有一个重大缺陷：根据对十几位软件工程师、开发人员和学术研究人员的采访，它容易组成大块文本甚至整个句子。这些专家表示，一些虚构的文本——在业内被称为幻觉——可能包括种族评论、暴力言论，甚至想象中的医疗。 专家表示，这种捏造是有问题的，因为 Whisper 正被全球许多行业用于翻译和转录采访，在流行的消费技术中生成文本，并为视频创建字幕。他们表示，更令人担忧的是，尽管 OpenAI 警告说该工具不应用于“高风险领域”，但医疗中心急于利用基于 Whisper 的工具来转录患者与医生的咨询。问题的全部严重程度很难辨别，但研究人员和工程师表示，他们在工作中经常遇到 Whisper 的幻觉。例如，密歇根大学（University of Michigan）的一名研究人员对公共会议进行研究时说，在他开始尝试改进模型之前，他检查了每10个音频转录中就有8个出现了幻觉。 一位机器学习工程师表示，在他分析的 100 多个小时的 Whisper 转录中，他最初发现了大约一半的幻觉。第三位开发人员表示，他在使用 Whisper 创建的 26,000 份转录本中几乎每一份都发现了幻觉。即使在录制良好的短音频样本中，问题仍然存在。计算机科学家最近的一项研究在他们检查的 13,000 多个清晰的音频片段中发现了 187 种幻觉。研究人员表示，这种趋势将导致数百万条录音中出现数以万计的错误转录。 直到去年，一直领导拜登政府白宫科技政策办公室的阿隆德拉·纳尔逊 （Alondra Nelson） 说，此类错误可能会产生“非常严重的后果”，尤其是在医院环境中。 “没有人希望误诊，”新泽西州普林斯顿高等研究所（Institute for Advanced Study）的教授纳尔逊说。“应该有更高的标准。”Whisper 还用于为聋人和听力障碍者创建隐藏字幕，这些人群尤其容易出现转录错误。这是因为聋人和听力障碍者无法识别“隐藏在所有其他文本中”的捏造，聋人、加劳德特大学技术访问计划的负责人克里斯蒂安·沃格勒 （Christian Vogler） 说。 敦促 OpenAI 解决问题：这种幻觉的普遍存在导致专家、倡导者和前 OpenAI 员工呼吁联邦政府考虑 AI 法规。他们说，OpenAI 至少需要解决这个缺陷。“如果公司愿意优先考虑它，这似乎是可以解决的，”旧金山的研究工程师威廉·桑德斯（William Saunders）说，他因担心公司的发展方向而于2月退出了OpenAI。“如果你把它放在那里，人们对它能做什么过于自信，并将其集成到所有其他系统中，那就有问题了。”OpenAI 的一位发言人表示，该公司一直在研究如何减少幻觉，并感谢研究人员的发现，并补充说 OpenAI 将反馈纳入模型更新中。虽然大多数开发人员认为转录工具会拼写错误或出现其他错误，但工程师和研究人员表示，他们从未见过其他 AI 驱动的转录工具像 Whisper 一样产生幻觉。 耳语幻觉：该工具已集成到 OpenAI 旗舰聊天机器人 ChatGPT 的某些版本中，并且是 Oracle 和 Microsoft 云计算平台的内置产品，为全球数千家公司提供服务。它还用于将文本转录和翻译成多种语言。仅在上个月，开源 AI 平台 HuggingFace 的最新版本 Whisper 的下载量就超过 420 万次。那里的机器学习工程师桑奇特·甘地 （Sanchit Gandhi） 表示，Whisper 是最受欢迎的开源语音识别模型，内置于从呼叫中心到语音助手的所有应用程序中。康奈尔大学的 Allison Koenecke 教授和弗吉尼亚大学的 Mona Sloane 教授检查了他们从卡内基梅隆大学托管的研究存储库 TalkBank 获得的数千个短片段。他们确定近 40% 的幻觉是有害的或令人担忧的，因为说话者可能被误解或歪曲。 在他们发现的一个例子中，一位演讲者说，“他，那个男孩，我不确定，要拿伞。但转录软件补充说：“他拿了一大块十字架，一小块......我敢肯定他没有恐怖刀，所以他杀了很多人。另一段录音中的一名发言人描述了“另外两个女孩和一位女士”。Whisper 发明了额外的种族评论，并补充说“另外两个女孩和一位女士，嗯，她们是黑人。在第三次转录中，Whisper 发明了一种不存在的药物，称为“超活性抗生素”。研究人员不确定 Whisper 和类似工具产生幻觉的原因，但软件开发人员表示，这些捏造往往发生在停顿、背景声音或音乐播放期间。OpenAI 在其在线披露中建议不要在 “决策环境中使用 Whisper，其中准确性的缺陷会导致结果的明显缺陷”。 转录医生预约：该警告并没有阻止医院或医疗中心使用语音转文本模型（包括 Whisper）来转录医生就诊期间所说的内容，从而让医疗服务提供者腾出时间来减少记笔记或撰写报告的时间。超过 30,000 名临床医生和 40 个卫生系统，包括明尼苏达州的 Mankato 诊所和洛杉矶儿童医院，已经开始使用由 Nabla 构建的基于 Whisper 的工具，Nabla 在法国和美国设有办事处。Nabla 的首席技术官 Martin Raison 说，该工具对医学语言进行了微调，以转录和总结患者的互动。公司官员表示，他们知道 Whisper 可能会产生幻觉，并正在解决这个问题。Raison 说，无法将 Nabla 的 AI 生成的转录文本与原始录音进行比较，因为 Nabla 的工具出于“数据安全原因”会删除原始音频。Nabla 说，该工具已被用于转录大约 700 万次医疗就诊。前 OpenAI 工程师桑德斯 （Saunders） 表示，如果转录文本没有经过仔细检查，或者临床医生无法访问录音以验证它们是否正确，那么删除原始音频可能会令人担忧。 “如果你去掉基本事实，你就无法发现错误，”他说。Nabla 说，没有一种模式是完美的，他们的模式目前要求医疗服务提供者快速编辑和批准转录的笔记，但这种情况可能会改变。 隐私问题 由于患者与医生的会议是保密的，因此很难知道 AI 生成的转录对他们有何影响。 加利福尼亚州立法者丽贝卡·鲍尔-卡汉 （Rebecca Bauer-Kahan） 表示，她今年早些时候带她的一个孩子去看医生，并拒绝签署健康网络提供的一份表格，该表格寻求她的许可，以便与供应商共享咨询音频，其中包括 OpenAI 最大投资者运营的云计算系统 Microsoft Azure。鲍尔-卡汉说，她不希望与科技公司分享如此亲密的医学对话。