Whisper幻觉产生的原因目前关于Whisper幻觉严重的原因尚未完全明确，但有以下一些可能的因素： 数据处理方面：训练数据的问题：Whisper经过680,000小时的数据训练，尽管数据量庞大，但训练集在构建过程中可能存在问题。例如数据可能包含错误信息或者不完整信息。如果训练集中在众包或爬取过程中包含了虚假信息，或存在过多重复信息可能导致模型的知识记忆出现偏差，从而在转录时产生幻觉。就像在其他语言模型中，如果训练数据有问题，模型学习到的知识就不准确，进而影响输出结果。对特定音频模式的敏感性：工程师将幻觉归因于Whisper对此类音频模式的敏感性。例如在语音停顿或存在背景噪音时，模型经常会产生姓名、地址或随机网络信息的幻觉。这可能是因为模型在训练过程中没有充分学习到如何准确处理这些带有停顿或者噪音的音频模式，导致在遇到类似情况时产生错误的转录内容。模型本身的特性：模型结构与算法：Whisper采用简单的端到端方式，基于编码器 - 解码器Transformer架构。这种架构虽然在很多情况下表现良好，但可能存在一些局限性。例如在处理一些复杂的语音语义关系时，可能无法准确把握，从而产生幻觉。比如一些具有歧义的语音内容或者需要结合上下文深度理解的语音片段，模型可能会错误解读并生成不存在于原始音频中的内容。性能资源不足：当一段音频中混杂的声音太多时，转写失败的概率增大，这可能是由于模型推理需要性能资源不足造成幻觉。例如设备的计算能力有限，无法满足模型对复杂音频的处理要求，就可能导致模型产生不准确的转录结果，表现为幻觉现象。Whisper幻觉的心理学特征内容的无意义性与不合理性：在大约1%的转录中会出现幻觉情况，这些幻觉内容可能是毫无意义的短语。例如在医疗场景的转录中，会出现类似于“感谢观看! ”这样的短语，这听起来像是YouTube视频中的话语，与医疗场景毫无关联，完全是不合理的内容插入。还有可能编造出虚构的医学术语，这种无意义和不合理的内容是Whisper幻觉的一个明显特征。这表明模型在转录过程中脱离了音频内容本身，生成了不符合逻辑的结果。在录音的沉默时段内，模型会随机生成一些内容。这种在缺乏实际语音内容输入的情况下生成信息的现象，体现出Whisper幻觉的不合理性。例如在语言障碍患者说话时，沉默现象比较常见，模型可能会在这些沉默时段编造内容，而不是保持沉默或者按照逻辑进行合理的推测。潜在的危害性：有研究对Whisper幻觉内容进行了主题分析，发现38%的幻觉包括明确的伤害，例如延续暴力、编造不准确的关联或暗示虚假的权威。这一特征表明Whisper幻觉不仅仅是简单的错误转录，还可能对信息的接收者产生误导甚至是伤害。例如在医疗转录中，如果编造了错误的医疗关联或者虚假的医疗权威内容，可能会影响医生的诊断或者患者对自身病情的理解。相关心理学理论对Whisper幻觉的解释大脑过滤模型理论：该理论源于法国哲学家伯格森的思想，后经多人发展完善。虽然这一理论被主流心理学界所排斥，但可以从这个角度尝试解释Whisper幻觉。大脑过滤模型认为大脑的功能主要是过滤庞大的意识（包括幻觉、超自然现象、神秘体验等）。如果把Whisper看作是一个模拟大脑认知过程的系统，那么它可能在过滤和处理语音信息转化为文字的过程中出现了故障。例如，它可能无法准确过滤掉不相关的信息或者错误地将一些不存在的信息添加进来，就像大脑在某些异常状态下无法正确过滤意识内容而产生幻觉一样。也许是模型在训练过程中没有建立起正确的“过滤机制”，导致在转录时出现幻觉内容。认知中的预测处理理论：这个理论将大脑看作是一台预测机器，将万物的因果结构模型化，以对未来作出预期。在Whisper的转录过程中，它可能也在进行类似的预测操作。当输入的音频存在一些不完整或者模糊的信息时，模型会根据自己学习到的模式进行预测。然而，如果这种预测出现偏差，就会产生幻觉。例如在语音停顿或者背景噪音干扰的情况下，模型可能会错误地预测接下来的内容，从而生成不存在于原始音频中的内容。就像大脑在面对不完全信息时可能会做出错误的预测从而产生幻觉一样，Whisper的模型结构可能在这种预测过程中存在缺陷，导致幻觉的产生。Whisper幻觉案例分析及心理学解读医疗场景中的案例：在医疗行业，有很多医生和医疗机构使用基于Whisper技术的转录工具来记录和总结与患者的会面。然而，研究发现该工具在这个场景下会出现幻觉现象。例如，在转录医生与患者的对话时，可能会编造出虚构的医学术语。从心理学角度来看，这可能是因为模型在训练过程中没有充分学习到专业的医学词汇和语义关系。医学领域的词汇具有高度的专业性和准确性要求，模型可能无法准确识别和理解一些生僻或者特定语境下的医学术语，从而错误地生成内容。同时，由于医疗对话中可能存在一些停顿、患者表述不清或者背景噪音（如医疗设备的声音）等情况，模型受到这些因素的干扰，就像人在嘈杂环境中容易听错信息一样，产生了幻觉内容。另外，模型在医疗转录中还可能编造出与医疗场景不相关的内容，如“感谢观看! ”。这可能是因为模型在处理大量不同类型数据后，无法准确区分不同场景下的语义和语境。在它的“认知”中，可能错误地将一些通用的表达插入到医疗转录内容中，而没有考虑到医疗场景的特殊性。日常语音转录案例：在日常的语音转录中，Whisper也会出现幻觉现象。比如在转录一段包含多人对话且有背景噪音（如电视声、环境嘈杂声等）的音频时，模型可能会在对话的停顿处或者声音不清晰处生成一些随机的姓名、地址或网络信息。这可以解释为模型在处理复杂的多源声音信息时出现了混淆。从心理学上看，就像人在面对多个信息源时可能会注意力分散，无法准确处理所有信息，从而产生错误的认知一样。模型可能在处理音频中的语音、噪音、不同说话者的声音等多源信息时，无法准确地将注意力集中在正确的语音内容上，进而产生幻觉内容。预防和应对Whisper幻觉的心理学策略从训练数据层面：数据清洗：在构建训练集过程中，确保语料的高质量，构建后进行过滤、选择、验证等数据清洗工作。通过检查和去除训练数据中的虚假信息、错误信息和不相关信息，可以减少模型因为错误学习而产生幻觉的可能性。例如，如果发现训练数据中有一些来源不可靠或者明显错误的语音转录样本，及时将其剔除，让模型学习到更准确的语音 - 文字对应关系。增加特定场景数据：针对Whisper在特定场景（如医疗场景）下容易产生幻觉的问题，可以增加特定场景的高质量训练数据。例如在医疗场景中，收集更多不同类型的医疗对话、不同口音的医生和患者对话等数据进行针对性训练。这样可以让模型更好地适应特定场景的语义、词汇和语音特点，减少幻觉的产生。从模型优化层面：提高模型的稳定性：可以通过减少生成随机性提高解码稳定性。例如在模型的解码算法中采用更稳定、确定性更高的方法，避免模型因为随机的波动而产生不合理的输出结果。这就像在人的认知过程中，保持稳定的思维模式有助于准确地理解和处理信息，减少错误判断的产生。引入知识增强机制：使用检索增强、模型参数修改或其他手段引入知识。比如在转录医疗对话时，模型可以连接到一个专业的医学知识库，当遇到不确定的医学术语或者语义时，能够查询知识库来获取准确信息，而不是凭空编造内容。这类似于人在遇到知识盲点时查阅资料来获取准确信息的过程。Whisper幻觉与其他幻觉的心理学比较与生理病变导致的幻觉比较：产生根源：生理病变导致的幻觉（如脑部疾病、神经损伤等引起的幻觉）是由于身体内部的生理结构或功能发生异常，直接影响了神经系统对信息的处理和感知。例如，脑部的肿瘤可能压迫神经组织，导致大脑接收到错误的神经信号，从而产生幻觉。而Whisper幻觉是基于模型算法和数据处理过程中的问题产生的，是一种在人工智能模拟认知过程中的错误，与生理结构无关。从心理学角度看，生理病变产生的幻觉往往伴随着身体机能的其他异常症状。例如，患有精神分裂症（可能与大脑的生理病变有关）的患者产生幻觉的同时，还可能出现认知、情感、行为等多方面的异常。而Whisper幻觉只是在转录结果上表现出与原始音频不符的内容，没有身体机能方面的其他关联表现。表现形式：生理病变导致的幻觉类型多样，包括视幻觉、幻听、嗅幻觉、味幻觉、触幻觉等，并且这些幻觉的内容可能与患者的个体经历、心理状态等有更复杂的关系。例如，有些精神分裂症患者可能会听到命令性的幻听声音，这与他们的精神状态和心理防御机制有关。而Whisper幻觉主要表现在语音转录成文字的过程中，以生成无意义内容、错误信息或者编造内容为主要表现形式，相对比较单一。与致幻药物导致的幻觉比较：产生机制：致幻药物（如LSD、DMT等）导致的幻觉是通过药物作用于大脑的神经递质系统，改变大脑的神经活动状态而产生的。这些药物会干扰神经递质的正常传递，打乱大脑对信息的正常处理流程，从而引发幻觉。例如，LSD会影响大脑中的5 - 羟色胺受体，引发一连串复杂的电化学信号传递异常，导致幻觉产生。而Whisper幻觉是由于模型的训练和数据处理等技术因素造成的，不存在药物对生理系统的干预。在心理学上，致幻药物产生的幻觉往往伴随着意识状态的改变，如自我消解、认知失真等。服用致幻药物的人可能会感觉自己与周围环境的关系发生变化，或者对自我的认知出现扭曲。而Whisper幻觉不会对使用者的意识状态产生任何影响，仅仅是在转录结果上的错误呈现。可控性：致幻药物导致的幻觉一旦药物生效就很难控制其产生的内容和强度，而且幻觉的产生是不可避免的（在药物作用期间）。而Whisper幻觉在一定程度上可以通过改进模型、优化数据等技术手段来控制和减少，例如通过提高模型的准确性、调整算法等方式来降低幻觉出现的概率。