算法被认为是用来补充机器学习模型所需的能力，如可解释性或可理解性。然而这些能力大多缺乏精确的定义，它们与所追求的目标之间的关系并不明显。可解释人工智能（XAI）逐渐成为一个关键领域，XAI旨在揭示AI模型的决策过程，使其对用户更加透明和可理解。这一领域的重要性不仅体现在技术层面，更关乎伦理、法律和社会信任。随着AI系统在医疗、金融、法律等关键领域的应用，用户对AI决策的理解和信任变得尤为重要。

在这样的背景下，Moritz Renftle、Holger Trittenbach、Michael Poznic 和 Reinhard Heil 四位作者在6月14日联合发表了题为《What do algorithms explain? The issue of the goals and capabilities of Explainable Artificial Intelligence (XAI)》的论文，该论文在《自然》科学期刊子刊《人文社会科学传播》上发表（链接：https://www.nature.com/articles/s41599-024-03277-x）。这篇论文深入探讨了XAI算法的目标与能力，指出尽管XAI领域的研究成果丰富，但对于这些算法能够实现的目标和能力的理解仍然存在不足。论文通过用户的视角，重新审视了XAI算法的逻辑和推理模式，提出了对现有研究方法的批判，并探索了XAI算法的新方向。

他们从用户的具体角度阐明了XAI算法的适度能力。当前的算法只能回答可以追溯到以下问题的用户问题：“如何将一个机器学习模型表示为一个使用解释属性的简单函数？”。根据应用的不同，回答这个核心问题可能是微不足道的，困难的，甚至是不可能的。文章的结果是确定了XAI研究的两个关键挑战：ML模型的近似和翻译。

作者团队背景多元，涵盖了独立学者、企业研究员和学术机构研究者。Moritz Renftle 作为独立学者，他的研究视角为论文带来了独立和全面的思考。Holger Trittenbach 来自柏林的Neurocat GmbH AI公司，其在企业实践中的经验为论文提供了实际应用的深度。Michael Poznic 和 Reinhard Heil 来自卡尔斯鲁厄理工学院（KIT），他们的学术背景确保了论文在技术评估和系统分析方面的严谨性。这种跨领域的合作反映了XAI研究需要多学科融合的特点，也保证了论文在理论和实践层面的平衡。

论文介绍了一个思想实验，即使用电子邮件垃圾过滤器的实际情况，作为澄清XAI算法能力的第一步。我们的目标是探究可以合理期待XAI算法提供哪些能力。文章从一个好奇的人类用户面对一个产生显著结果的技术工具的一般视角开始。这样的用户渴望理解，意味着他们对这些模型有问题。研究团队建议将XAI算法解释为帮助回答这些问题的方法，或者至少是它们的一些明确版本。

XAI的目标与挑战

可解释人工智能（XAI）的兴起，旨在解决AI系统决策过程的不透明性问题，提高其透明度和可理解性。XAI的核心目标是使AI的决策过程对用户更加清晰，从而增强用户对AI系统的信任和接受度。然而实现这些目标并非易事，XAI面临着多样性与复杂性的挑战。

XAI的主要目标包括但不限于以下几点：

透明度：使用户能够理解AI模型的工作原理和决策依据。

信任增强：通过提供可理解的解释，增强用户对AI系统的信任。

合规性：确保AI系统的决策过程符合相关法律法规和伦理标准。

可验证性：允许用户或第三方机构验证AI系统的决策正确性。

实现这些目标所面临的挑战包括：如何定义“可解释性”和“透明度”仍然存在争议，不同的利益相关者可能有不同的理解和期望。提高透明度可能会牺牲模型的性能或隐私保护，如何平衡这些目标成为一个难题。当前的XAI技术可能无法为复杂的AI模型提供完全透明的解释。不同用户对解释的需求不同，如何设计能满足所有用户需求的XAI系统是一个挑战。

尽管XAI算法在提供模型解释方面取得了一定的进展，但其能力仍然存在限制。当前的XAI算法通常只能提供局部解释，而无法全面解释复杂模型的所有决策过程。一些解释可能过于简化，无法反映模型决策的真实复杂性。即使提供了解释，用户也可能因缺乏相关知识而难以理解。在实际应用中，生成解释可能需要额外的计算资源，影响系统的响应时间和效率。

算法能力与用户期望之间的差距表现在用户可能期望得到完全透明和易于理解的解释，但现有算法可能无法满足这些期望。用户可能需要额外的教育和培训才能充分利用XAI提供的解释。用户参与XAI系统的设计和评估过程可以帮助缩小这一差距，但这需要时间和资源的投入。

XAI的目标虽然明确，但要实现这些目标，需要克服定义上的模糊性、目标间的冲突、技术上的限制以及用户多样性带来的挑战。当前XAI算法的能力限制也意味着，必须通过持续的研究和开发，以及与用户的紧密合作，才能逐步缩小算法能力与用户期望之间的差距。在这个过程中，我们必须认识到，XAI不仅是技术问题，更是一个涉及伦理、社会和法律多个层面的复杂议题。

XAI算法的逻辑与推理

这一部分论文讨论了关于解释性人工智能（XAI）算法的常见推理模式。作者指出，学术文献中通常认为机器学习（ML）模型缺少某些重要能力，如可解释性、可理解性或可理解性。然后算法通过解释补充这些能力，最终促进实现目标，如建立信任或提供使用模型的理由。

作者批评了将能力与目标联系起来的推理模式，并讨论了XAI能够实现的现实期望，基于大多数提出的能力过于苛刻的诊断。为了使批评简洁，作者专注于解释性。他们认为他们的论点也适用于其他能力。

文章接着重构了一个常见的推理模式，该模式在文献中并没有明确提出，而是隐含在许多出版物的论证中。对于信任或可信度的目标，可以指出几篇出版物。例如在Ribeiro等人的文章中，“信任”一词被用在标题中。此外作者指出：通过新颖的实验，包括模拟和人类受试者在内的各种需要信任的场景，展示了解释的效用：决定是否应该信任一个预测，选择模型改进一个不可信的分类器，以及识别为什么一个分类器不应该被信任。

在另一篇出版物中，找到了“信任”的一个实例：机器学习模型和预测的解释可以服务于许多功能和受众。解释可以……验证和改进系统的功能……并增强受决策影响的个人与系统本身之间的信任。

在某些地方，可解释性甚至被宣布为人类信任ML模型的必要前提。为了让人类信任黑盒方法，我们需要可解释性——能够总结神经网络行为原因的模型，赢得用户的信任，或产生关于其决策原因的洞察。

在Erasmus等人（2021）的文章中，作者对通过促进ML模型的能力来生成信任的要求持有些保留态度，但在他们的结论中提到了这个术语。从哲学的角度来看，可以重构以下常见的推理：i) ML模型的用户只有在模型对他们来说是可解释的情况下，才能为模型的预测提供解释。ii) 这样的解释的目标是在受模型预测决策影响的行动者中产生信任。iii) 用户只有在行动者接受解释作为基于模型预测做出决策的理由时，才能在行动者中产生信任。iv) 如果行动者接受解释作为基于模型预测做出决策的理由，那么解释就会在行动者中产生信任。

文章质疑这种能力是否真的需要实现目标。一方面，人们可以要求进一步支持(ii)以及(iii)或(iv)。特别是，可解释性与信任之间的假设关系通常没有很好的定义。这在推理模式的更严格版本中变得清晰：(1) 如果模型对其用户来说是可解释的，用户就可以为基于ML模型预测的决策提供理由。(2) 如果其他人——行动者——被用户给出的理由说服，他们就会信任模型。(3) 理由通过“解释”模型给行动者起作用。因此，模型也对行动者来说是可解释的，并在行动者中建立信任。

在第二个版本中，我们通过理由的中间步骤填补了能力和目标之间的空白。然而即使ML模型对用户来说是可解释的，也没有令人信服的理由说明理由就足以说服行动者。接下来，实现信任目标的能力也可能不是必要的。例如，通过算法的能力以外的其他方式实现对技术系统的信任是可行的。行动者建立信任的一种方式可能是通过推广特定ML模型的人的声誉，或者通过相同模型或同一方推广的其他模型的过去表现来支持。

考虑到这些因素，我们可以得出一个简短的中期结论。常见的推理模式不足以解决XAI目标和能力的问题。首先必须区分目标和能力。其次需要详细审查能力。最后，能力与目标之间的关系没有得到适当的表述，而且并不清楚能力是否直接导致相应的目标。我们在这里的重点是澄清如何就XAI的能力提出正当的主张。特别是我们关注帮助用户和行动者理解ML模型的能力。我们认为所有这些澄清都是必要的，以通报关于XAI适当目标的讨论，但我们将这个讨论留到另一个场合。

用户视角下的XAI

这部分论文讨论了用户可能对特定机器学习（ML）模型提出的问题。作者通过一个关于电子邮件程序使用ML模型检测垃圾邮件的思想实验，提出了七个问题。这些问题用于界定解释性人工智能（XAI）算法的能力。虽然这些问题是基于一个例子提出的，但作者认为它们具有普遍性，也适用于其他ML应用场景。

在这个思想实验中，假设有一个垃圾邮件过滤器S，它使用监督学习方法将邮件分类为垃圾邮件和非垃圾邮件。有一个用户Alice，她看到一个被S分类为垃圾邮件的邮件M。Alice是一个好奇的电子邮件接收者，对理解ML模型感兴趣。在这种情况下，Alice可能会合理地提出一些与此相关的问题。作者提供了一个全面的问题列表，但不声称它是详尽无遗的。他们认为以下问题对Alice来说是相关的：

Q1: S为什么将M分类为垃圾邮件？

Q2: S是如何区分垃圾邮件和非垃圾邮件的？

Q3: 垃圾邮件和非垃圾邮件有什么区别？

Q4: S是如何工作的？

Q5: S的工作方式是否与Alice过去使用的另一个垃圾邮件过滤器S*相似？

Q6: Alice认为M不是垃圾邮件。S的分类与Alice的看法为何不同？

Q7: 垃圾邮件和普通邮件有什么区别？

文章还讨论了这些问题的模糊性。例如，计算机科学家可能会区分Q1是在模型返回M的预测之前（预先解释）还是在已知模型预测之后（事后解释）提出的。哲学家可能会考虑不同类型的解释的重要性。例如，对于Q1，可能会特别要求一个演绎法则解释。

文章认为，对于计算机科学和哲学的双向消歧义对于推进XAI的辩论至关重要，并且作者也努力对一些问题进行消歧义。但是，他们没有试图在本文中解释所有不同的消歧义方式。相反，他们认为讨论Q1-Q7有助于以不同的方式接近XAI的辩论，并摆脱问题性的推理模式。他们展示了以问题为中心的方法确实可以为辩论带来清晰度，并有助于揭示不切实际和无效的期望。

最后文章得出了一个改进的问题表述，认为在当前XAI文献的背景下是可以回答的：“如何将一个ML模型表示为一个使用解释属性的简单函数？”这是Q2的重新表述。

目前，XAI算法尚未回答问题 Q1 和 Q4。XAI研究主要关注非常复杂的机器学习模型，例如因为它们有数百万个数值参数。在这种情况下，以不同方式创建的两个机器学习模型最终具有相同的参数并实现相同的功能是极不可能的。因此，对于XAI研究考虑的机器学习模型，Q5 和 Q6 有着简单的答案：复杂的机器学习模型几乎不会以相同的方式工作；用户的分类功能预期与给定的复杂机器学习模型不同。

Q3可以简化为 Q2。我们已经确定了两种回答区分垃圾邮件和非垃圾邮件的方法（Q3）。第一种方法应用传统的监督机器学习方法，即特征工程和简单类型的机器学习模型的训练。这种方法在XAI作为研究领域出现之前就已经建立。回答 Q3 的第二种方法是开发一个或多个复杂的机器学习模型，如 S，然后从中派生出使用解释属性的不同简单函数。这相当于收集不同的 Q2 答案。因此，如果XAI算法解决 Q3，这只是部分的，并且只是解决 Q2 的副作用。

在这些观察之后，只剩下 Q2 进行讨论：S 是如何区分垃圾邮件和非垃圾邮件的？为了通用性，我们现在将 Q2 与思想实验中的机器学习模型 S 分离。为了讨论使用监督机器学习方法的任何类型的机器学习模型，我们提出了一个更广泛适用的问题，并将其视为“泛化”问题：Q*: 如何将一个机器学习模型表示为一个使用解释属性的简单函数？从我们的角度来看，这是XAI算法解决的核心问题。几乎所有现有的XAI算法都以某种方式贡献于用更简单的函数近似复杂的机器学习模型，或者使用解释属性而不是技术属性的函数。考虑到文献通常依赖于描述XAI算法能力的术语的模糊性——即可解释性、可解释性等——用一个简单的问题准确描述这些能力似乎令人惊讶。我们认为，文献和辩论经常对XAI算法提出超出 Q* 问题的规范性主张。例如，目前尚不清楚 Q* 如何与“信任”或“公平”等带有规范性含义的术语相关。虽然这些规范性术语可能以某种方式与XAI算法相关，但在没有明确和共享的解释的情况下使用它们会使XAI研究的结果变得模糊。这会在政治和社会中引起对XAI算法能力的误解，并最终损害机器学习研究的可信度。因此，我们倡导更现实的方法来描述XAI算法的能力：关注它们目前可以解决的问题。

鉴于XAI算法解决的核心问题 Q*，我们现在检查回答它的困难之处。我们确定了两个主要挑战。

近似：第一个挑战是用更简单的函数近似复杂的机器学习模型，所谓的替代模型。获得替代模型的基本方法是观察复杂机器学习模型的大量输入和相应的输出，然后在这些观察结果上训练一个简单的机器学习模型。也就是说，替代模型被优化以预测复杂模型的输出，而不是预测“真实”输出。替代模型相对于复杂模型的准确性，即替代模型预测复杂模型的能力，有时被称为保真度。

近似机器学习模型既是技术挑战，也是概念挑战。例如，替代模型的保真度和复杂性之间存在权衡：一般来说，更简单的替代模型将实现比复杂模型更低的保真度。因此，哪个替代模型对用户来说是最佳的取决于用户如何平衡保真度和复杂性。此外，机器学习模型的复杂性有许多定义。一种方法是计算算法执行以获得给定输入的模型输出的计算步骤的数量。然而，也有针对特定类型的机器学习模型的定义。例如，人们经常使用特定于树结构的指标来量化决策树（一种特定类型的机器学习模型）的复杂性，例如从根到叶节点的最长路径的长度。缺乏模型复杂性的通用定义可能会使选择不同类型的替代模型变得困难。

翻译：回答 Q* 的第二个挑战是将机器学习模型用于区分数据项的技术属性翻译成解释属性。技术属性包括机器学习模型的输入和模型为其预测计算的中间结果。解释属性是所有人类可以使用共享语言中的共同术语解释和相互交流的数据项的属性，请参见“关于机器学习模型的问题”部分对 Q2 的阐述。

翻译挑战的难度取决于机器学习模型的设计和应用。对于某些模型和应用，解释属性与模型使用的技术属性之间的关系是清晰的。例如，假设垃圾邮件过滤器 S 使用的电子邮件的数字表示由单个位组成，即0或1。进一步假设，这个位只有在电子邮件包含“money”一词时才设置。在这种情况下，技术属性到解释属性的映射是微不足道的。在其他情况下，这种映射存在但未知。例如，假设 S 仅依赖于电子邮件向量嵌入的第一个主成分，并且该主成分的值与“money”一词的存在强烈相关。在调查之前，人们不知道这种相关性。最后，对于某些模型和应用，不存在准确描述模型输入或中间结果的术语。

XAI研究的现状与未来

我们已经见证了从初步的概念探索到实际应用的转变。当前的XAI算法在解释复杂模型的决策过程方面取得了显著进展，但仍面临着一系列挑战。

近似挑战涉及将复杂模型简化为易于理解的形式，而不损失过多的准确性。在这方面，算法如LIME和SHAP通过局部线性模型提供了对复杂决策边界的近似解释。这些方法能够揭示特定预测背后的关键特征，但它们通常无法捕捉模型全局行为的复杂性。

翻译挑战则是将技术属性转化为用户可以理解的解释属性。例如，深度学习模型中的中间层激活可能与图像中的特定物体或形状相关联，但如何将这些技术细节转化为用户可以直观理解的信息仍然是一个难题。

尽管存在成功案例，如基于决策树的模型能够提供直观的规则集，但这些模型往往无法处理高维数据或捕捉非线性关系。此外，许多XAI方法依赖于模型的可微性，这限制了它们在某些类型的模型上的应用。

未来的XAI研究预计将在以下几个方向取得进展。

整合多模态解释：结合视觉、文本和其他形式的解释，提供更丰富的用户体验。

动态和交互式解释：开发能够与用户进行对话和互动的XAI系统，实时回应用户的查询。

因果推理：从相关性向因果关系的转变将是XAI的重要发展方向，帮助用户理解决策的深层原因。

个性化和适应性：根据用户的背景和偏好提供定制化的解释，提高XAI系统的适应性和实用性。

为了克服现有挑战，研究者需要在以下方面加强工作。

跨学科合作：结合认知科学、心理学和其他领域的知识，深入理解用户如何处理和理解信息。

算法透明度：开发新的算法和框架，使模型的内部工作机制更加透明。

用户教育：提高用户对AI和XAI的认识，使他们能够更有效地利用这些工具。

XAI的未来发展将依赖于技术创新、用户需求的深入理解以及跨领域的合作。随着这些努力的推进，我们可以期待XAI在提高AI系统透明度和可信度方面发挥更大的作用，最终推动人工智能向更加负责任和可靠的方向发展。在这个过程中，用户的参与和反馈将是不可或缺的，它们将指导XAI技术的进步，确保其满足社会的需求和期望。

参考资料：https://www.nature.com/articles/s41599-024-03277-x

波动世界（PoppleWorld)是噬元兽数字容器的一款AI应用，是由AI技术驱动的帮助用户进行情绪管理的工具和传递情绪价值的社交产品，基于意识科学和情绪价值的理论基础。波动世界将人的意识和情绪作为研究和应用的对象，探索人的意识机制和特征，培养人的意识技能和习惯，满足人的意识体验和意义，提高人的自我意识、自我管理、自我调节、自我表达和自我实现的能力，让人获得真正的自由快乐和内在的力量。波动世界将建立一个指导我们的情绪和反应的价值体系。这是一款针对普通人的基于人类认知和行为模式的情感管理Dapp应用程序。