2022年2月11日整理发布：可解释性方法通常衡量对 AI 系统输入的更改如何修改其输出，而无需窥探其内部。例如，在图像分类器的情况下，研究人员对像素值进行微小更改，并观察这些更改如何影响 AI 检测到的类别。基于这些观察，他们提供了一个热图，显示哪些像素(或机器学习术语中的特征)与 AI 更相关。

在她的论文中，Rudin 认为，可解释性方法并不一定能深入了解黑盒 AI 模型的工作原理。

“解释模型并不总是试图模仿原始模型所做的计算，”鲁丁写道。“它们没有给出忠实于原始模型的解释，而是显示了预测与特征之间的关系趋势。”

这可能导致关于黑盒 AI 系统和可解释性方法的错误结论。例如，对黑盒累犯人工智能系统的调查发现该软件存在种族偏见。但是研究人员用来解释人工智能决策的方法是一个取决于种族的线性模型，而所讨论的累犯系统是一个复杂的非线性人工智能系统。虽然调查确实揭示了做出关键决策的人工智能系统需要透明度，但它并没有准确解释目标系统是如何工作的。据我们所知，AI 中可能存在更多有问题的相关性，而调查并未发现这些相关性。

人工智能解释技术的问题在计算机视觉系统的显着性图中也很明显。这些技术中的大多数将突出显示图像的哪些部分导致图像分类器输出标签。但是一个标签的显着性图并没有提供足够的信息来说明人工智能系统如何使用数据。

例如，为“哈士奇”和“横笛”提供的显着图奇怪地相似。这表明，虽然分类器专注于哈士奇照片的正确部分，但没有证据表明它正在检测正确的特征。

Rudin 警告说，这种做法会误导用户认为解释是有用的。“糟糕的解释会让黑匣子的故障排除变得非常困难，”她写道。

最后，Rudin 指出，可解释性技术不仅不能解决调查过于复杂的黑盒 AI 的问题，而且通过给我们两个系统来解决问题，进一步加剧了这个问题：原始 AI 模型和可解释性工具。