摘要
本周学习了可解释机器学习在破解AI“黑箱”中的关键作用，强调其通过局部解释和全局解释两大技术路径，揭示模型决策依据。局部方法针对单次预测提供即时理由，全局方法从整体层面剖析模型逻辑模式
Abstract
This week's study focused on the crucial role of explainable machine learning in demystifying the AI "black box," highlighting how it employs two main technical approaches—local and global interpretation—to unveil the reasoning behind model decisions. Local methods provide immediate justification for individual predictions, while global approaches analyze the model's logical patterns at a holistic level.
一、可解释机器模型
可解释机器学习的目标是提供方法使人类能够理解复杂AI模型的内部运作逻辑与决策原因，从而使其预测过程可被理解、验证并建立信任。
二、两类可解释模型
第一类是内在可解释模型，也称为白盒模型。这类模型本身结构简单、逻辑透明，其决策过程可以直接被人类理解和追溯，例如线性回归的系数、决策树的判断路径。使用这类模型意味着在建模时就将可解释性作为核心要求，虽然它们可能无法捕捉极其复杂的数据模式，但其高透明度在金融风控、医疗诊断等对可信度和合规性要求极高的领域至关重要。
第二类是事后可解释方法，专为解释复杂的“黑盒”模型而设计。当人们为了追求极高预测性能而使用了深度学习、随机森林等复杂模型后，这类方法（如LIME、SHAP、部分依赖图以及您图中提到的探针分析）能够像“X光”一样，在不改变模型内部的前提下，通过外部技术去分析、近似和展示模型的决策依据。它解决了“性能与解释不可兼得”的困境，让我们在享受强大模型预测能力的同时，仍能对其行为进行理解、验证和信任评估。
三、模型是如何处理输入的数据
可解释机器学习处理数据的核心，在于通过各种“探针”式的分析方法，揭示数据在复杂模型内部被逐层转化和表示的过程。 这尤其体现在对“黑箱”模型的事后解释中。原始输入数据（如图中的x^1, x^2...）进入网络后，会依次流经多个处理层级（Block）。可解释性技术会在这些关键层级上设置“探针”，通过训练一系列简单的诊断分类器（Classifier），来主动探查和回答“这一层的内部表示是否编码了名词、动词、地点或实体等特定语义信息？”。从而动态地、分层地理解模型是如何从原始数据中逐步提取和组合出语法、语义等高级特征，并最终形成预测的。
