文 / James Wexler，软件开发者和Ian Tenney，软件工程师，Google Research
随着自然语言处理 (NLP) 模型的越发强大，并被部署于越来越多的真实世界环境，对其行为的理解也变得更加重要。虽然模型的发展为大量 NLP 任务带来了空前的性能提升，但许多研究问题仍然存在。这些问题不仅涉及模型在领域转移和对抗环境下的行为，还涉及其在社会偏见或浅层启发法影响下的行为倾向。
任何新模型都可能引起这样的疑问：模型在哪些情况下表现不佳？模型为什么会做出某种预测？或者，在文本样式或 代词性别 等不同输入发生变化后，模型是否具有一致的行为？然而，尽管最近有关模型理解和评估的研究呈爆炸式增长，却还是没有用于分析的“灵丹妙药”。
从业者必须经常测试大量技术，研究局部解释，汇总指标和输入的反事实 (Counterfactual) 变化，才能更好地理解模型行为。而在这些技术中，通常每一种都需要特有的软件包或定制工具。我们先前发布的 What-If 工具 就是为了解决这一挑战而构建。它实现了分类和回归模型的黑盒探查，使研究人员可以更轻松地调试性能并通过互动和可视化来分析机器学习模型的公平性。但是我们仍需一种工具包来应对 NLP 模型的特有挑战。
考虑到这些挑战，我们构建并 开源 了用于 NLP 模型理解的互动平台 Language Interpretability Tool (LIT)。LIT 以 What-If 工具的经验为基础，对功能进行了大幅扩展，涵盖了广泛的 NLP 任务，包括序列生成、跨度标记、分类和回归，以及可自定义和可扩展的可视化效果和模型分析。
LIT 支持局部解释，包括显著图、注意力和模型预测的丰富可视化效果，以及包括指标、嵌入向量空间和灵活分片在内的汇总分析。它允许用户在可视化效果之间轻松切换，以测试局部假设并在数据集上进行验证。LIT 为反事实生成提供支持，其能够即时添加新的数据点，并将其对模型的影响立即可视化。并行比较允许同时可视化两个模型或两个单独的数据点。有关 LIT 的更多详细信息，请参阅我们在 EMNLP 2020 发表的系统演示 论文。
通过 LIT 探索情感分类器
自定义
为了更好地应对广大 LIT 用户不同的兴趣和优先偏好，我们从工具构建伊始就秉承易于自定义和可扩展的原则。只需编写少量 Python 代码，即可在特定的 NLP 模型和数据集上使用 LIT。支持使用 Python 编写自定义组件，例如特定于任务的指标计算或反事实生成器，并通过我们提供的 API 将其添加到 LIT 实例。
此外，前端本身也可自定义，新的模块可以直接集成到界面中。有关扩展工具的更多信息，请参阅我们在 GitHub 上的文档。
演示
为了说明 LIT 的部分功能，我们使用预先训练的模型创建了一些演示。完整列表位于 LIT 网站 上，我们在这里介绍其中两个：
- 情感分析：在此示例中，用户可以探索基于 BERT 的二元分类器，该分类器可预测句子的情感为正面还是负面。演示使用影评句子的 Stanford Sentiment Treebank（斯坦福情感分析树库）来演示模型行为。可以使用多种技术（例如 LIME 和积分梯度）提供的显著图来检查局部解释，还可以使用回译 (Back-translation)、单词替换或对抗攻击等技术，通过受干扰（反事实）的样本测试模型行为。此类技术有助于查明模型在什么情况下会失败，以及这些失败是否可以泛化并用于确定改进模型的最佳方式。
分析不正确预测的基于分词的显著性：“laughable”一词似乎不正确地提高了此示例的正面情感分数
- 掩码字词预测：掩码语言模型是一项“填空”任务，其中模型预测可以补全一个句子的不同单词。例如，给定问题“I took my ___ for a walk”，模型可能会预测“dog”的分数较高。在 LIT 中，输入句子或从预加载的语料库中选择，然后点击特定词例，即可进行交互式探索，查看 BERT 类模型对语言或世界的理解。
交互式选择一个词例进行遮盖，查看语言模型的预测
LIT 的实践与未来
尽管 LIT 是一种新工具，但它已展现出可为模型理解提供的价值。通过它的可视化，可发现模型行为中的模式，如嵌入向量空间中的异常簇，或者对预测具有重要意义的单词。
LIT 中的探索可以测试模型中的潜在偏见，正如我们在 使用 LIT 探索共指模型中的性别偏见的案例研究 中演示的那样。此类分析可为进一步提升模型性能提供信息，例如 应用 MinDiff 缓解系统性偏见。它还可用于轻松快速地创建任何 NLP 模型的互动演示。
您可以通过我们提供的演示或为您自己的模型和数据集启动 LIT 服务器来了解这一工具。LIT 的工作才刚刚开始，接下来将有许多新功能和改进按计划推出，包括来自前沿 ML 和 NLP 研究的全新可解释性技术。如果您希望将其他技术添加到工具中，请告诉我们！加入我们的 邮件列表，获知 LIT 的最新动态。代码已经开源，我们也期待有关该工具的 反馈 和贡献。
致谢
LIT 是 Google Research PAIR 和 语言 团队的合作成果。这篇博文代表了 Google 众多贡献者的付出，包括 Andy Coenen、Ann Yuan、Carey Radebaugh、Ellen Jiang、Emily Reif、Jasmijn Bastings、Kristen Olson、Leslie Lai、Mahima Pushkarna、Sebastian Gehrmann 和 Tolga Bolukbasi。我们要感谢 Google 内外所有为该项目做出贡献的人，以及试用项目并提供宝贵反馈的团队。
原文：The Language Interpretability Tool (LIT): Interactive Exploration and Analysis of NLP Models
中文：谷歌开发者公众号