文 / Huanming Fang 和 Hui Miao，软件工程师，Google Research
从医疗健康到个人金融再到就业等影响人们生活的各个领域中，机器学习 (ML) 模型的透明度非常重要。下游用户所需要的信息各有不同，而开发者在确定某个模型是否适合其用例时所需的详细信息也有所不同。出于对透明度的迫切需要，我们针对模型透明度开发了一种新工具，即 * 模型卡 * (Model Cards)，提供了用于报告 ML 模型来源、用途以及道德知情评估的结构化框架，并详细概述了有益于开发者、监管机构和下游用户的模型用途建议和限制。
在过去的一年里，我们 公开发布了模型卡，并致力于为 Google 各个团队所发布的开源模型创建模型卡。例如，MediaPipe 团队创建了用于很多常见任务的前沿 (SOTA) 计算机视觉模型，并在他们的 GitHub 代码库 中提供了用于每个开源模型的模型卡。创建这样的模型卡需要付出大量的时间和努力，通常需要对数据和模型性能进行详细评估和分析。在很多情况下，需要额外评估模型在不同数据子集上的表现，并注意该模型表现不理想的任何区域。此外，模型卡创建者可能希望报告模型的预期用途和限制，以及潜在用户可能认为有用的任何道德考量，并以可访问和可理解的格式来编译和展示这些信息。
为了简化所有 ML 从业者的模型卡创建工作，我们分享了 模型卡工具包 (Model Card Toolkit，MCT)，这是一个工具集合，包含了支持开发者编译进入模型卡的信息以及帮助创建对于不同受众均有用的工具。为了说明如何在实践中使用 MCT，我们还发布了一个 Colab 教程，可用于为 UCI 人口普查收入数据集 上训练的简单分类模型构建模型卡。
MCT 简介
为了引导模型卡的创建者组织模型信息，我们提供了一个 JSON 架构，用于指定要包含在模型卡中的字段。通过使用与 ML 元数据 (MLMD) 一起存储的模型来源信息，MCT 会自动使用相关信息（例如，数据中的类别分布和模型性能统计数据）填充 JSON。我们还提供了 ModelCard 数据 API，用于表示 JSON 架构的实例并将其可视化为模型卡。模型卡的创建者可以选择要在最终模型卡内显示的指标和图表，如用于突出显示模型性能可能偏离其整体性能之区域的指标。
在 MCT 使用关键指标和图表填充了模型卡之后，模型卡的创建者可以使用与模型的预期用途、限制、权衡 (Trade-offs) 以及使用此模型的人须知的相关道德考量因素。如果模型对于特定的数据表现不理想，模型卡的限制部分将提供补充说明，同时也提供了缓解策略建议来帮助开发者解决这些问题。此类信息在帮助开发者确定某个模型是否适合其用例时至关重要，同时可帮助模型卡的创建者提供上下文，以便他们的模型得到恰当使用。目前，我们提供了一个 UI 模板 来直观呈现模型卡。如果您要以其他格式可视化这些信息，可以利用 HTML 创建不同的模板。
现在，任何人均可通过 TensorFlow Extended (TFX) 以开源代码形式或在 Google Cloud Platform 上使用 MCT。未通过 TFX 提供其 ML 模型的开发者仍然可以利用 JSON 架构和相关的方法来通过 HTML 模板实现可视化。
结论
目前，MCT 包含用于广泛呈现 ML 模型的标准模板，但我们将继续为更特定的 ML 应用创建 UI 模板。如果您想加入有关哪些字段很重要以及如何将 MCT 充分用于不同用例的讨论，可以从 此处 或从 Colab 教程 开始。如果您想与我们分享如何将 MCT 用于您的用例，请发送电子邮件至 [email protected]。您可以在 TensorFlow 生态系统中的 TensorFlow Responsible AI 页面上详细了解 Google 为推广负责任的 AI 所做出的努力。
致谢
Huanming Fang、Hui Miao、Karan Shukla、Dan Nanas、Catherina Xu、Christina Greer、Tulsee Doshi、Tiffany Deng、Margaret Mitchell、Timnit Gebru、Andrew Zaldivar、Mahima Pushkarna、Meena Natarajan、Roy Kim、Parker Barnes、Tom Murray、Susanna Ricco、Lucy Vasserman 和 Simone Wu
原文：Introducing the Model Card Toolkit for Easier Model Transparency Reporting
中文：TensorFlow 公众号（原标题： 模型卡工具包 — 轻松呈现透明度）