发布人：Lora Aroyo 和 Praveen Paritosh, 研究员，Google Research
机器学习 (ML) 模型的性能既取决于学习算法，也取决于用于训练和评估的数据。算法的作用已经得到充分研究，也是众多挑战（如 SQuAD、GLUE、ImageNet 等）的焦点。此外，数据也已经过改进，包括一系列应对 ML 评估问题的研讨会。相比之下，专注于 - 用于评估 ML 模型的数据的研究和挑战并不常见。此外，许多评估数据集包含容易评估的项目，例如带有易于识别的主题的照片，因此错过了真实世界环境的自然歧义。评估中缺少模糊的真实世界样本，削弱了可靠地测试机器学习性能的能力，这使 ML 模型容易形成“弱点”，即模型难以或无法准确评估的样本的类别，因为评估集中缺少这一类样本。
为了解决识别 ML 模型中这些弱点的问题，我们最近在 HCOMP 2020 上发起了 众包机器学习不良测试集 (CATS4ML) 数据挑战赛（面向全球研究人员和开发者开放至 2021 年 4 月 30 日）。挑战的目标是提高 ML 评估集的标准，并尽可能多地找到使算法处理起来会有困惑或其他问题的样本。CATS4ML 依靠人们的能力和直觉来发现机器学习具有信心但实际上却分类错误的新数据样本。
什么是 ML 的“弱点”？
弱点有两类：已知的未知(Known Unknowns) 和未知的未知(Unknown Unknowns)。已知的未知是指模型对正确分类没有把握的样本。研究界在被称为 主动学习 的领域研究这一问题，并发现了解决方法，用很笼统的话来说就是，在不确定的样本上向人们交互式地征集新的标签。例如，如果模型不确定一张照片的主题是否是猫，会要求人员进行验证；但如果系统确定，则不会要求人员验证。虽然这方面还有改进的空间，但令人欣慰的是，模型的置信度与其性能相关，也就是说，人们可以看到模型不知道的东西。
另一方面，未知的未知是指模型对其答案充满信心，但实际上是错误的样本。主动发现未知的未知的研究（例如，Attenberg 2015 和 Crawford 2019）已经帮助发现了大量的非预期机器行为。与这类发现未知的未知方法相比，生成对抗网络 (GAN) 以计算机光学错觉的形式为图像识别模型生成未知的未知，导致深度学习模型犯下人类无法感知的错误。虽然 GAN 在有意操纵的情况下会发现模型漏洞，但真实世界样本可以更好地突出模型在日常性能中的失败。这些真实世界样本是 CATS4ML 感兴趣的未知的未知 - 挑战的目的是收集人类可以可靠地解释但许多 ML 模型会自信地不同意的未经操作的样本。
示例说明由对抗噪声引起的计算机视觉错觉如何帮助发现 ML 模型的机器操作未知的未知（基于 Brown 2018）
CATS4ML 数据挑战赛第一版：Open Images 数据集
CATS4ML 数据挑战赛 侧重于视觉识别，使用Open Images 数据集 的图像和标签。挑战赛的目标图像选自 Open Images 数据集，以及来自同一数据集的一组 24 个目标标签。挑战赛的参与者被邀请发明新的创造性方法探索这个现有的公开可用数据集，并以预先选择的目标标签列表为中心，为 ML 模型发现未知的未知样本。
来自 Open Images 数据集的样本，作为 ML 模型可能的未知的未知
CATS4ML 是对 FAIR 最近推出的 DynaBench 动态数据收集研究平台的补充。DynaBench 使用 ML 模型在人类参与下解决静态基准问题，而 CATS4ML 则专注于通过鼓励探索现有 ML 基准有无可能属于未知的未知不利样本改善 ML 评估数据集。结果将有助于检测和避免未来的错误，也将对模型的可解释性提供见解。
CATS4ML 旨在由此通过提供数据集资源来提高人们对这个问题的认识，开发者可以利用这些资源发现算法弱点。这也将让研究人员了解如何为机器学习创建更平衡、更多样化、更具有社会意识的基准数据集。
如何参与
我们邀请全球的 ML 研究人员和从业者加入我们的行列，一起从 Open Images 数据集中发现有趣、困难的样本。前往挑战赛网站注册，下载目标图像和标记数据，贡献您发现的图像，与其他参与者竞争！
要在本竞赛中得分，参与者应提交一组图像标签对供人类评分者确认，他们的投票应与该标签在多个机器学习模型上的机器平均得分有所不同。
提交的图像如何得分的示例。同一张图像可以作为假阳性 （左） 和假阴性 （右） 两种不同的标签得分。在这两种情况下，人工验证均与机器分数不同。参与者对提交的图像标签对进行评分，这意味着一张相同的图像可以成为不同标签的 ML 未知的未知样本
面向全球研究人员和开发者的挑战赛开放至 2021 年 4 月 30 日。要详细了解 CATS4ML 以及如何加入，请访问挑战赛网站。
致谢
CATS4ML 数据挑战赛之所以能成功发布，离不开许多人的勤勉工作，包括但不限于以下人士（以姓氏字母排序）：Osman Aka、Ken Burke、Tulsee Doshi、Mig Gerard、Victor Gomes、Shahab Kamali、Igor Karpov、Devi Krishna、Daphne Luong、Carey Radebaugh、Jamie Taylor、Nithum Thain、Kenny Wibowo、Ka Wong 和 Tong Zhou。
原文：Uncovering Unknown Unknowns in Machine Learning
中文：谷歌开发者公众号