发布人：软件工程师 Michael Dixon 和 Google Health 产品经理 Reena Singhal Lee
人们经常通过技术来管理自己的身心健康，运用技术记录日常运动，测量心率，或是了解睡眠模式。当然，睡眠是日常健康的基础，并容易受到生活其他方面（如情绪、精力、饮食、效率等）的影响，反过来也会影响上述这几方面。
我们一直致力于支持健康与幸福。为此，今天我们宣布在新的 Nest Hub 中推出睡眠感知功能，该功能使用基于雷达的睡眠跟踪技术以及咳嗽和打鼾检测算法。虽然并非用于医疗目的¹，但睡眠感知有助于用户通过床边装置更好地了解自身的夜间健康状况，用户可以选择启用。我们在本文中介绍睡眠感知背后的技术，并讨论我们如何利用设备端信号处理，以保护用户隐私的方式实现睡眠监测（效果可与其他临床和消费级设备相媲美）。
用于睡眠跟踪的 Soli
Soli 首次应用于健康管理是 Nest Hub 的睡眠感知功能。Soli 是一个微型雷达传感器，可用于各种程度（从手指点按到人体运动）的手势感应。在 Pixel 4 中，Soli 为 Motion Sense 提供助力，从而实现与手机的非接触式互动，可以切换歌曲、暂停闹钟，以及来电静音。我们扩展了这项技术，开发了一种基于 Soli、可在 Nest Hub 中用于睡眠跟踪的嵌入式算法。
Soli 包含一个毫米波调频连续波 (FMCW) 雷达收发器，能发射超低功率的无线电波并测量感兴趣场景的反射信号。反射信号的频谱包含场景内物体距离和速度的综合信息。通过处理这个信号，我们能够隔离出一个特定的兴趣范围，如用户的睡眠区域，并检测和描述这个区域内的各种运动，包括大幅度身体动作和亚厘米级呼吸动作。
Soli 声谱图展示其检测各种运动的能力，如 (a) 空房间（黑色空间表示反射信号没有变化）、(b) 较大的姿势变化、(c) 短暂的肢体运动，和 (d) 休息时呼吸产生的亚厘米级胸部和躯干位移
为了将这一信号用于睡眠感知，有必要设计一种算法以确定用户是否出现在指定睡眠区域以及是睡着还是清醒。我们设计了一个自定义机器学习 (ML) 模型用于连续的 3D 雷达张量流（总结一定距离、频率和时间内的活动），并自动将每个特征归类为三种状态之一：不在场、清醒和睡着。
为训练和评估该模型，我们记录了数千人超过一百万小时的雷达数据，以及数千份睡眠日志、参考传感器记录和外部注释。然后，我们通过 TensorFlow Extended 框架创建训练流水线来处理这些数据，并生成高效的 TensorFlow Lite 嵌入式模型。此外，我们还创建了一个自动校准算法。该算法在设置时间内运行，以指定分类器所关注的场景部分。这样可确保该算法忽略床上另一边人的运动或房间其他物体的运动，如旋转的吊扇和摇摆的窗帘。
自定义 ML 模型有效地处理连续的 3D 雷达张量流（总结一定距离、频率和时间内的活动），以自动计算用户在场以及清醒或睡着的可能性的概率
为了验证该算法的准确性，我们将其与睡眠/清醒测定的黄金标准“多导睡眠图睡眠研究”进行对比，研究对象是 33 名年龄跨度非常大（从 19 岁到 78 岁）的“健康睡眠者”（即那些没有睡眠呼吸中止症或失眠症等重大睡眠问题的人）。睡眠研究通常在临床和研究实验室进行，以便收集各种身体信号（脑电波、肌肉活动、呼吸频率和心率测量、身体运动和位置以及打鼾），然后由睡眠专家进行分析，以确定睡眠阶段并识别相关事件。为了说明不同的评分者在应用美国睡眠医学会阶段区分与评分规则上的不同，在我们的研究中，两位具备睡眠认证技术专家会独立地为每一夜睡眠添加注释并建立明确的基本事实。
30 秒时间间隔，我们将睡眠感知算法的输出与相应的真实睡眠和清醒标签进行比较，以计算标准性能指标（例如敏感性和特异性）。虽然不是真正的正面比较，但本研究的结果可以与之前发表的、利用类似方法且研究对象为类似群组的研究进行比较，从而粗略估计性能。在《借助非接触式床边雷达睡眠感知系统执行睡眠/清醒检测》(Sleep-wake detection with a contactless, bedside radar sleep sensing system) 中，我们分享了这些验证结果的全部细节，证明了睡眠/清醒估测的效果等同于或在某些情况下优于目前的临床和消费级睡眠跟踪设备。
之前发表的各种不同研究中，对比多导睡眠图在睡眠（敏感性）和清醒（特异性）检测准确度上各种睡眠跟踪器的综合表现，共计 3990 个夜晚。虽然这不是正面比较，但图中在运用于同时接受多导睡眠图检查的健康睡眠者群体添加了 Nest Hub 睡眠感知时的性能数据，以进行粗略比较。每个圆圈的大小反映了夜晚的数量，边衬区说明了性能指标的均值±标准差
借助音频检测睡眠质量
上述基于 Soli 的算法为用户追踪睡眠提供了方便可靠的方法，以了解睡眠量和睡眠中断发生的时间 。但是，为了解和改善睡眠，用户还需要了解导致睡眠中断的原因 。为了协查原因，Nest Hub 通过其传感器阵列来跟踪常见的睡眠干扰因素，如光线水平变化或不舒服的室温。除此以外，咳嗽和打鼾等呼吸因素也是频繁的干扰源，但人们往往不会意识到这些因素。
与其他语音或音乐识别等音频处理应用一样，咳嗽和打鼾在音频频谱中表现出独特的时间模式，并且只要有足够的数据，就能训练出 ML 模型，可靠地识别这些模式，同时忽略各种背景噪音，如嗡嗡作响的风扇和路过的汽车。该模型完全使用设备端音频处理，并采用隐私保护分析，不会将原始音频数据发送到 Google 服务器。然后，用户可以选择将处理结果（声音出现信息，如咳嗽次数和打鼾分钟数）保存在 Google 健身中，以便查看一段时间内个人夜间健康状况的数据分析和总结。
Nest Hub 显示打鼾和咳嗽何时可能干扰了用户睡眠（顶部），并可以跟踪每周趋势（底部）
为训练模型，我们从公开的 AudioSet 研究数据集以及由数千人提供的数十万个额外真实世界音频剪辑中提取示例，汇集编了大型的手动标记数据集。
比较咳嗽（左）和打鼾（右）音频片段的对数梅尔声谱图输入
当用户启用床边 Nest Hub 的咳嗽与打鼾跟踪时，设备会首先使用其基于 Soli 的睡眠算法来检测用户睡眠开始时间。一旦检测到用户已经入睡，它就会激活设备端的声音感知模型并开始处理音频。该模型不断从输入音频中提取类似声谱图的特征，并馈入卷积神经网络分类器，以估算在给定时刻咳嗽或打鼾的概率。设备会整晚分析这些估计值，生成总体咳嗽次数和打鼾持续时间的报告，并突出显示这些事件发生的确切时间。
结论
新的 Nest Hub 及其底层的睡眠感知功能，是助力用户使用保护隐私的雷达和音频信号了解其夜间健康状况的第一步。我们将继续研究环境感应和消费类设备的预测能力帮助人们在保护隐私的情况下更好了解日常健康与保健的其他方式。
致谢
这项研究是多学科团队通力合作的成果，其中包括软件工程师、研究人员、临床医生和跨职能贡献者。特别感谢 D. Shin 对这项技术和这篇博文的重大贡献，并感谢隶属于 Stanford/VA Alzheimer’s Center 和 Stanford Sleep Center 的访问睡眠神经学家 Logan Schneider 博士，其临床专业知识和贡献为持续进行这项研究提供了非常宝贵的指导。除本文作者之外，来自 Google Health、对这项研究做出主要贡献的人员包括 Jeffrey Yu、Allen Jiang、Arno Charton、Jake Garrison、Navreet Gill、Sinan Hersek、Yijie Hong、Jonathan Hsu、Andi Janti、Ajay Kannan、Mukil Kesavan、Linda Lei、Kunal Okhandiar、Xiaojun Ping、Jo Schaeffer、Neil Smith、Siddhant Swaroop、Bhavana Koka、Anupam Pathak、Jim Taylor 博士，以及整个团队。另外特别感谢 Ken Mixter 对这项技术开发以及集成到 Nest Hub 的支持和贡献。感谢 Mark Malhotra 和 Shwetak Patel 的持续领导，并感谢 Nest、健身、Soli 和 Google 助理团队与我们合作，在 Nest Hub 上构建和验证睡眠感知技术。
¹ 并非用于诊断、治愈、缓解、预防或治疗任何疾病或病症。
