有关房屋销售的数据可能不会帮助寻找汽车的人,就像有关篮球的信息不会帮助打棒球的人一样。但在卡内基梅隆大学的人类智能传感 (SMASH) 实验室内,情况并非如此,研究人员使用从一种传感器收集的数据来训练另一种传感器。他们的工作称为 IMU2Doppler,表明从智能手表中的惯性测量单元 (IMU) 传感器收集的数据可以快速训练毫米波多普勒来识别人类运动和行为。
多普勒传感器使用毫米波和多普勒效应来确定移动物体的速度和方向。环境传感器可以安装在智能家居中,它可以识别和跟踪日常活动,例如吃、喝、刷牙和叠衣服。它是一种保护隐私的替代方案,可以替代带有扬声器和摄像头的流行智能设备,这些设备引起了人们对隐私的担忧。
虽然存在用于训练依赖于 IMU 或视频的传感器的大型标记数据集,但它们不存在用于多普勒传感器。收集和标记数据需要时间和资源——研究人员可以通过 SMASH 实验室团队的工作来避免这些支出。
“多年来,Fitbit 和 Apple Watch 等可穿戴设备已经司空见惯。人们已经花费了大量时间来标记日常活动的 IMU 数据集,我们可以利用它来标记新的传感器,例如多普勒。” SMASH Lab 的成员和博士 Rushil Khurana 说。人机交互专业的学生。
该团队使用在现有 IMU 和视频数据上训练的神经网络来促进多普勒传感器模型的训练,并发现它只需要几秒钟的自己的训练数据就可以达到 75% 的准确率。这项工作建立在以前的视频和音频工作的基础上。
除了跟踪房屋中的日常活动外,SMASH 实验室的研究人员最终还希望跟踪和监控人们在家中的活动,以帮助医生、顾问、临床医生和其他医疗专业人员发现疾病或潜在问题的迹象。安装在人们家中的多普勒传感器可以使这成为可能。
“我们希望将一个人在家中的活动和行为与他们的身心健康联系起来。我们可以帮助诊断抑郁症、睡眠疲劳和其他疾病。” SMASH 实验室负责人、软件研究所和人机交互研究所的助理教授 Mayank Goel 说。