《阿拉丁》中的有情魔毯可能会有一个新的竞争对手。虽然它不能飞行或说话,但麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的一种新型触觉感应地毯可以在不使用摄像头的情况下估计人体姿势,朝着改善自供电的个性化医疗保健、智能家居和游戏迈出一步。
我们的许多日常活动都涉及与地面的身体接触:步行、锻炼或休息。这些嵌入式交互包含丰富的信息,可帮助我们更好地了解人们的动作。
之前的研究利用了单个 RGB 摄像头(想想 Microsoft Kinect)、可穿戴全向摄像头,甚至是普通的现成网络摄像头,但不可避免地会出现摄像头遮挡和隐私问题的副产品。
CSAIL 团队的系统仅使用摄像头来创建系统训练的数据集,并且仅捕获人员执行活动的时刻。要推断 3D 姿势,一个人只需坐在地毯上,执行一个动作,然后团队的深度神经网络仅使用触觉信息,就可以确定这个人是在做仰卧起坐、伸展运动还是在做另一个动作。
“你可以想象利用这个模型为高危人群启用无缝的健康监测系统,用于跌倒检测、康复监测、移动性等,”关于地毯的论文的主要作者 Yiyue Luo 说。
地毯本身成本低且可扩展,由商用压敏薄膜和导电线制成,有超过 9000 个传感器,跨度为 36 英尺,宽度为 2 英尺。(大多数客厅地毯的尺寸是八乘十或九乘十二。)
地毯上的每个传感器通过人的脚、四肢、躯干和地毯之间的物理接触,将人的压力转换为电信号。该系统专门针对同步的触觉和视觉数据进行了训练,例如视频和某人做俯卧撑的相应热图。
该模型以从视觉数据中提取的姿态作为ground truth,使用触觉数据作为输入,最后输出3D人体姿态。
这可能看起来像,在踏上地毯并进行俯卧撑设置后,系统能够生成某人做俯卧撑的图像或视频。
事实上,该模型能够以小于 10 厘米的误差幅度(通过预测的人体关键点和地面实况关键点之间的距离来衡量)来预测一个人的姿势。对于特定动作的分类,该系统在 97% 的时间是准确的。
“你可以想象将地毯用于锻炼目的。仅根据触觉信息,它可以识别活动,计算代表次数,并计算燃烧的卡路里量,”该论文的合著者李云珠说。
由于大部分压力分布是由下半身和躯干的运动引起的,因此该信息比上半身数据更准确。此外,该模型无法在没有更明确的地板接触的情况下预测姿势,例如仰卧起坐时自由漂浮的腿,或站立时扭曲的躯干。
虽然该系统可以理解一个人,但科学家们想要改进多个用户的指标,其中两个人可能在地毯上跳舞或拥抱。他们还希望从战术信号中获得更多信息,例如一个人的身高或体重。