导读深度学习在以人为中心的传感和建模中创建大规模数据集方面取得了进展。最近的一篇论文介绍了一个由1000个人类受试者组成的综合人类数据集。...
深度学习在以人为中心的传感和建模中创建大规模数据集方面取得了进展。最近的一篇论文介绍了一个由1000个人类受试者组成的综合人类数据集。它由十个同步的RGB-D摄像头组成,用于捕捉视频和深度序列。
数据有多种格式和注释:彩色点云、2D/3D关键点、统计模型参数或无模型纹理网格。此外,已将内置激光雷达的手机添加到数据收集中,以方便相关研究。为了从根本上代表人类的动作,通过对主要肌肉群进行分类设计了500个动作。
实验表明,该数据集可用于细粒度动作识别、基于点云的参数化人体恢复或跨设备传输知识等任务。
4D人体传感和建模是具有众多应用的视觉和图形的基本任务。随着新传感器和算法的进步,对更通用的数据集的需求不断增加。在这项工作中,我们贡献了HuMMan,这是一个具有1000个人体受试者、400k序列和60M帧的大规模多模态4D人体数据集。HuMMan有几个吸引人的特性:1)多模态数据和注释,包括彩色图像、点云、关键点、SMPL参数和纹理网格;2)传感器套件中包含流行的移动设备;3)一组500个动作,旨在涵盖基本动作;4)支持和评估动作识别、姿态估计、参数人体恢复和纹理网格重建等多项任务。