动物不断响应大脑的指令而运动。但是，尽管有先进的技术可以根据神经活动来测量这些指令，但仍缺乏用于量化自由移动动物自身行为的技术。这种无法测量大脑关键输出的能力限制了我们对神经系统及其在疾病中的变化的理解。

杜克大学和哈佛大学研究人员的一项新研究引入了一种自动化工具，该工具可以轻松捕获行为自由的动物的行为，并通过单个摄像机精确地重建其三维(3D)姿态，而无需标记。

杜克大学助理教授蒂莫西·邓恩(Timothy W. Dunn)和哈佛大学博士后研究员杰西·马歇尔(Jesse D.Marshall)在4月19日进行的《自然方法》研究中，描述了一种新的3D深层神经网络DANNCE(3维对齐神经网络，用于计算民族学)。该研究是该团队于2020年在Neuron中进行的研究的结果，该研究揭示了突破性的行为监控系统CAPTURE(使用后向反射器嵌入的连续阑尾和姿势跟踪)，该系统使用了运动捕捉和深度学习功能不断跟踪行为自由的动物的3D运动。捕捉对动物的行为产生了前所未有的详细描述。但是，它需要使用专门的硬件并将标记物附加到动物上，这给使用带来了挑战。

Dunn说：“有了DANNCE，我们可以减轻这一要求。” “ DANNCE即使在看不见的情况下也可以学会跟踪身体部位，这增加了可以使用该技术的环境的类型。我们需要这种不和灵活性来测量自然环境中的运动，以更有可能激发出完整的感觉。以及这些动物的行为举止复杂。”

DANNCE可在广泛的物种中工作，并且可在实验室和环境中重现，从而确保其对动物乃至人类的行为研究具有广泛的影响。它具有专门的神经网络，专门用于从视频进行3D姿势跟踪。一个关键方面是其3D特征空间以物理单位(米)而不是相机像素为单位。这使该工具可以更容易地在不同的相机布置和实验室之间进行归纳。相反，以前的3D姿态跟踪方法使用的是经过量身定制的二维(2D)姿态检测神经网络，该网络难以适应新的3D视点。

马歇尔说：“我们将DANNCE与旨在执行类似任务的其他网络进行了比较，发现DANNCE的性能优于它们。”

为了预测动物身上的地标，DANNCE需要大量的训练数据集，一开始收集起来似乎很艰巨。哈佛大学生物与进化生物学系教授BenceÖlveczky说：“深度神经网络功能强大，但是却非常耗数据。” “我们意识到，CAPTURE可以准确地生成这些小的人工大脑进行魔术所需的丰富而高质量的训练数据。”

研究人员使用CAPTURE从30个不同的相机视图中收集了700万个图像实例并标记了大鼠的3D关键点。马歇尔说：“它可以立即对新的老鼠起作用，即使是那些没有佩戴标记笔的老鼠也是如此。” “但是，当我们发现它还可以通过一些额外的示例来跟踪小鼠时，我们真的感到非常兴奋。”

发现后，该团队与杜克大学，麻省理工学院，洛克菲勒大学和哥伦比亚大学的多个小组合作，以证明DANNCE在各种环境和物种中的普遍性，包括chick猴，山雀和大鼠幼仔的生长和发育。

Ölveczky说：“值得注意的是，这个小网络现在有自己的秘密，可以推断出未经训练的动物的精确运动，即使他们的大部分身体都看不见了也是如此。”

这项研究着重介绍了DANNCE的一些应用，这些应用使研究人员能够检查动物行为的微观结构，远远超出了人类观察所能达到的范围。研究人员表明，DANNCE可以提取出单独的“指纹”来描述小鼠做出的不同行为的运动学。这些指纹应使研究人员能够获得行为的标准化定义，这些行为可用于改善实验室之间的可重复性。他们还展示了随着时间的推移仔细追踪行为出现的能力，为神经发育研究开辟了新途径。

测量疾病动物模型的运动对于基础和临床研究计划都至关重要，而DANNCE可以轻松应用于这两个领域，从而加速了整个领域的发展。NIH和西蒙斯基金会自闭症研究计划(SFARI)为CAPTURE和DANNCE提供了部分资金，研究人员注意到这些工具对于在动物模型和人类中与自闭症相关的研究和运动相关的研究具有重要的意义。

“由于我们对人的运动和运动进行严格量化的能力非常差，这使我们无法将运动障碍分为专门的亚型，可能具有不同的潜在机制和补救措施。我认为人们注意到的任何领域都已经被无法量化整个人口的影响，将会从应用这项技术中受益匪浅。”邓恩说。

研究人员开源了该工具，并且该工具已经在其他实验室中使用。展望未来，他们计划将该系统应用于与多种动物互动。马歇尔说：“丹尼斯改变了研究自由活动动物行为的游戏。” “这是我们第一次能够以3D方式跟踪实际的运动学，并以前所未有的方式详细了解动物的行为。这些方法在我们了解大脑运作方式的过程中将变得越来越重要。”