为了有效地导航周围环境并完成任务，无人机系统 (UAS) 应该能够检测周围环境中的多个物体并随着时间的推移跟踪它们的运动。然而，到目前为止，在无人驾驶飞行器中实现多目标跟踪已被证明是相当具有挑战性的。

洛克希德马丁人工智能中心的研究人员最近开发了一种新的深度学习技术，可以让 UAS 跟踪周围环境中的多个物体。他们的技术在 arXiv 上预先发表的一篇论文中提出，可以帮助开发性能更好、响应更快的自主飞行系统。

研究人员在论文中写道：“我们提出了一种强大的对象跟踪架构，旨在适应实时情况下的噪声。” “我们提出了一种称为深度扩展卡尔曼滤波器 (DeepEKF) 的运动学预测模型，其中使用序列到序列架构来预测潜在空间中的实体轨迹。”

谢万林、Jaime Ide 和他们在洛克希德马丁 AI 中心的同事创建的运动学预测模型本质上使用获得的图像嵌入和计算注意力机制来权衡图像不同部分的“重要性”，以预测变化和未来状态。随后，该模型通过使用卷积神经网络(CNN) 编码器分析图像，并使用 Siamese 神经网络进行预训练，从而利用相似性度量来计算对象之间的距离。

孪生神经网络是一种人工智能技术，其中两个相同的神经网络为每个单独的数据输入生成特征向量并比较这些向量。这些方法在研究人员试图检测图像中的异常或差异以及面部和物体识别应用的情况下特别有用。

研究人员使用集成在固定翼无人机系统上的摄像头收集的带注释的视频片段评估了他们的深度学习技术。这些带标签的视频序列包含一系列移动物体，包括人和车辆。

研究人员在他们的论文中写道：“我们希望准确地诊断出我们的模型在连续时间段内准确、一致地跟踪不同对象实体的能力。” “我们研究了几种性能指标，包括缺席预测、预测召回图、跟踪寿命等。”

卡尔曼滤波器 (KF) 是一种算法，当它被输入随时间收集的一系列测量值时，它可以估计一些未知变量。研究人员提出的多目标跟踪方法是 KF 的更高级版本，它也集成了深度学习技术。

在初步评估中，Xie、Ide 及其同事开发的 DeepEKF 架构取得了显著成果，在多目标跟踪方面的性能优于标准 KF 算法。未来，他们的框架因此可用于增强各种 UAS 的能力。

研究人员在论文中写道：“虽然我们报告了概念结果的证明，但随着我们收集更多数据，有必要对 DeepEKF 以及 Siamese 网络进行进一步训练。” “特别是，我们计划为长期跟踪(重新识别)组件添加更广泛的评估。另一个有前途的场所是在给定环境和跟踪状态的情况下，在相似性融合组件中动态组合不同的运动学和视觉分数。 ”