计算机视觉技术越来越多地用于自动监控系统、自动驾驶汽车、面部识别、医疗保健和社交疏远工具等领域。用户需要准确可靠的视觉信息来充分利用视频分析应用程序的优势，但视频数据的质量通常会受到环境因素的影响，例如下雨、夜间条件或人群(其中有多个人的图像与每个图像重叠)另一个场景)。使用计算机视觉和深度学习，由同样来自新加坡国立大学 (NUS) 工程学院的耶鲁-新加坡国立大学科学副教授(计算机科学)Robby Tan 领导的研究团队，

该研究在2021 年计算机视觉和模式识别会议(CVPR)上发表，该会议是排名最高的计算机科学会议。

在雨天和夜间条件下解决能见度问题

夜间图像受弱光和人造光效果(如眩光、辉光和泛光灯)的影响，而雨图像受雨痕或雨水积聚(或雨幕效应)的影响。

“许多计算机视觉系统，如自动监控和自动驾驶汽车，依赖于输入视频的清晰可见性才能正常工作。例如，自动驾驶汽车在大雨中无法稳健工作，闭路电视自动监控系统经常在夜间出现故障，尤其是如果场景很暗，或者有明显的眩光或泛光灯，”谭副教授解释说。

在两项独立的研究中，陈副教授和他的团队分别引入了深度学习算法来提高夜间视频和下雨视频的质量。在第一项研究中，他们提高了亮度，同时抑制了噪音和灯光效果(眩光、辉光和泛光灯)，以产生清晰的夜间图像。这种技术是新的，解决了夜间图像和视频在眩光的存在不可忽视的情况下的清晰度挑战。相比之下，现有的最先进方法无法处理眩光。

在像新加坡这样经常下大雨的热带国家，雨幕效应会显着降低视频的可见度。在第二项研究中，研究人员引入了一种采用帧对齐的方法，这使他们能够获得更好的视觉信息，而不会受到在不同帧中随机出现并影响图像质量的雨条纹的影响。随后，他们使用移动相机进行深度估计，以消除累积雨滴造成的雨幕效应。与专注于去除雨纹的现有方法不同，新方法可以同时去除雨纹和雨幕效应。

3D 人体姿态估计：解决视频中多人重叠导致的不准确问题

在 CVPR 会议上，陈副教授还介绍了他的团队在 3D 人体姿态估计方面的研究，该研究可用于视频监控、视频游戏和体育广播等领域。

近年来，从单目视频(从单个摄像头拍摄的视频)中进行 3D 多人姿势估计越来越成为研究人员和开发人员关注的领域。与使用多个摄像头从不同位置拍摄视频不同，单目视频提供了更大的灵活性，因为这些视频可以使用单个普通摄像头(甚至是手机摄像头)拍摄。

然而，人体检测的准确性受到高活动的影响，即同一场景中的多个个体，尤其是当个体密切交互或在单目视频中彼此重叠时。

在第三项研究中，研究人员通过结合两种现有方法(即自上而下的方法或自下而上的方法)来估计视频中的 3D 人体姿势。通过结合这两种方法，新方法可以在多人设置中产生更可靠的姿态估计，并更稳健地处理个体之间的距离(或尺度变化)。

参与这三项研究的研究人员包括由他合任命的新加坡国立大学电气与计算机工程系陈副教授团队的成员，以及来自城市大学、苏黎世邦理工学院和腾讯游戏人工智能研究中心的合作者。他的实验室专注于计算机视觉和深度学习的研究，特别是在低层次视觉、人体姿势和运动分析以及深度学习在医疗保健中的应用等领域。

“作为我们由国家研究基金会支持的 3D 人体姿势估计研究的下一步，我们将研究如何保护视频的隐私信息。对于可见性增强方法，我们努力为进步做出贡献计算机视觉领域，因为它们对影响我们日常生活的许多应用至关重要，例如让自动驾驶汽车在恶劣的天气条件下更好地工作，”陈副教授说。