大阪大学的科学家创建了一种机器学习系统，能够从实时视图中虚拟移除建筑物。通过使用在远程服务器上运行的生成对抗网络(GAN)算法，该团队能够在移动设备上实时流式传输。这项工作可以帮助加速基于社区协议的城市更新进程。

由于难以说服利益相关者为项目投入资源，一些必要的城市更新任务(例如拆除旧建筑)被推迟。例如，业主和附近居民对计划的理解存在差异，可能会导致冲突和延误。这可能会导致一个悖论，即只有在完成任务之后才可以开始执行任务。如果没有时间机器，这似乎会导致民事规划中的棘手情况。

现在，大阪大学的一组研究人员以一种基于机器学习的新算法的形式帮助解决了这一问题，该算法提供增强现实实时视频，展示建筑物拆除后的景观。“我们的方法使用户能够直观地了解未来的格局，这有助于减少形成共识的时间和成本，”第一作者Takuy​​aKikuchi说。移动设备和服务器之间的通信意味着所有处理都可以远程完成，因此任何智能手机或平板电脑都可以在建筑物的位置使用。加速算法，使其能够提供实时增强视频，该团队在输入图像上使用语义分割。这允许深度学习模型逐个像素地对图像进行分类，而不是尝试执行3D对象检测的传统方法。

GAN算法使用两个相互竞争的神经网络，一个生成器和一个判别器。生成器被训练来创建越来越逼真的图像，而鉴别器的任务是区分图像是真实的还是人工生成的。“通过这种方式学习，GAN算法可以生成实际上不存在但可信的图像，”通讯作者TomohiroFukuda说。在这种情况下，只要要从景观中移除的建筑物不占屏幕的15%以上，就可以进行高精度处理。在现场测试的基础上，该团队能够实现虚拟拆迁视频以平均每秒5.71帧的速率进行流式传输，这对现场社区提升有很大帮助。