TUGraz的理论计算机科学研究所和英特尔实验室首次通过实验证明，大型神经网络可以处理句子等序列，同时在神经形态硬件上运行时消耗的能量是非神经形态硬件的4到16倍。这项新研究基于英特尔实验室的Loihi神经形态研究芯片，该芯片利用神经科学的见解来创建功能类似于生物大脑中的芯片。

该研究得到了人类大脑计划(HBP)的支持，该计划是世界上最大的研究项目之一，欧洲有500多名科学家和工程师研究人类大脑。研究结果发表在NatureMachineIntelligence上。

人脑作为榜样

能够自主识别和推断物体以及不同物体之间关系的智能机器和智能计算机是全球人工智能(AI)研究的主题。能源消耗是此类AI方法更广泛应用的主要障碍。希望神经形态技术能够推动正确的方向发展。神经形态技术以人脑为模型，在使用能量方面非常高效。为了处理信息，它的千亿个神经元只消耗大约20瓦的能量，并不比普通的节能灯泡多多少能量。

在研究中，该小组专注于处理时间过程的算法。例如，系统必须回答有关先前讲述的故事的问题，并从上下文中掌握对象或人之间的关系。测试的硬件由32个Loihi芯片组成。

Loihi研究芯片：比非神经形态硬件节能高达16倍

“我们的系统比传统硬件上的其他AI模型的能效高4到16倍，”TUGraz理论计算机科学研究所的博士生PhilippPlank说。随着这些模型迁移到下一代Loihi硬件，Plank预计效率会进一步提高，从而显着提高芯片间通信的性能。

“英特尔的Loihi研究芯片有望为人工智能带来收益，尤其是通过降低其高昂的能源成本，”英特尔神经形态计算实验室主任MikeDavies说。“我们与TUGraz的合作提供了更多证据，表明神经形态技术可以通过从生物学的角度重新思考其实施，从而提高当今深度学习工作负载的能源效率。”

TUGraz科学家WolfgangMaass处理人脑中的信息处理如何工作以及如何将其用于计算机应用程序的问题。图片来源：Lunghammer—TUGraz

模仿人类的短期记忆

在他们的神经形态网络中，该小组复制了一种假定的大脑记忆机制，正如PhilippPlank在理论计算机科学研究所的博士生导师WolfgangMaass解释说：“实验研究表明，人脑可以在短时间内存储信息“即使没有神经活动，也就是所谓的神经元‘内部变量’。模拟表明，神经元子集的疲劳机制对于这种短期记忆至关重要。”

缺乏直接证据是因为这些内部变量还无法测量，但这确实意味着网络只需要测试哪些神经元当前处于疲劳状态，就可以重建它之前处理过的信息。换句话说，先前的信息存储在神经元的不活动中，不活动消耗的能量最少。

循环和前馈网络的共生

为此，研究人员将两种类型的深度学习网络联系起来。反馈神经网络负责“短期记忆”。许多此类所谓的循环模块从输入信号中过滤掉可能的相关信息并将其存储。然后，前馈网络确定找到的哪些关系对于解决手头的任务非常重要。无意义的关系被筛选掉，神经元只在那些已经找到相关信息的模块中激发。这个过程最终会导致能源节约。

“循环神经结构有望为未来在神经形态硬件上运行的应用程序提供最大的收益，”戴维斯说。“像Loihi这样的神经形态硬件非常适合促进我们在大脑中观察到的快速、稀疏和不可预测的网络活动模式，并且需要最节能的人工智能应用程序。”