一种新的方法使用光学来加速智能扬声器和其他低功耗连接设备上的机器学习计算
向智能家居询问天气预报，设备通常需要几秒钟才能做出响应。出现这种延迟的一个原因是，连接的设备没有足够的内存或电源来存储和运行设备所需的庞大的机器学习模型，以了解用户的要求。模型存储在数百英里之外的数据中心中，在那里计算答案并发送到设备。
MIT的研究人员创造了一种直接在这些设备上进行计算的新方法，大大减少了这种延迟。他们的技术将运行机器学习模型的内存密集型步骤转移到中央服务器，在那里模型被编码到光波上。
波通过光纤传输到连接的设备，这使得大量数据能够通过网络快速传输。然后，接收器使用一个简单的光学设备，该设备使用这些光波携带的模型的部分快速执行计算。
与其他方法相比，这项技术使能源效率提高了百倍以上。它还可以提高安全性，因为用户的数据不需要传输到中央位置进行计算。
这种方法可以使自动驾驶汽车实时做出决策，同时只需消耗耗电计算机当前所需能源的一小部分。它还可以让用户与智能家庭设备进行无延迟对话，通过网络进行实时视频处理，甚至可以在距离地球数百万英里的航天器上实现高速图像分类。
“每次你想运行一个神经网络，你都必须运行这个程序，你运行程序的速度取决于你从内存中通过管道输入程序的速度。我们的管道是巨大的，它相当于每毫秒左右在互联网上发送一部完整的电影。这就是数据进入我们系统的速度。它的计算速度可以达到这个速度，”作者Dirk Englund说。
这项研究发表在《Science》。
减轻负载
神经网络是一种机器学习模型，它使用连接节点或神经元层来识别数据集中的模式并执行任务，如对图像进行分类或识别语音。但这些模型可以包含数十亿个权重参数。这些权重必须存储在存储器中。同时，数据转换过程涉及数十亿次代数计算，这需要很大的存储能力来执行。
Sludds说，从内存中提取数据（在这种情况下是神经网络的权重）并将其移动到计算机中进行实际计算的部分的过程是速度和能源效率的最大限制因素之一。
“所以我们的想法是，为什么我们不把所有的繁重工作——从内存中提取数十亿重量的过程——从边缘设备上移开，把它放在一个我们有充足的电源和内存的地方，这样我们就有能力快速提取这些权重？”他说。
他们开发的神经网络架构Netcast涉及将权重存储在中央服务器中，该服务器连接到一种称为智能收发器的新型硬件。这种智能收发器是一种拇指大小的芯片，可以接收和传输数据，它使用硅光子学技术每秒从内存中获取数万亿的重量。
它接收权重作为电信号并将其加载在光波上。由于数据被编码为比特（1和0），收发机通过切换激光器对其进行转换；激光器的开启时间为1，关闭时间为0。它将这些光波组合起来，然后通过光纤网络定期传输，因此客户端设备无需查询服务器即可接收它们。
Bandyopadhyy解释道：“光学之所以伟大，是因为有很多方法可以在光学器件中传输数据。例如，你可以将数据放在不同颜色的光上，这使得数据吞吐量和带宽比电子器件要高得多。”
万亿每秒
一旦光波到达客户端设备，宽带“Mach-Zehnder”调制器的简单光学组件就使用它们来执行超快的模拟计算。这涉及将来自设备的输入数据（例如传感器信息）编码到权重上。然后，它将每个波长发送到接收器，接收器检测光并测量计算结果。
研究人员设计了一种使用这种调制器每秒进行数万亿次乘法的方法，这大大提高了设备上的计算速度，同时只使用少量的功率。
Sludds说：“为了更快地制造东西，你需要提高它的能源效率。但这是一个权衡。我们已经建立了一个系统，可以在大约1毫瓦的功率下运行，但每秒仍能进行数万亿次乘法运算。就速度和能源效率而言，这都是一个数量级的增长。”。
他们测试了这一架构，通过一根86公里长的光纤将其实验室连接到MIT林肯实验室。Netcast使机器学习具有高精度，图像分类为98.7%，数字识别为98.8%，速度很快。
接下来，研究人员希望在智能收发器芯片上进行迭代，以获得更好的性能。他们还希望将目前只有鞋盒大小的接收器小型化，缩小到单个芯片的大小，以便能够安装到像手机这样的智能设备上。
研究员Euan Allen表示：“使用光子学和光作为计算平台是一个非常令人兴奋的研究领域，对我们的信息技术领域的速度和效率有着潜在的巨大影响。”“Sludds等人的工作是此类设备在现实世界中实现的令人兴奋的一步，引入了一种新的实用边缘计算方案，同时也探索了在极低（单光子）光水平下计算的一些基本限制。”
[1] Alexander Sludds, Saumil Bandyopadhyay, Zaijun Chen, Zhizhen Zhong, Jared Cochrane, Liane Bernstein, Darius Bunandar, P. Ben Dixon, Scott A. Hamilton, Matthew Streshinsky, Ari Novack, Tom Baehr-Jones, Michael Hochberg, Manya Ghobadi, Ryan Hamerly, Dirk Englund. Delocalized photonic deep learning on the internet’s edge. Science, 2022; 378 (6617): 270 DOI: 10.1126/science.abq8271
来源：Materials provided by Massachusetts Institute of Technology. Original written by Adam Zewe. Note: Content may be edited for style and length.
