Hypnos 让 RISC-V 边缘设备边用边学,训练交给智能充电器

代尔夫特理工大学开源的 Hypnos 平台,让 RISC-V 边缘设备白天在本地做即时学习,夜间由智能充电器完成回放训练,全程不需要云端训练服务器。论文在 CORe50 基准上达到 78.6% 准确率,整机综合功耗 33.3 毫瓦,小编拆解其中的关键数据和取舍。

如果您的边缘设备要长期在现场运行,数据会随时间变化,模型也会慢慢变得不准。传统做法是把数据传回云端重新训练,但这既费带宽,也有隐私问题,断网或偏远地区更是行不通。Hypnos 给出的思路是:设备在本地持续适应,重的训练交给充电器来做。

一句话看懂 Hypnos

Hypnos 把“学习”拆成两段:白天设备用很小的算力做即时适应,接入充电器时再用回放的方式做更重的训练。这样设备不必在电池供电时承担全部训练负担,也不用把原始数据发到服务器。

这个开源研究平台由代尔夫特理工大学的 Guilherme Guedes、Marco P. E. Apolinario 和 Charlotte Frenkel 开发,相关论文和代码都已公开。研究者分别在 FPGA 和芯片综合层面做了评估,测试任务是图像分类。

设备端负责什么:白天的即时学习

唤醒阶段由 X-HEEP RISC-V 微控制器和 Quadrilatero 矩阵协处理器完成,负责密集的逐点卷积。一个小型加速器处理深度卷积和逐通道重量化,并支持原型运算和乘积量化编码,让设备保留白天样本的压缩表示。

骨干网络 MobileNetV3-Large 是冻结的,只负责提取特征。每个新样本都可以立即更新一个类别原型,同时把潜在特征存下来,等待之后的巩固。设备上不运行误差反向传播,这一点对功耗和内存都很关键。

充电器负责什么:回放训练

充电器从设备取回压缩后的量化编码和模型权重,还原潜在激活,然后通过回放更新重新训练嵌入器和分类头,最后把巩固后的参数写回设备。整个过程中,设备仍然可以正常工作。

论文提到,额外的训练内存和插座供电的能耗都由充电器承担,所以巩固阶段使用的是另一套资源预算,和电池供电时的日常运行是分开的。

设备与充电器之间的接口也做了区分:图像样本通过 SPI 接口进入,固件通过 JTAG 加载,日志经 UART 返回。PYNQ 只在设备休眠时才把可编程逻辑的内存开放给处理系统。

精度与功耗的关键数据

论文报告,在 CORe50 NICv2-391 协议上,采用 INT8 激活的配置达到 78.6% 的准确率,设备端单个样本的处理延迟为 7.79 秒。需要注意,这个延迟只包括设备端处理,不含充电器上的巩固过程。

与量化潜在回放(quantised latent replay)相比,论文称 Hypnos 的学习步数减少 3.8 倍,每个样本的学习计算量减少 22 倍,同时准确率更高。不过两者的训练分工不同,对比时要看清前提。

在综合仿真结果中,完整的边缘设备设计持续运行时功耗为 33.3 毫瓦。硅片面积里存储占了大头,所以内存分配是硬件实现的核心。充电器侧的回放缓冲区占用 5.48 MB。

小编的看法

小编觉得这套方案最值得注意的是“分工”:把耗电多、占内存的训练放到供电更充裕的一侧,设备本身只保留轻量的即时适应。对于需要长期现场运行、又不能随时联网的传感设备,这个思路有一定参考价值。

如果您关心边缘 AI 在企业里怎么落地,也可以看看小编之前写的《边缘AI进企业:不用独立GPU,CPU也能跑3D实时感知》。

常见问题(FAQ)

Hypnos 是商用产品吗?

目前它是开源的研究平台,论文和代码都已公开,但还不是现成的商用产品。

设备端会做反向传播训练吗?

不会。论文说明设备端不运行误差反向传播,重新训练由充电器完成。

78.6% 的准确率能直接套用到我的项目吗?

不能直接套用。它是论文在 CORe50 NICv2-391 协议上的结果,换用其他数据和任务,表现会不一样。

33.3 毫瓦是实测功耗吗?

这是论文中的综合仿真结果,属于芯片设计层面的估算,不是量产设备的实际测量值。