利用尖端图像处理对超高速过程实现基于图像的控制

一组来自哥伦比亚大学、德雷塞尔大学、费米实验室和理海大学的研究人员，借助 Euresys 采集卡及其 CustomLogic功能，在基于相机的高速托卡马克等离子体控制回路中极大缩短了信号采集与控制指令之间的时间，开发出聚变能源的新功能。
在另外一个“视觉闭环”例子中，该等离子体控制系统在此等复杂控制逻辑下达到了前所未有的速度水平。

在相关论文中，研究小组描述了在哥伦比亚大学的 HBT-EP 聚变实验中，如何利用现场可编程门阵列 (FPGA) 硬件，以超过 100,000 fps 的速率快速处理相机数据，来实施等离子体控制。其目的在于跟踪磁流体动力学 (MHD) 不稳定性的演变，并实时生成控制请求。为此，研究小组在采集卡内置的 FPGA 中采用卷积神经网络 (CNN) 模型，实现了 17.6 µs 的触发-输出延迟和高达 120,000 fps 的吞吐量。

图 3 – 不同处理流程的数据速率与计算时间对比 – 科学领域的快速机器学习 – © N. Tran

解决方案
硬件平台配置：

• AMETEK Phantom S710™ 相机（支持高达 7 Gpx/秒（87.5 Gbps）的流式传输能力，例如在 1280×800 分辨率下可达到 7,275 fps），
• Euresys Coaxlink Octo采集卡适配该相机的输出。

在这种情况下，如果将数据传输至 CPU 乃至 GPU 进行集中处理，将无法满足该项应用要求达到的 10 µs 级响应要求。
借助 Euresys CustomLogic，研究人员得以在 Coaxlink Octo 采集卡中直接编程实现等离子控制算法（CNN 推理），来获得与等离子动力学相匹配的延迟性能。

利用 AMD Vivado™ 开发工具可以进行 Coaxlink CustomLogic编程。FPGA 资源分配涵盖三大功能模块：

• CoaXPress 协议，
• 板卡内部管理，
• 用户自定义的 CustomLogic（本例中为控制算法的神经网络模型和控制输出请求的计算）。

在采集卡 FPGA 芯片资源受到限制的情况下，团队攻克了强化控制算法的实现难题。为此，他们采用开源的“高级机器学习综合工具”(hs4ml)[iii]对模型进行转换优化，然后将其综合并部署到采集卡 FPGA。
Coaxlink Octo 通过 I/O 接口直接与等离子体控制系统（外部硬件正在开发中）交互，同时图像数据经由 PCIe 总线传输至主机，用于控制回路之外的后期处理。

该方案最终实现了这些成果：CNN 模型推理延迟 7.7 µs，从采集触发到输出控制请求总延迟 17.6 µs，并且能以高达 120 kfps 的帧率运行流程，满足托卡马克装置中磁流体动力学 (MHD) 不稳定性的实时控制要求。

使用的工具

除 AMD Vivado™ 工具外，开发人员还广泛运用了 Euresys 的其它工具：

• 通用 I/O 接口：通过 10MHz RS422 差分 I/O（如上所示）实现固件模型延迟与吞吐量的便捷基准测试。
• Memento 事件记录工具：提供带时间戳事件的精确时间线，同时呈现上下文信息与逻辑分析视图。该工具在应用开发和调试过程中极具价值。
• 控制/状态接口，有助于用户通过 Coaxlink Driver API 读写用户逻辑中的寄存器。
• Coaxlink CustomLogic SDK 随附的参考设计，可作为模板使用。参考设计公开提供了用户可用的所有接口。