Implementierung modernster Bildverarbeitung für eine bildbasierte Steuerung bei ultraschnellen Prozessen

Dank Framegrabbern von Euresys mit ihrer CustomLogic-Fähigkeit konnte ein Team von Forschenden der Columbia University, der Drexel University, der Lehigh University sowie von Fermilab neue Fähigkeiten für Fusionsenergie entwickeln, indem die Zeit zwischen Signalerfassung und Steuerbefehl in einem kamerabasierten Highspeed-Tokamak-Plasma-Regelkreis wesentlich reduziert werden konnte.
Bei einem anderen Beispiel von „Vision-in-the-Loop“ erreichten die Plasmasteuerungsanforderungen beispiellose Geschwindigkeit für eine derart komplexe Steuerlogik.

In ihrer Arbeit beschreibt das Forscherteam, wie sie schnelle Kameradaten mit Raten von mehr als 100.000 fps auf In-situ-FPGA-Hardware (Field Programmable Gate Array) zur Plasmasteuerung im HBT-EP-Fusionsexperiment an der Columbia University verarbeitet haben. Ziel ist es, die Entwicklung der magnetohydrodynamischen (MHD) Instabilität zu verfolgen und Steuerungsanfragen in Echtzeit zu generieren. Um dies zu ermöglichen, implementierte das Team ein CNN-Modell (konvolutionales neuronales Netz) auf dem im Framegrabber integrierten FPGA, sodass eine Trigger-zu-Ausgangs-Latenz von 17,6 µs und ein Durchsatz von bis zu 120.000 fps erreicht werden konnte.

ABBILDUNG 3 – Datenrate gegenüber Berechnungszeit verschiedener Prozesse – Fast ML for Science – © N. Tran

DIE GEWÄHLTE LÖSUNG
Die Hardwareplattform bestand aus:

• Kamera AMETEK Phantom S710™ – eine Streamingfähigkeit von bis zu 7 Gp/Sekunde (87,5 Gbit/s), z. B. 7275 fps bei 1280 x 800
• Framegrabber Coaxlink Octo von Euresys für die Ausgänge der Kamera

In diesem Fall hätte die Weiterleitung der Daten an eine CPU oder GPU zur zentralen Verarbeitung nicht die Anforderungen an die Reaktionsfähigkeit der Anwendung erfüllt, die im 10-µs-Bereich liegt.
Die Möglichkeit, CustomLogic von Euresys einzusetzen, bot den Forschenden die einzigartige Gelegenheit, ihre eigenen Plasmasteuerungsalgorithmen (CNN-Inferenz) direkt im Framegrabber Coaxlink Octo zu programmieren und so Latenzen zu erreichen, die der Plasmadynamik entsprechen.

Die Programmierung des Coaxlink CustomLogic ist mit den AMD Vivado™-Entwicklungstools möglich. Die FPGA-Ressourcen werden drei Hauptanwendungen zugewiesen:

• dem CoaXPress-Protokoll
• der internen Kartenverwaltung
• dem benutzerdefinierten CustomLogic – in diesem Fall dem neuronalen Netzmodell des Steueralgorithmus und der Berechnung der Steuerungsausgabeanfrage

Das Team hat sich der Herausforderung gestellt, einen leistungsstärkeren Steuerungsalgorithmus als gewöhnlich einzubinden und gleichzeitig die Ressourceneinschränkungen des Framegrabber-FPGA-Chips zu berücksichtigen. Dafür haben Sie das Modell zuerst mithilfe des Open-Source-Pakets „High-Level Synthesis for Machine Learning (hs4ml)[iii]“ konvertiert und optimiert, um es anschließend zu synthetisieren und auf dem FPGA des Framegrabbers bereitzustellen.
Die I/O-Schnittstellen des Coaxlink Octo werden direkt mit dem Plasmasteuerungssystem (externe, in Entwicklung befindliche Hardware) verbunden und die Bilddaten werden über den PCIe Bus zur Nachverarbeitung außerhalb des Regelkreises an den Hostcomputer übertragen.

Die Implementierung erreichte letztendlich eine Latenz von 7,7 µs für das CNN-Modell selbst und 17,6 µs insgesamt für den Erfassungstrigger für die Ausgabe der Steuerungsanfrage. Und sie ermöglicht Framerates von bis zu 120.000 fps, wenn diese als Pipeline ausgeführt werden, wobei die Anforderungen an die Echtzeitsteuerung der MHD-Instabilität im Tokamak erfüllt werden.

DIE TOOLKITS

Außer den AMD Vivado™-Tools werden die Entwickler umfassend von weiteren Euresys-Tools unterstützt, wie beispielsweise:

• Universelle I/O-Schnittstelle, die problemlos ein Benchmarking der Latenz und des Durchsatzes des Firmwaremodells über eine differenzielle RS422-Schnittstelle mit 10 MHz ermöglicht (siehe oben).
• Memento Event-Logging-Tool, das eine präzise Zeitachse der zeitgestempelten Ereignisse mit Kontextinformationen und einer Logikanalysatoransicht bietet. Dieses Tool ist eine wertvolle Unterstützung bei der Anwendungsentwicklung und beim Debugging.
• Schnittstelle für Steuerung/Status, die es dem Benutzer ermöglicht, Register in der Benutzerlogik über die Coaxlink-Treiber-API zu lesen und zu schreiben.
• Das mit dem Coaxlink CustomLogic-SDK gelieferte Referenzdesign, das als Vorlage gedacht ist. Das Referenzdesign zeigt alle Schnittstellen, die für den Benutzer verfügbar sind.