Open eVision 在边缘端的应用
本文将介绍在智能相机等嵌入式设备上进行边缘计算以实现 AI 推理的优势，说明如何使用 Open eVision 训练和部署机器学习模型，并给出应用实例。
嵌入式计算与 AI 图像处理正在塑造新一代机器视觉系统。出于时延和可靠性的考虑，大多数工业应用更倾向于在边缘端（而非远程服务器）运行机器视觉软件的推理。之后介绍Euresys采集卡的关键功能同时，它还能在同一工作流程中将基于规则的图像处理与 AI 模型相结合，加快应用开发速度。
在机器视觉应用中，为何选择在边缘端运行推理？
边缘计算是指尽可能在靠近数据源（如传感器）的位置处理图像数据，而不是将图像数据传输到远程计算机、服务器乃至云端平台进行处理。在机器视觉领域，最早可以处理图像的位置是相机（即所谓的智能相机或类似的图像处理设备）内部。
- 低时延
大多数工业机器视觉应用都是对零件进行 100% 的在线检测。这要求高速进行图像采集处理，以便做出实时决策，确保及时剔除不合格产品。边缘计算可以最大限度减少数据传输和远程处理带来的时延，实现近乎实时的响应。 - 安全性
直接在生产线上处理图像数据，也能降低因网络中断或潜在网络攻击带来的风险。边缘计算可在工厂车间直接执行质量保证功能，以提高系统的安全性和可靠性。 - 简洁性
智能相机和嵌入式设备的一大优势在于其外形小巧，很容易集成到空间有限的工业设备中。
使用 Open eVision 的免费 Deep Learning Studio 训练和部署机器视觉模型
机器学习为视觉系统开发人员快速构建先进的机器视觉应用创造了新的可能。为此，Euresys 在 Open eVision 软件库中新增了一个功能强大的工具箱：Deep Learning Studio。
Deep Learning Studio 是一款功能强大的应用，它可以针对特定检测任务训练模型、测试模型，然后将模型部署到边缘设备上。该软件套件贯穿开发与部署流程的各个阶段，为用户提供全面支持。Deep Learning Studio 是一款免费应用，开发人员可以无限制地训练和验证模型，只有在将模型推理部署到工厂车间的目标设备上时才涉及付费。由于模型训练所需的计算资源远高于运行推理，因此我们建议在配备 64 位处理器架构，搭载 GPU（NVIDIA RTX 30 系列，8GB RAM），同时至少具备 8GB RAM 和 400MB 可用硬盘空间的 Windows 或 Linux PC 上进行训练。利用 Deep Learning Studio 可以创建训练数据集，对数据进行标注、增强和划分，训练和测试模型，并导出模型来进行部署。
1. 收集训练数据并导入 Deep Learning Studio
要训练模型，首先需要获取一组待检测对象的图像。数据集越大，训练结果就越稳健。理想情况下，训练数据应同时包含合格品和缺陷品的图像，以便模型识别预期的缺陷；也可以只使用合格品图像进行训练，让模型检测偏差。
Deep Learning Studio 内置数据集划分工具，该工具可针对训练、验证和测试等不同用途，来划分训练图像。这样，就可以使用不同于训练用途的图像来测试和验证模型，更贴近真实应用场景。
2. 选择合适的工具（分类、分割、定位）
根据应用需求，Deep Learning Studio 可提供不同的工具： 
图 1 选择深度学习工具的标准
- EasyClassify: 按类别对目标图像分类
如果需要根据特定条件（如合格/不合格、颜色、形状等）对目标分类，可以利用 EasyClassify 来确定分类条件，并训练模型将每张图像归入正确类别。 - EasySegment: 指出图像中的缺陷位置
有时，仅区分合格与否还不够。如果需要明确缺陷类型及其位置，可利用 EasySegment 训练模型学习缺陷的外观特征及其可能出现的位置。 - EasyLocate: 查找并统计图像中的目标
在某些应用中，需要识别、定位并统计同一张图像中的多个不同目标，例如 PCB 上的多种电子元件，或箱体中随机摆放的物品。借助 EasyLocate，即使这些目标重叠，也可以训练模型进行识别和高亮显示。
3. 数据标注
选定合适的工具后，需要检查并标注训练图像来训练模型：
- 在 EasyClassify 中，创建类别并将每张图像归入对应类别（如合格/不合格或红/黄/蓝等）。为获得稳健的训练效果，Euresys 建议每个类别至少准备 50 张图像。
- 在 EasySegment 中，对图像中的缺陷进行标注并命名（如划痕、凹陷、裂纹等）。只有在数据集中包含缺陷图像时，才能进行这种有监督训练；如果没有缺陷图像，也可以使用 EasySegment 提供的无监督训练模式，仅对合格品图像进行训练，模型会自动识别并定位后续图像中的偏差。
- 在 EasyLocate 中，用边界框高亮显示需要识别的对象，并为其标注正确的名称（如 FPGA、微控制器、连接器等）。
4. 配置训练参数
在准备好训练数据并选择相应工具后，即可在 Deep Learning Studio 中配置训练参数。
配置参数包括：
- 迭代次数，即模型遍历全部训练图像的次数。迭代次数会影响训练时长和质量，次数越多，训练时间越长，效果通常也越好。
- 批量大小，即每次同时处理的图像数量。该参数会影响处理速度，同时也决定所需的内存和计算能力。
- 数据增强，即通过对训练数据进行旋转、平移、调整照明设置、添加噪声等方式生成更多训练图像。数据变化越丰富，模型在实际应用中的可靠性越高。
- 训练是否具有确定性。确定性训练结果更具可重复性，但速度不如非确定性训练。
5. 训练模型
完成参数设置后，点击 Deep Learning Studio 中的“训练”按钮，训练任务将加入队列，并按顺序依次执行。训练时长取决于数据集大小、训练参数和硬件性能。
与其他工具不同，Euresys 的 Deep Learning Studio 完全在本地执行训练，这意味着数据不会上传到云端，也不会与 Euresys 或任何第三方共享，从而充分保障应用的机密性。
6. 检查结果质量。
您可以使用数据集中的另一种划分在 Deep Learning Studio 中验证模型。如果结果不理想，可从步骤 1（即扩大数据集规模）或步骤 2（即提升标注质量）重新开始训练流程。
7. 导出训练好的模型
在 Deep Learning Studio 中，整个工作流程的前期步骤均可免费完成，这对于希望在部署边缘设备并进行实测前先探索机器学习的开发人员而言，极具吸引力。Euresys 仅在模型推理部署时收取许可费用，即仅在模型真正为业务创造价值时才付费。
将自有模型与预训练模型及传统算法库相结合
尽管 AI 计算机视觉带来诸多优势，但并非所有任务都必须使用 AI。对于边缘检测等成熟的常规处理任务，可以继续使用已有的图像处理库，而将模型训练用于更具应用针对性的任务。借助 Euresys Open eVision，用户可在同一工作流程中无缝集成基于规则的图像处理库、预训练模型以及自训练模型，大幅缩短开发周期。
使用 EasyClassify 进行食品分选和分级
深度学习为食品行业带来了功能强大的全新解决方案。对天然产品进行分类通常非常适合 AI 处理。不过，食品行业对检测速度要求极高，产品在传送带上快速移动，视觉检测不能拖慢生产流程。即便使用 GPU，对超高分辨率图像进行分类也可能过慢。因此，Open eVision 通常采用 2 阶段处理流程：先使用传统算子高效检测目标，再将小尺寸图像批量提交给深度学习分类器。
图 2 例如，一台以每秒 18000 行的速度运行的线扫相机，通过深度学习分类处理后，平均决策时延仅为 9 毫秒（搭载 NVIDIA RTX A2000 GPU）。
Alecs 智能相机上的预训练 OCR 模型
EasyDeepOCR 是一个基于深度学习的文本识别工具示例，它无需额外训练即可使用，并可配置为仅读取特定信息以加快处理速度。Euresys 携手 Allied Vision，使用基于 Jetson Orin 系统级芯片 (SoC) 的 Allied Vision Alecs 智能相机，演示了一项 OCR 应用。Open eVision 已预装在 Alecs 相机中，而 EasyDeepOCR 无需训练即可直接运行，相机不需进行任何配置即可实时读取复杂标签。
在配备 Alecs GPU 的情况下，该应用能够以 400 毫秒的处理速度处理分辨率为 1,232×1,032 的图像。
在 NVIDIA Jetson Orin NX 上进行目标计数
目标计数是一个用户自行训练的应用示例。在该例中，模型使用 EasyLocate 的“兴趣点”方法进行训练，通过在图像中搜索特定目标区域来识别对象。模型能够识别电容器的圆形特征，并统计图像中出现的目标数量。训练过程中，Deep Learning Studio 被用于：
- 标注数据集
- 配置训练参数（如数据增强和数据划分）
- 训练模型
- 验证模型（准确率、推理速度）
经过简单轻松的训练后，该模型被导出并部署到搭载 NVIDIA Jetson Orin NX SoC 的嵌入式计算机中。由于 Open eVision 支持 NVIDIA 的 TensorRT SDK，该模型通过 GPU 加速推理，可在 720×450 分辨率下以 20 帧/秒的速度，实时检测每张图像中多达 90 个目标。
强大、灵活、易用、零风险
Euresys 的 Open eVision 是一款用于边缘端 AI 图像处理的强大工具。它不仅提供了用于常见机器视觉任务的模型训练工具集，还可将这些工具与成熟的图像处理库整合到单一工作流程中。它非常灵活，能助力开发人员快速高效地设计机器视觉软件应用。采用按推理次数计费的许可模式，有助于开发人员在投入预算前经济高效地探索和测试模型。利用 Deep Learning Studio 可以免费训练和验证模型，因此在模型正式部署之前，整个过程完全是零风险的。
