跳到主要内容

模型与数据

桌面仿真使用 ArmorDetectorModel::OPENVINO_640X512,模型文件在 Modules/ArmorDetector/model/armor_detector_640x512.onnx。

模型格式​

项目格式
RuntimeOpenVINO
输入RGB,uint8,[512, 640, 3]
输出float32,[1, 20160, 22]
前处理拉伸到 640×512,BGR 转 RGB
推理设备选择XR_ARMOR_OPENVINO_DEVICE

模型直接接收 RGB uint8 输入,前处理完成尺寸调整和 BGR → RGB。

推理设备​

OpenVINO 从 available_devices 中选择推理设备。可以显式指定:

XR_ARMOR_OPENVINO_DEVICE=CPU
XR_ARMOR_OPENVINO_DEVICE=GPU
XR_ARMOR_OPENVINO_DEVICE=NPU

也可以使用自动选择:

XR_ARMOR_OPENVINO_DEVICE=AUTO_DETECT

省略该变量时同样使用自动选择,优先级为:

NPU → GPU → CPU

自动模式只考虑 OpenVINO 能枚举到的设备。显式指定设备时不会做 fallback,启动日志会给出最终使用的设备:

ArmorDetector loaded OpenVINO ... device=<DEVICE> input=640x512

设备名也可以是 OpenVINO 提供的具体实例名,例如 GPU.0。

设备切换后再跑一次完整 Webots 流水线。compile_model() 只验证模型能被 Runtime 加载,前后处理、Tracker、Aimer 和预览仍需要实际运行。

在 Detector 配置中选择:

network:
model: {expr: ArmorDetectorModel::OPENVINO_640X512}

模型枚举同时决定模型文件、输出适配和推理后端。

后处理​

输出包括颜色、编号和四角点,角点顺序按 [0,3,2,1] 转换。network.logit_threshold 过滤原始 objectness logit,min_confidence 过滤最终置信度。

解码后依次执行 NMS、语义过滤、四边形检查和 PnP。OpenVINO 路径直接使用网络输出的编号结果。

结果发布与坐标转换见自瞄链路。

模型校验​

跨机器核对模型时直接计算文件哈希:

Linux:

sha256sum Modules/ArmorDetector/model/armor_detector_640x512.onnx

PowerShell:

Get-FileHash .\Modules\ArmorDetector\model\armor_detector_640x512.onnx -Algorithm SHA256

提交新模型时保留文件哈希、训练与导出来源、输入输出格式和前后处理说明,便于对照代码。

数据与评测​

仓库包含推理代码和模型文件;训练脚本和训练集由训练流程单独管理。

回放使用的视频、IMU、标定和帧几何应配套。文件格式见数据记录与标定。

比较模型时使用相同测试集,记录分辨率、设备、Runtime 版本和处理设置。识别精度与推理耗时分别统计;Webots 的仿真倍率不用于衡量模型速度。

源码:ArmorDetector。