ONNX

标签「ONNX」下的文章

共 4 篇文章

YOLOv10在土星云SE110S系列边缘计算设备上的部署实战

本文详细介绍了将YOLOv10目标检测模型部署到国产边缘计算设备土星云SE110S系列的全流程实战，涵盖模型转换、编译与推理优化。YOLOv10采用一致双重分配策略实现NMS-Free端到端检测，相较YOLOv8-S减少约23%参数量、28%计算量，推理延迟降低约30%，非常适合边缘部署。土星云SE110S系列由国科环宇推出，提供SE110S-WC08（7.2 TOPS）、SE110S-WB16（16 TOPS）和SE110S-WA32（32 TOPS）三款型号，支持INT8/FP16/FP32混合精度推理和BMCV硬件加速。部署流程包括：通过Ultralytics导出ONNX模型（opset 11），使用TPU-MLIR工具链将ONNX编译为BModel，并推荐INT8量化，校准集200-500张图片。在SE110S-WA32上，INT8量化配合BMCV加速可实现110+ FPS（单路1080P），精度损失控制在5%以内（COCO val2017 AP@0.5:0.95从0.463降至0.443）。文章还给出了智慧安防、工业质检、智慧交通等多个边缘AI视觉场景的选型与优化建议，展示了YOLOv10在国产边缘硬件上的成熟落地能力。

阅读全文 →

在 JetPack 7.2 和 Jetson AGX Orin 上使用 TensorRT 部署全权重 GR00T N1.7

本文来自 Seeed Studio Wiki，是一篇详细的技术教程，指导如何在 JetPack 7.2 和 Jetson AGX Orin 边缘计算设备上，使用 TensorRT 部署全权重的 NVIDIA Isaac GR00T N1.7 机器人策略模型。与以往仅加速 DiT 组件的工作流不同，本教程实现了对 Vision Transformer (ViT)、Large Language Model (LLM)、视觉-语言自注意力、状态编码器、动作编码器、DiT 动作专家和动作解码器全部七个组件的 TensorRT 引擎构建。教程采用本地 LeRobot 数据集和本地 Qwen3-VL-2B-Instruct 主干模型，实现了完全离线的推理流水线，避免了 Hugging Face Hub 的网络依赖。经过验证，整个 TensorRT 构建过程耗时约 3 分 37 秒，最终生成七个 .engine 文件。在推理性能方面，全 TensorRT 流水线处理每个 16 步动作预测块耗时约 0.2755 秒，相当于每秒 3.63 个块。文章还提供了 PyTorch 与 TensorRT 输出的数值对比，结果显示最终动作的余弦相似度高达 0.997426，验证了模型转换的精度。此外，文章详细列出了存储与内存规划（至少需要 45-50 GB 空间）、环境配置、故障排查以及连接实体机器人前的安全警告和检查清单，是一份从模型导出到边缘推理的完整工程实践指南。

阅读全文 →

在 JetPack 7.2 上部署 TensorRT Edge-LLM

本指南来自 Seeed Studio Wiki，完整记录在 NVIDIA JetPack 7.2 上部署 TensorRT Edge-LLM v0.9.1 的流程。TensorRT Edge-LLM 是 NVIDIA 面向嵌入式 Jetson 平台的大语言模型、视觉语言模型和多模态模型推理栈，本版本于 2026 年 7 月 31 日更新，官方支持 Jetson Orin 和 Jetson Thor。部署分两阶段：首先在 x86 GPU 主机（Ubuntu 22.04/24.04、CUDA 12.x/13.x、Ampere 以上 GPU）上克隆 TensorRT Edge-LLM v0.9.1，通过 `tensorrt-edgellm-export` 将 Hugging Face 上的 Qwen3-0.6B 检查点导出为 ONNX 计算图；随后将 ONNX 目录传输至 Jetson 设备，在 JetPack 7.2 与 CUDA 13.2 工具链下，使用 CMake 以 `jetson-orin` 或 `jetson-thor` 为目标构建 C++ 运行时和示例，然后运行 `llm_build` 从 ONNX 构建 TensorRT 引擎，并通过 `llm_inference` 进行推理，输出示例显示模型成功回答“The capital of the United States is Washington, D.C.”。指南详细说明了 Jetson Orin 支持的精度仅为 FP16、INT8、INT4，不支持 FP8 等更高精度，并强调 JetPack 6.2 的引擎不可直接复用。对于 INT4 量化，推荐使用 AWQ 或 GPTQ 预量化检查点并采用外部化权重选项以降低内存压力。此外，还提供了基准测试命令、与 JetPack 6.2 的差异对比以及常见故障（如 CMake

阅读全文 →

2026年机器学习模型部署最佳实践——完整MLOps指南

本文由资深Python开发者兼数据科学家Naeemah Aliya Small撰写，系统阐述了2026年机器学习模型部署的完整最佳实践与MLOps生命周期。文章指出，ML部署与传统软件部署的核心区别在于模型对数据统计属性的第三维依赖，导致其会产生静默退化而非显式报错，且需要A/B测试、影子部署和金丝雀发布等在线实验验证。指南覆盖从模型打包、服务API构建、Docker容器化到模型监控的完整链路：在打包阶段，推荐使用MLflow模型注册中心替代脆弱的Pickle文件，并可通过ONNX实现跨框架可移植性；在服务层，使用FastAPI搭配Pydantic实现类型安全的模型服务；在监控环节，强调必须同时覆盖基础设施监控、预测分布监控和数据漂移检测三个层次，避免仅监控CPU/内存而忽视模型精度退化至61%的静默故障。文章详细对比了FastAPI、BentoML、TorchServe、TensorFlow Serving、Seldon Core、Ray Serve、ONNX Runtime七种主流模型服务框架的优缺点，并总结了部署就绪检查清单，涵盖模型版本化、输入验证、预测分布监控、数据漂移检测、回滚预案和CI/CD验证等12条检查项。核心理念是：可靠部署ML的团队并非拥有最优模型，而是将部署视为一等工程问题，通过版本化、自动化、可观测和可回滚的基础设施来保障生产稳定性。

阅读全文 →