TensorRT

标签「TensorRT」下的文章

共 2 篇文章

2026年8月19日

TensorRT Model Connect - 开源模型部署工具，两命令转C+

TensorRT Model Connect（TRTMC）是 NVIDIA 于 2026 年 8 月 18 日以 Apache-2.0 协议在 GitHub 开源的一款模型部署工具，旨在将 Hugging Face 或本地模型检查点直接转换为原生 C++ 推理引擎。开发者仅需 `trtmc build` 和 `trtmc run` 两条命令即可完成部署，全程无需导出 ONNX 中间格式，构建产物为版本化的 .bundle 文件，运行时完全脱离 PyTorch 环境。该项目由 OpenAI Codex Agent 在人类监督下构建，代表了 AI 辅助开发部署工具的范式转变。TRTMC 提供覆盖 105 个模型系列、76 个模型家族的参考实现，包括 Qwen、Llama、Mistral、DeepSeek 等主流开源大语言模型以及 Whisper 语音模型。性能验证方面，在 GB300 快照测试中，102 个 profile 的推理性能较声明基准提升超过 5%。其技术架构将构建阶段与运行时解耦，提供统一的 C++ 任务 API（generate、transcribe、embed 等），并支持 NVIDIA 全系列 GPU（如 A100、H100、Jetson），可实现云端到边缘的全场景部署，适用于大模型推理服务、边缘 AI 推理、C++ 应用集成与模型快速评估。该工具通过版本化 .bundle 天然支持模型回滚与灰度发布，为生产环境提供了高一致性的交付单元。

阅读全文 →

2026年7月31日

在 JetPack 7.2 和 Jetson AGX Orin 上使用 TensorRT 部署全权重 GR00T N1.7

本文来自 Seeed Studio Wiki，是一篇详细的技术教程，指导如何在 JetPack 7.2 和 Jetson AGX Orin 边缘计算设备上，使用 TensorRT 部署全权重的 NVIDIA Isaac GR00T N1.7 机器人策略模型。与以往仅加速 DiT 组件的工作流不同，本教程实现了对 Vision Transformer (ViT)、Large Language Model (LLM)、视觉-语言自注意力、状态编码器、动作编码器、DiT 动作专家和动作解码器全部七个组件的 TensorRT 引擎构建。教程采用本地 LeRobot 数据集和本地 Qwen3-VL-2B-Instruct 主干模型，实现了完全离线的推理流水线，避免了 Hugging Face Hub 的网络依赖。经过验证，整个 TensorRT 构建过程耗时约 3 分 37 秒，最终生成七个 .engine 文件。在推理性能方面，全 TensorRT 流水线处理每个 16 步动作预测块耗时约 0.2755 秒，相当于每秒 3.63 个块。文章还提供了 PyTorch 与 TensorRT 输出的数值对比，结果显示最终动作的余弦相似度高达 0.997426，验证了模型转换的精度。此外，文章详细列出了存储与内存规划（至少需要 45-50 GB 空间）、环境配置、故障排查以及连接实体机器人前的安全警告和检查清单，是一份从模型导出到边缘推理的完整工程实践指南。

阅读全文 →