TensorRT

Articles related to "TensorRT"

4 articles in total

TensorRT Model Connect - 开源模型部署工具，两命令转C+

TensorRT Model Connect（TRTMC）是 NVIDIA 于 2026 年 8 月 18 日以 Apache-2.0 协议在 GitHub 开源的一款模型部署工具，旨在将 Hugging Face 或本地模型检查点直接转换为原生 C++ 推理引擎。开发者仅需 `trtmc build` 和 `trtmc run` 两条命令即可完成部署，全程无需导出 ONNX 中间格式，构建产物为版本化的 .bundle 文件，运行时完全脱离 PyTorch 环境。该项目由 OpenAI Codex Agent 在人类监督下构建，代表了 AI 辅助开发部署工具的范式转变。TRTMC 提供覆盖 105 个模型系列、76 个模型家族的参考实现，包括 Qwen、Llama、Mistral、DeepSeek 等主流开源大语言模型以及 Whisper 语音模型。性能验证方面，在 GB300 快照测试中，102 个 profile 的推理性能较声明基准提升超过 5%。其技术架构将构建阶段与运行时解耦，提供统一的 C++ 任务 API（generate、transcribe、embed 等），并支持 NVIDIA 全系列 GPU（如 A100、H100、Jetson），可实现云端到边缘的全场景部署，适用于大模型推理服务、边缘 AI 推理、C++ 应用集成与模型快速评估。该工具通过版本化 .bundle 天然支持模型回滚与灰度发布，为生产环境提供了高一致性的交付单元。

Read More →

Jetson Orin 8GB 部署 TensorRT-Edge-LLM：Qwen2.5 从安装到 OpenAI 兼容服务全流程（11 个坑血泪实录，保姆级实战）

本文记录了在Jetson Orin Nano Super DevKit 8GB（8GB统一内存）上，使用NVIDIA TensorRT-Edge-LLM v0.6.0部署阿里通义千问Qwen2.5-0.5B-Instruct的全流程，从Python工具链与C++ Runtime安装、ONNX导出（plugin模式）、TensorRT引擎构建，到用FastAPI封装成OpenAI兼容HTTP服务，并详细剖析了11个工程踩坑点。核心经验包括：必须锁定v0.6.0以匹配JetPack 6.2和TensorRT 10.3.0.30；pip安装需用--no-deps避免onnx版本冲突；导出时绝对禁用--trt_native_ops。8GB设备硬性构建上限为0.5B模型，1.5B模型因embedding表固定占445MB，在autotuner阶段因NvMap连续空闲块（lfb）不足导致OOM，通过重启整机、切换无桌面模式及MAXN功耗模式等策略成功构建。推理验证显示生成速率21.9~30.5 tok/s（平均约26.5 tok/s），TTFT约1.9s，峰值内存4.23GB（55.7%），功耗约15.2W，GPU利用率99%。文章强调构建期内存远大于推理期，同架构Orin设备间引擎可直接迁移，为边缘端AI部署提供了详实、可复现的避坑指南。

Read More →

在 JetPack 7.2 和 Jetson AGX Orin 上使用 TensorRT 部署全权重 GR00T N1.7

本文来自 Seeed Studio Wiki，是一篇详细的技术教程，指导如何在 JetPack 7.2 和 Jetson AGX Orin 边缘计算设备上，使用 TensorRT 部署全权重的 NVIDIA Isaac GR00T N1.7 机器人策略模型。与以往仅加速 DiT 组件的工作流不同，本教程实现了对 Vision Transformer (ViT)、Large Language Model (LLM)、视觉-语言自注意力、状态编码器、动作编码器、DiT 动作专家和动作解码器全部七个组件的 TensorRT 引擎构建。教程采用本地 LeRobot 数据集和本地 Qwen3-VL-2B-Instruct 主干模型，实现了完全离线的推理流水线，避免了 Hugging Face Hub 的网络依赖。经过验证，整个 TensorRT 构建过程耗时约 3 分 37 秒，最终生成七个 .engine 文件。在推理性能方面，全 TensorRT 流水线处理每个 16 步动作预测块耗时约 0.2755 秒，相当于每秒 3.63 个块。文章还提供了 PyTorch 与 TensorRT 输出的数值对比，结果显示最终动作的余弦相似度高达 0.997426，验证了模型转换的精度。此外，文章详细列出了存储与内存规划（至少需要 45-50 GB 空间）、环境配置、故障排查以及连接实体机器人前的安全警告和检查清单，是一份从模型导出到边缘推理的完整工程实践指南。

Read More →

AI 模型部署策略 | 2026 年生产部署指南

本文系统梳理了2026年AI模型部署到生产环境的12种核心策略，包括批量推理、实时推理、流式推理、边缘部署、金丝雀部署、蓝绿部署、影子部署、滚动更新、冠军-挑战者模式、多臂老虎机、无服务器推理和联邦学习。文章引用Gartner 2024年数据指出，仅29%企业成功部署生成式AI模型，48%的AI项目最终进入生产阶段，中位周期为8个月。Ademero分析显示AI项目平均回报率380%，年均节省240万美元。文中详述了各策略的适用场景、技术栈（vLLM、Triton、ONNX Runtime、Kubernetes、Kafka等）和成本考量，指出单端点实时推理月成本1800-2900美元，中型部署月费5000-15000美元。文章提供了基于延迟预算和风险容忍度的策略选择框架，强调监控、自动化CI/CD/MLOps管道、模型漂移检测以及EU AI Act合规的重要性，并给出六条2026年部署最佳实践，包括从批量起步、量化优化、关注业务指标而非仅技术指标等。

Read More →