llm_inference

Jetson Orin 8GB 部署 TensorRT-Edge-LLM：Qwen2.5 从安装到 OpenAI 兼容服务全流程（11 个坑血泪实录，保姆级实战）

本文记录了在Jetson Orin Nano Super DevKit 8GB（8GB统一内存）上，使用NVIDIA TensorRT-Edge-LLM v0.6.0部署阿里通义千问Qwen2.5-0.5B-Instruct的全流程，从Python工具链与C++ Runtime安装、ONNX导出（plugin模式）、TensorRT引擎构建，到用FastAPI封装成OpenAI兼容HTTP服务，并详细剖析了11个工程踩坑点。核心经验包括：必须锁定v0.6.0以匹配JetPack 6.2和TensorRT 10.3.0.30；pip安装需用--no-deps避免onnx版本冲突；导出时绝对禁用--trt_native_ops。8GB设备硬性构建上限为0.5B模型，1.5B模型因embedding表固定占445MB，在autotuner阶段因NvMap连续空闲块（lfb）不足导致OOM，通过重启整机、切换无桌面模式及MAXN功耗模式等策略成功构建。推理验证显示生成速率21.9~30.5 tok/s（平均约26.5 tok/s），TTFT约1.9s，峰值内存4.23GB（55.7%），功耗约15.2W，GPU利用率99%。文章强调构建期内存远大于推理期，同架构Orin设备间引擎可直接迁移，为边缘端AI部署提供了详实、可复现的避坑指南。