Jetson Thor

Articles tagged "Jetson Thor"

2 articles in total

August 19, 2026

英伟达发布 Cosmos 3 Edge，可在机器人端侧运行的世界模型

英伟达于 2026 年 8 月 19 日发布 Cosmos 3 Edge，这是一款专为机器人端侧控制设计的 4B 参数 omni 模型，包含一个 2B 参数的 Nemotron 推理器。该模型属于 Cosmos 3 系列，与 Cosmos 3 Nano 和 Cosmos 3 Super 共享物理世界数据预训练，具备物体运动和交互的基础理解。其核心优势在于模型足够小，可直接在英伟达 Jetson Thor 上运行，无需数据中心 GPU。后训练是使模型适应机器人操作任务的关键，英伟达提供了完整教程，训练数据来自 nvidia/Cosmos3-DROID 数据集，包含 7.6 万条成功遥操作轨迹，覆盖 86 个任务和 564 个场景，使用 Franka Panda 机械臂和 Robotiq 夹爪采集。后训练验证配置需要 64 个节点，每节点配备 4 块 GB200，共 60K 次迭代，耗时约 68 小时，总计约 1.74 万 GB200 小时。在 Jetson AGX Thor T5000 上，后训练策略实时运行，生成动作块约需 1.53 秒，覆盖 2.13 秒运动，闭环 RoboLab 任务成功率达 22.9%。该模型支持多种机器人本体，包括双臂 Franka、UR、WidowX 250 和 LeRobot SO101，教程和代码已开源。这一发布降低了机器人对数据中心算力的依赖，推动了具身智能在边缘场景的应用，标志着英伟达在边缘 AI 和机器人领域的布局进一步深化。

July 31, 2026

在 JetPack 7.2 上部署 TensorRT Edge-LLM

本指南来自 Seeed Studio Wiki，完整记录在 NVIDIA JetPack 7.2 上部署 TensorRT Edge-LLM v0.9.1 的流程。TensorRT Edge-LLM 是 NVIDIA 面向嵌入式 Jetson 平台的大语言模型、视觉语言模型和多模态模型推理栈，本版本于 2026 年 7 月 31 日更新，官方支持 Jetson Orin 和 Jetson Thor。部署分两阶段：首先在 x86 GPU 主机（Ubuntu 22.04/24.04、CUDA 12.x/13.x、Ampere 以上 GPU）上克隆 TensorRT Edge-LLM v0.9.1，通过 `tensorrt-edgellm-export` 将 Hugging Face 上的 Qwen3-0.6B 检查点导出为 ONNX 计算图；随后将 ONNX 目录传输至 Jetson 设备，在 JetPack 7.2 与 CUDA 13.2 工具链下，使用 CMake 以 `jetson-orin` 或 `jetson-thor` 为目标构建 C++ 运行时和示例，然后运行 `llm_build` 从 ONNX 构建 TensorRT 引擎，并通过 `llm_inference` 进行推理，输出示例显示模型成功回答“The capital of the United States is Washington, D.C.”。指南详细说明了 Jetson Orin 支持的精度仅为 FP16、INT8、INT4，不支持 FP8 等更高精度，并强调 JetPack 6.2 的引擎不可直接复用。对于 INT4 量化，推荐使用 AWQ 或 GPTQ 预量化检查点并采用外部化权重选项以降低内存压力。此外，还提供了基准测试命令、与 JetPack 6.2 的差异对比以及常见故障（如 CMake