边缘AI

标签「边缘AI」下的文章

共 3 篇文章

TensorRT Model Connect - 开源模型部署工具，两命令转C+

TensorRT Model Connect（TRTMC）是 NVIDIA 于 2026 年 8 月 18 日以 Apache-2.0 协议在 GitHub 开源的一款模型部署工具，旨在将 Hugging Face 或本地模型检查点直接转换为原生 C++ 推理引擎。开发者仅需 `trtmc build` 和 `trtmc run` 两条命令即可完成部署，全程无需导出 ONNX 中间格式，构建产物为版本化的 .bundle 文件，运行时完全脱离 PyTorch 环境。该项目由 OpenAI Codex Agent 在人类监督下构建，代表了 AI 辅助开发部署工具的范式转变。TRTMC 提供覆盖 105 个模型系列、76 个模型家族的参考实现，包括 Qwen、Llama、Mistral、DeepSeek 等主流开源大语言模型以及 Whisper 语音模型。性能验证方面，在 GB300 快照测试中，102 个 profile 的推理性能较声明基准提升超过 5%。其技术架构将构建阶段与运行时解耦，提供统一的 C++ 任务 API（generate、transcribe、embed 等），并支持 NVIDIA 全系列 GPU（如 A100、H100、Jetson），可实现云端到边缘的全场景部署，适用于大模型推理服务、边缘 AI 推理、C++ 应用集成与模型快速评估。该工具通过版本化 .bundle 天然支持模型回滚与灰度发布，为生产环境提供了高一致性的交付单元。

阅读全文 →

借助AMD Vitis AI的GStreamer加速边缘AI流水线

本文介绍如何使用 AMD Vitis AI 和 VVAS 工具链加速边缘 AI 视频分析流水线的开发与部署。文章从端到端视角剖析了从训练好的 PyTorch/TensorFlow 模型到在第二代 Versal AI Edge 系列自适应 SoC 上实时运行 NPU 推理的完整流程。核心工具包括：AMD Quark 量化工具支持 BF16、FP16 和 INT8 精度模式，并可通过混合精度解决 YOLO 等模型后处理的精度损失；Vitis AI 编译器自动完成算子融合、内存调度及 CPU/NPU 分区，支持数据并行和张量并行；ONNX Runtime + Vitis AI Execution Provider 和原生 VART-ML 运行时分别适配快速原型与量产级零拷贝执行。在视频流水线集成侧，基于 GStreamer 的 VVAS 通过插件（vvas_xinfer、vvas_xoverlay 等）及 JSON 配置，编排采集、预处理、推理、后处理与渲染，并原生支持空间分区、时间共享和 DMA-BUF 零拷贝等高级部署特性。文中以 YOLOX 检测示例演示了单条 gst-launch 命令即可描述完整流水线。预构建 Docker 镜像和 VEK385 评估板启动镜像使上手时间缩短至数分钟，Python/C++ API 覆盖从原型到量产。这些能力可使团队将更少时间花在底层集成上，更多聚焦于应用开发与性能优化。

阅读全文 →

边缘端LLM卸载故事：Synaptics Torq™如何实现高效Gemma™推理

本文探讨了Synaptics公司与Google Research合作，在其Astra SL2610产品线中集成Torq NPU，以高效运行Google的Gemma 3 270M大语言模型的边缘推理解决方案。文章指出，边缘设备部署LLM面临动态执行、激活函数算力消耗高和内存带宽三大瓶颈，标准CPU和普通NPU难以高效应对。为此，Torq NPU采用了三项核心技术支柱：第一，通过静态模型转换将动态计算图预分配为静态张量，确保硬件利用率和执行可预测性；第二，基于硬件优化的查找表（LUT）和线性插值加速GELU和Softmax激活函数，分别实现10倍和12.5倍的推理加速；第三，采用感知敏感度的混合精度权重量化策略，将84%的层压缩至4-bit精度，关键层保留8-bit，平均位宽降至4.3 bits，在保持模型精度的同时提升2.7倍有效吞吐量。综合三项优化，Torq NPU使Gemma 3推理速度整体提升3.5倍，实现了数据隐私、离线可靠、低延迟和低成本的边缘AI优势。该技术适用于IoT边缘AI处理器，支持离线语言翻译、工具调用和文档摘要等应用场景。

阅读全文 →