PyTorch

与「PyTorch」相关的文章

共 7 篇文章

借助AMD Vitis AI的GStreamer加速边缘AI流水线

本文介绍如何使用 AMD Vitis AI 和 VVAS 工具链加速边缘 AI 视频分析流水线的开发与部署。文章从端到端视角剖析了从训练好的 PyTorch/TensorFlow 模型到在第二代 Versal AI Edge 系列自适应 SoC 上实时运行 NPU 推理的完整流程。核心工具包括：AMD Quark 量化工具支持 BF16、FP16 和 INT8 精度模式，并可通过混合精度解决 YOLO 等模型后处理的精度损失；Vitis AI 编译器自动完成算子融合、内存调度及 CPU/NPU 分区，支持数据并行和张量并行；ONNX Runtime + Vitis AI Execution Provider 和原生 VART-ML 运行时分别适配快速原型与量产级零拷贝执行。在视频流水线集成侧，基于 GStreamer 的 VVAS 通过插件（vvas_xinfer、vvas_xoverlay 等）及 JSON 配置，编排采集、预处理、推理、后处理与渲染，并原生支持空间分区、时间共享和 DMA-BUF 零拷贝等高级部署特性。文中以 YOLOX 检测示例演示了单条 gst-launch 命令即可描述完整流水线。预构建 Docker 镜像和 VEK385 评估板启动镜像使上手时间缩短至数分钟，Python/C++ API 覆盖从原型到量产。这些能力可使团队将更少时间花在底层集成上，更多聚焦于应用开发与性能优化。

阅读全文 →

AI Engineer, FDE (Forward Deployed Engineer)

本文是Databricks在印度班加罗尔发布的AI工程师-FDE前线部署工程师招聘信息。该岗位隶属于Databricks的AI Forward Deployed Engineering团队，这是一个高度专业化的客户面AI团队，负责为客户交付专业服务，帮助其构建并产品化首创AI应用。岗位核心职责包括利用Databricks AI研究的最新技术开发尖端GenAI解决方案，涵盖RAG、多智能体系统、Text2SQL及模型微调等；负责面向消费者及内部的GenAI应用的生产上线；并作为客户的可信技术顾问。该职位要求与工程、产品及开发者关系团队跨职能协作，影响产品路线图，并在Data + AI Summit等顶级会议上发表演讲。技术栈方面，候选人需具备使用HuggingFace、LangChain、DSPy等工具构建GenAI应用的实战经验，以及在大规模分布式数据集上使用Databricks Intelligence Platform和Apache Spark的经验。任职要求强调生产级机器学习部署能力，涉及AWS、Azure或GCP云平台，且需具备在pandas、scikit-learn、PyTorch等常见工具上的多年数据科学行业经验。该职位支持远程办公，要求候选人拥有计算机科学或统计学等相关量化专业硕士学位，并具备向非技术受众传达技术概念的沟通能力。

阅读全文 →

Muse Glimmer 介绍：一款可在你的设备上运行的开源智能体模型

Meta AI Research 正式发布了名为 Muse Glimmer 的开源智能体模型，并将其权重在 Apache 2.0 许可下开源。Muse Glimmer 是一个拥有 300 亿参数的模型，专门为始终在线的本地智能体工作流优化，设计目标是能在搭载单个消费级 GPU 的 Mac 或 PC 上运行。该模型旨在实现本地智能体、函数调用、本地编码及 LLM 作为评估器等用例。在训练层面，Meta 采用了紧凑的架构设计，通过基于 Muse Spark 输出的逻辑蒸馏进行预训练，并在中期训练阶段引入更长上下文和带有丰富推理痕迹的数据，最后结合监督微调、在线策略蒸馏和强化学习进行后训练。在性能上，Meta 宣称 Muse Glimmer 在同尺寸模型中表现强劲，与 Gemma4-31B 和 Qwen3.6-27B 等模型相比，具备可靠的端到端任务完成、多步推理、失败恢复及多模态输入输出能力。为了在消费级硬件上实现实用的运行速度，Meta 采用了约 4-bit 的量化技术压缩权重，并引入基于 DFlash 的轻量级推测解码起草模型，能在无损质量的前提下显著提升生成速度。该模型目前在 Hugging Face 提供下载，并将通过 Ollama、LM Studio 等合作伙伴集成，支持 llama.cpp、MLX 和 ExecuTorch 等边缘框架，同时正与 AMD、Arm、Dell、Intel 和 NVIDIA 等硬件厂商合作优化全设备性能。

阅读全文 →

在 JetPack 7.2 和 Jetson AGX Orin 上使用 TensorRT 部署全权重 GR00T N1.7

本文来自 Seeed Studio Wiki，是一篇详细的技术教程，指导如何在 JetPack 7.2 和 Jetson AGX Orin 边缘计算设备上，使用 TensorRT 部署全权重的 NVIDIA Isaac GR00T N1.7 机器人策略模型。与以往仅加速 DiT 组件的工作流不同，本教程实现了对 Vision Transformer (ViT)、Large Language Model (LLM)、视觉-语言自注意力、状态编码器、动作编码器、DiT 动作专家和动作解码器全部七个组件的 TensorRT 引擎构建。教程采用本地 LeRobot 数据集和本地 Qwen3-VL-2B-Instruct 主干模型，实现了完全离线的推理流水线，避免了 Hugging Face Hub 的网络依赖。经过验证，整个 TensorRT 构建过程耗时约 3 分 37 秒，最终生成七个 .engine 文件。在推理性能方面，全 TensorRT 流水线处理每个 16 步动作预测块耗时约 0.2755 秒，相当于每秒 3.63 个块。文章还提供了 PyTorch 与 TensorRT 输出的数值对比，结果显示最终动作的余弦相似度高达 0.997426，验证了模型转换的精度。此外，文章详细列出了存储与内存规划（至少需要 45-50 GB 空间）、环境配置、故障排查以及连接实体机器人前的安全警告和检查清单，是一份从模型导出到边缘推理的完整工程实践指南。

阅读全文 →

资深前部署工程师，GenAI，Google Cloud（日语、英语）

Google Cloud 发布 Senior Forward Deployed Engineer, GenAI 职位招聘，工作地点位于日本东京。该职位属于 Google Cloud 的 Go-To-Market 团队，要求候选人具备 Python 和机器学习框架（如 Keras、PyTorch、HF Transformers）的 5 年以上经验，以及应用 AI 构建系统的能力，包括提示工程、微调、检索增强生成（RAG）和编排模型与外部工具交互。候选人还需有在云平台（如 Google Cloud Platform）上架构、部署或管理解决方案的经验，并精通日语和英语。优先条件包括 AI 或计算机科学硕士/博士学位，以及使用 LangGraph、CrewAI 或 Google Agent Development Kit (ADK) 实现多智能体系统的经验，熟悉 ReAct、自我反思、层级委托等模式，并了解大语言模型原生指标（如 tokens/sec、cost-per-request）及状态管理和细粒度追踪优化。职位核心职责是将 AI 应用从原型转化为生产级智能体工作流，架构并编码连接 Google AI 产品与客户现有基础设施，构建评估流水线和可观测框架以确保智能体系统的准确性、安全性和延迟达标，识别可复用的现场模式并将其转化为可复用模块或产品功能需求，以及联合客户工程团队灌输 Google 级开发最佳实践。该职位强调嵌入式构建者的角色，弥合前沿 AI 产品与客户生产现实之间的鸿沟，并将现场洞察反馈至 Google Cloud 产品路线图。Google 提供包括 Gemini 前沿模型和 Vertex AI 平台在内的最先进 AI 产品组合，以及直接接触 DeepMind 工程和研究团队的协作文化。

阅读全文 →

2026年机器学习模型部署最佳实践——完整MLOps指南

本文由资深Python开发者兼数据科学家Naeemah Aliya Small撰写，系统阐述了2026年机器学习模型部署的完整最佳实践与MLOps生命周期。文章指出，ML部署与传统软件部署的核心区别在于模型对数据统计属性的第三维依赖，导致其会产生静默退化而非显式报错，且需要A/B测试、影子部署和金丝雀发布等在线实验验证。指南覆盖从模型打包、服务API构建、Docker容器化到模型监控的完整链路：在打包阶段，推荐使用MLflow模型注册中心替代脆弱的Pickle文件，并可通过ONNX实现跨框架可移植性；在服务层，使用FastAPI搭配Pydantic实现类型安全的模型服务；在监控环节，强调必须同时覆盖基础设施监控、预测分布监控和数据漂移检测三个层次，避免仅监控CPU/内存而忽视模型精度退化至61%的静默故障。文章详细对比了FastAPI、BentoML、TorchServe、TensorFlow Serving、Seldon Core、Ray Serve、ONNX Runtime七种主流模型服务框架的优缺点，并总结了部署就绪检查清单，涵盖模型版本化、输入验证、预测分布监控、数据漂移检测、回滚预案和CI/CD验证等12条检查项。核心理念是：可靠部署ML的团队并非拥有最优模型，而是将部署视为一等工程问题，通过版本化、自动化、可观测和可回滚的基础设施来保障生产稳定性。

阅读全文 →

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

阅读全文 →