PyTorch

与「PyTorch」相关的文章

共 3 篇文章

资深前部署工程师，GenAI，Google Cloud（日语、英语）

Google Cloud 发布 Senior Forward Deployed Engineer, GenAI 职位招聘，工作地点位于日本东京。该职位属于 Google Cloud 的 Go-To-Market 团队，要求候选人具备 Python 和机器学习框架（如 Keras、PyTorch、HF Transformers）的 5 年以上经验，以及应用 AI 构建系统的能力，包括提示工程、微调、检索增强生成（RAG）和编排模型与外部工具交互。候选人还需有在云平台（如 Google Cloud Platform）上架构、部署或管理解决方案的经验，并精通日语和英语。优先条件包括 AI 或计算机科学硕士/博士学位，以及使用 LangGraph、CrewAI 或 Google Agent Development Kit (ADK) 实现多智能体系统的经验，熟悉 ReAct、自我反思、层级委托等模式，并了解大语言模型原生指标（如 tokens/sec、cost-per-request）及状态管理和细粒度追踪优化。职位核心职责是将 AI 应用从原型转化为生产级智能体工作流，架构并编码连接 Google AI 产品与客户现有基础设施，构建评估流水线和可观测框架以确保智能体系统的准确性、安全性和延迟达标，识别可复用的现场模式并将其转化为可复用模块或产品功能需求，以及联合客户工程团队灌输 Google 级开发最佳实践。该职位强调嵌入式构建者的角色，弥合前沿 AI 产品与客户生产现实之间的鸿沟，并将现场洞察反馈至 Google Cloud 产品路线图。Google 提供包括 Gemini 前沿模型和 Vertex AI 平台在内的最先进 AI 产品组合，以及直接接触 DeepMind 工程和研究团队的协作文化。

www.cake.me
阅读全文

2026年机器学习模型部署最佳实践——完整MLOps指南

本文由资深Python开发者兼数据科学家Naeemah Aliya Small撰写，系统阐述了2026年机器学习模型部署的完整最佳实践与MLOps生命周期。文章指出，ML部署与传统软件部署的核心区别在于模型对数据统计属性的第三维依赖，导致其会产生静默退化而非显式报错，且需要A/B测试、影子部署和金丝雀发布等在线实验验证。指南覆盖从模型打包、服务API构建、Docker容器化到模型监控的完整链路：在打包阶段，推荐使用MLflow模型注册中心替代脆弱的Pickle文件，并可通过ONNX实现跨框架可移植性；在服务层，使用FastAPI搭配Pydantic实现类型安全的模型服务；在监控环节，强调必须同时覆盖基础设施监控、预测分布监控和数据漂移检测三个层次，避免仅监控CPU/内存而忽视模型精度退化至61%的静默故障。文章详细对比了FastAPI、BentoML、TorchServe、TensorFlow Serving、Seldon Core、Ray Serve、ONNX Runtime七种主流模型服务框架的优缺点，并总结了部署就绪检查清单，涵盖模型版本化、输入验证、预测分布监控、数据漂移检测、回滚预案和CI/CD验证等12条检查项。核心理念是：可靠部署ML的团队并非拥有最优模型，而是将部署视为一等工程问题，通过版本化、自动化、可观测和可回滚的基础设施来保障生产稳定性。

naeemahsmall.com
阅读全文

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

blog.csdn.net
阅读全文