与「LoRA」相关的文章

Handshake 高级 AI 前部署工程师

本文是Handshake公司发布的“高级AI前线部署工程师”（Senior AI Forward Deployed Engineer）招聘启事。Handshake从大学生求职平台转型为AI数据服务巨头，在2025年启动Handshake AI业务，号称已成为史上增长最快的AI数据企业，年化营收约10亿美元，每月向超过3万名知识工作者支付约6,000万美元。该职位位于旧金山，采用混合办公模式，核心使命是嵌入前沿AI实验室等战略合作伙伴中，扮演应用AI研究与客户交付的桥梁角色。工程师需要将实验室模糊的后训练需求转化为具体的评估框架、标注管道和基准基础设施，并主导原型设计、实验迭代和团队指导。技术要求方面，候选人需有6年以上应用机器学习或AI研究工程经验，深度掌握强化学习后训练技术（RLHF、DPO、PPO），具备实际模型微调操作经验（LoRA、PEFT），并有ML数据管道和评估工具的使用背景。加分项包括LLM评估设计经验、已发表的研究成果、开源贡献或在高增长AI公司担任过前线部署类角色。该岗位旨在影响前沿模型的训练方式，反映了AI数据服务行业对兼具研究深度与工程交付能力的复合型人才的迫切需求。

jobs-radar.com2026年7月8日

阅读全文

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

blog.csdn.net2026年6月23日

阅读全文