与「HuggingFace」相关的文章

高级AI工程师 - FDE（前向部署工程师）- 美国联邦部门 - Databricks

本文是Databricks发布的Sr. AI Engineer - FDE（前线部署工程师）招聘信息，工作地点位于美国华盛顿特区、马里兰州或弗吉尼亚州，服务于美国联邦部门。该职位隶属于Databricks高度专业化的客户面向AI团队——AI FDE团队，核心职责包括利用Databricks AI研究的最新技术开发前沿生成式AI解决方案，涵盖RAG、多智能体系统、Text2SQL、模型微调等应用，并负责GenAI应用的生产环境部署、评估与优化。候选人需使用HuggingFace、LangChain、DSPy等工具，并具备在AWS、Azure或GCP上部署生产级机器学习系统的经验。由于联邦合同要求，该职位强制要求美国公民身份及获得美国政府机密许可的能力，持有现行Secret或更高级别许可者优先。职位薪资范围为182,000至250,208美元年薪，并提供年度绩效奖金、股权等福利。Databricks强调其平台已被Comcast、Condé Nast、Grammarly及超过50%的财富500强企业采用，由Lakehouse、Apache Spark、Delta Lake和MLflow的原创者创立。该职位需要跨职能协作，影响产品路线图，并在Data + AI Summit等会议上担任思想领袖。

jobs-radar.com2026年7月7日

阅读全文

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

blog.csdn.net2026年6月23日

阅读全文