大模型工程实践

标签「大模型工程实践」下的文章

共 3 篇文章

腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解

本文详细介绍了腾讯混元AI Infra推理团队针对旗舰大模型Hy3 Preview（采用GQA+MoE混合架构，原生支持256K超长上下文）在NVIDIA Hopper卡上的推理性能优化实践。面对Hopper卡算力较低、显存紧凑等限制，团队从算子优化与融合、并行策略、多级缓存、MTP异步调度、量化与稀疏五大维度进行全栈优化。在算子优化上，提出动态调度负载均衡的Attention算子（混合长度batch加速1.59x-1.76x），双BF16重构FP32 Router GEMM（加速2.86x-3.22x），FusedMoE流水线重构（相比vLLM等加速1.2x-1.6x）。算子融合方面，实现Fused Rope+Norm+Quant+Store KV（加速约5x），Fused AllReduce+Norm+Add（加速1.68x），采样融合算子（加速2.5x-5.5x），以及Gemm+Comm通算融合（加速1.68x-1.81x）。并行策略上，采用TPSP Prefill优化（TTFT降低24.5%-29.9%）和DP+EP Decode架构（吞吐提升15.7%-44.7%）。多级缓存构建GPU-CPU-KVStore三级体系以降低重复Prefill。MTP异步调度优化消除CPU气泡，端到端提升10%-20%。量化方面，在AngelSlim框架中通过GPTQ权重重建、激活平滑、Hadamard旋转和QAT微调实现W8A8C8无损量化，吞吐提升28%+；并应用Stem稀疏注意力算法及HPC-BSA算子，在128K上下文下Prefill延迟降低3.6倍，精度持平。文章为Hopper架构下大模型推理部署提供了系统级优化范本。

www.53ai.com
阅读全文

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

blog.csdn.net
阅读全文

LLMOps 实战：设计、部署和管理高级聊天机器人的框架

本文是一篇系统文献综述（SLR），分析了39篇关于基于大语言模型（LLM）的聊天机器人实现的研究，旨在总结架构、框架、最佳实践和评估指标。研究探讨了六个关键问题，识别出常见的架构模式，包括客户端-服务器架构和检索增强生成（RAG），并列举了广泛使用的模型，如GPT家族、BERT、LLaMA和Mistral等开源模型。论文评估了这些模型在不同领域的表现，强调微调、提示工程和嵌入技术对准确性和领域相关性的影响。关键评估指标涵盖准确性、用户满意度、内容质量、安全性和效率。伦理方面的讨论包括数据治理、偏见缓解和公平审计，以确保负责任地部署LLM聊天机器人。最后，综述分析了性能、成本效率和可扩展性之间的权衡，为未来的LLM聊天机器人应用研发提供了一个综合框架。文章发表在IEEE Transactions on Knowledge and Data Engineering期刊上，作者为Eindhoven University of Technology的Willem Jan Van Den Heuvel，属于LLMOps领域的学术贡献。

research.tue.nl
阅读全文