Qwen

Articles related to "Qwen"

4 articles in total

TensorRT Model Connect - 开源模型部署工具，两命令转C+

TensorRT Model Connect（TRTMC）是 NVIDIA 于 2026 年 8 月 18 日以 Apache-2.0 协议在 GitHub 开源的一款模型部署工具，旨在将 Hugging Face 或本地模型检查点直接转换为原生 C++ 推理引擎。开发者仅需 `trtmc build` 和 `trtmc run` 两条命令即可完成部署，全程无需导出 ONNX 中间格式，构建产物为版本化的 .bundle 文件，运行时完全脱离 PyTorch 环境。该项目由 OpenAI Codex Agent 在人类监督下构建，代表了 AI 辅助开发部署工具的范式转变。TRTMC 提供覆盖 105 个模型系列、76 个模型家族的参考实现，包括 Qwen、Llama、Mistral、DeepSeek 等主流开源大语言模型以及 Whisper 语音模型。性能验证方面，在 GB300 快照测试中，102 个 profile 的推理性能较声明基准提升超过 5%。其技术架构将构建阶段与运行时解耦，提供统一的 C++ 任务 API（generate、transcribe、embed 等），并支持 NVIDIA 全系列 GPU（如 A100、H100、Jetson），可实现云端到边缘的全场景部署，适用于大模型推理服务、边缘 AI 推理、C++ 应用集成与模型快速评估。该工具通过版本化 .bundle 天然支持模型回滚与灰度发布，为生产环境提供了高一致性的交付单元。

Read More →

面向AI的前沿部署工程师服务 | Shinetech

本文介绍 Shinetech 公司提供的面向 AI 的前线部署工程师服务，核心是帮助企业找到高价值的工作流（如销售、客服、财务、运营、供应链、内部知识、现场服务等），构建可运行的 AI 解决方案并嵌入企业现有系统（CRM、ERP 等）。服务原则强调业务优先（先梳理工作流、评估可行性，而非预设 AI 产品）、模型中立（根据任务选择 OpenAI GPT、Anthropic Claude、Google Gemini、Meta Llama、Qwen、Kimi 等商业及开源模型）、系统深度集成（API、数据流、权限、用户体验、测试、监控等）、人机协同控制（权限、护栏、人工审批、审计）。文章明确前线部署工程师与传统 AI 顾问、人员扩充的不同：FDE 更贴近业务现场，负责从问题发现、方案设计、原型开发、系统集成到验证改进的全流程。通常一个范围明确的工作流可在两周内交付可运行的 POC，验证可行性后逐步推进集成与优化。Shinetech 作为软件工程合作伙伴，强调不绑定特定 AI 平台，不按算力消耗计费，而是对工作流和软件交付结果负责,拥有 25 年软件交付经验、500 多名工程师和 ISO 27001 等信息安全资质。

Read More →

Muse Glimmer 介绍：一款可在你的设备上运行的开源智能体模型

Meta AI Research 正式发布了名为 Muse Glimmer 的开源智能体模型，并将其权重在 Apache 2.0 许可下开源。Muse Glimmer 是一个拥有 300 亿参数的模型，专门为始终在线的本地智能体工作流优化，设计目标是能在搭载单个消费级 GPU 的 Mac 或 PC 上运行。该模型旨在实现本地智能体、函数调用、本地编码及 LLM 作为评估器等用例。在训练层面，Meta 采用了紧凑的架构设计，通过基于 Muse Spark 输出的逻辑蒸馏进行预训练，并在中期训练阶段引入更长上下文和带有丰富推理痕迹的数据，最后结合监督微调、在线策略蒸馏和强化学习进行后训练。在性能上，Meta 宣称 Muse Glimmer 在同尺寸模型中表现强劲，与 Gemma4-31B 和 Qwen3.6-27B 等模型相比，具备可靠的端到端任务完成、多步推理、失败恢复及多模态输入输出能力。为了在消费级硬件上实现实用的运行速度，Meta 采用了约 4-bit 的量化技术压缩权重，并引入基于 DFlash 的轻量级推测解码起草模型，能在无损质量的前提下显著提升生成速度。该模型目前在 Hugging Face 提供下载，并将通过 Ollama、LM Studio 等合作伙伴集成，支持 llama.cpp、MLX 和 ExecuTorch 等边缘框架，同时正与 AMD、Arm、Dell、Intel 和 NVIDIA 等硬件厂商合作优化全设备性能。

Read More →

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

Read More →