模型本地化

Articles tagged "模型本地化"

2 articles in total

YOLOv10在土星云SE110S系列边缘计算设备上的部署实战

本文详细介绍了将YOLOv10目标检测模型部署到国产边缘计算设备土星云SE110S系列的全流程实战，涵盖模型转换、编译与推理优化。YOLOv10采用一致双重分配策略实现NMS-Free端到端检测，相较YOLOv8-S减少约23%参数量、28%计算量，推理延迟降低约30%，非常适合边缘部署。土星云SE110S系列由国科环宇推出，提供SE110S-WC08（7.2 TOPS）、SE110S-WB16（16 TOPS）和SE110S-WA32（32 TOPS）三款型号，支持INT8/FP16/FP32混合精度推理和BMCV硬件加速。部署流程包括：通过Ultralytics导出ONNX模型（opset 11），使用TPU-MLIR工具链将ONNX编译为BModel，并推荐INT8量化，校准集200-500张图片。在SE110S-WA32上，INT8量化配合BMCV加速可实现110+ FPS（单路1080P），精度损失控制在5%以内（COCO val2017 AP@0.5:0.95从0.463降至0.443）。文章还给出了智慧安防、工业质检、智慧交通等多个边缘AI视觉场景的选型与优化建议，展示了YOLOv10在国产边缘硬件上的成熟落地能力。

Read More →

Qwen3-32B本地部署实战：LoRA微调+vLLM推理+Docker交付

本文是一份针对阿里巴巴通义千问系列开源大模型 Qwen3-32B 的本地化工程部署与微调实战指南。文章围绕“LoRA 微调 + vLLM 推理 + Docker 容器化交付”这一技术路径，详细记录了从环境准备、模型下载与格式转换、Docker 镜像构建、vLLM 高性能推理服务上线、到基于 Swift 框架的 LoRA 领域微调及效果验证的完整流程。核心观点强调 Qwen3-32B 作为“甜点规模”模型，在 A100-80G 单卡上即可完成推理，双卡可实现高吞吐服务，且 MMLU、CMMLU 等评测稳居开源第一梯队。技术选型深度对比了 vLLM 与 TGI 的架构差异，指出 PagedAttention 机制使 32K 长文本推理显存占用比 TGI 低 58%，吞吐量高出 2.8 倍。在 LoRA 配置上，通过梯度分析锁定 q_proj 和 v_proj 为核心目标模块，并给出 balanced 方案（q_proj+v_proj+gate_proj+down_proj，rank=8）在显存占用 31.5GB 下实现 ROUGE-L 提升 4.1 的实测数据。文章还重点描述了 Docker 从零构建的可复现策略、应对冷启动的预热技巧、QWEN 官方 AWQ 量化加速方案，以及显存溢出、模型加载失败等血泪教训。本文面向面临模型本地化、业务定制与生产环境落地的工程师，提供了可复现、可迭代、可交付的完整工作流，具有极强的工程参考价值。

Read More →