AI

标签「AI」下的文章

共 2 篇文章

边缘端LLM卸载故事：Synaptics Torq™如何实现高效Gemma™推理

本文探讨了Synaptics公司与Google Research合作，在其Astra SL2610产品线中集成Torq NPU，以高效运行Google的Gemma 3 270M大语言模型的边缘推理解决方案。文章指出，边缘设备部署LLM面临动态执行、激活函数算力消耗高和内存带宽三大瓶颈，标准CPU和普通NPU难以高效应对。为此，Torq NPU采用了三项核心技术支柱：第一，通过静态模型转换将动态计算图预分配为静态张量，确保硬件利用率和执行可预测性；第二，基于硬件优化的查找表（LUT）和线性插值加速GELU和Softmax激活函数，分别实现10倍和12.5倍的推理加速；第三，采用感知敏感度的混合精度权重量化策略，将84%的层压缩至4-bit精度，关键层保留8-bit，平均位宽降至4.3 bits，在保持模型精度的同时提升2.7倍有效吞吐量。综合三项优化，Torq NPU使Gemma 3推理速度整体提升3.5倍，实现了数据隐私、离线可靠、低延迟和低成本的边缘AI优势。该技术适用于IoT边缘AI处理器，支持离线语言翻译、工具调用和文档摘要等应用场景。

阅读全文 →

1000份简历招1个人，他们要找什么样的FDE？

2026年7月29日，牛透社作者崔强撰文深度采访了 Rolling AI 联合创始人甘艺凡和刘开，从本质层面解析了前线部署工程师（FDE）这一职业角色。甘艺凡将 FDE 定义为“代表结果的职位”，澄清了市场的三大核心误读：首先，Engineer 并非指传统的代码编写者，而是能将业务需求借助 AI 系统化为可复用工程能力的人，他举例自己虽不擅长手写代码，但借助 AI 产出的代码质量已超普通研发平均水平；其次，Deployment 不仅指技术交付，更指一整套新的 AI 生产力进入特定业务流程并协同运转的过程；最后，Front End 特指业务发生的真实现场（如门店），而非企业总部的需求对接。文章指出，Rolling AI 对 FDE 的筛选极其严苛，比例达到 1000:1，且在能力和聪明之外，甘艺凡最看重候选人是否有源自内心的“饥饿感”、心力与愿力，更倾向于选择动手能力和常识强的人（如做过小生意者），并直言“Ego 太大的人”无法在高度依赖试错的 AI 环境中存活。关于模式复制，两位创始人明确判断 Palantir 模式在中国无法照搬，因为中国企业运行依赖人情信任而非清晰的契约与流程，组织现实的模糊性是 AI 落地的最大非技术障碍。最后，甘艺凡将 FDE 比喻为连接数字世界与现实世界、模型与业务目标的永久性桥梁，即使模型进化，这种负责提供真实世界上下文环境的角色也不会消失。

阅读全文 →