NVIDIA

Articles related to "NVIDIA"

16 articles in total

云端token爆发后,端侧算力起步:智能体一体机迎来六路玩家

本文深度剖析了2026年6月智能体一体机市场的最新竞争格局与产业逻辑。随着云端AI Token爆发,本地端侧算力需求正式起步,一个全新的硬件品类——智能体一体机正在成型。文章定义了该品类的核心形态:一种搭载较强本地显卡算力(通常为128GB显存),能支撑3-5人小团队或超级个体本地运行模型和智能体的桌面级主机,售价在1.8万至3.3万元区间。目前市场形成了四种技术路线:苹果Mac Mini方案、NVIDIA的DGX Spark及与联发科合作开发的RTX Spark方案、AMD锐龙AI Max+ Windows主机方案,以及低价低功耗的Intel N97网关方案。文章重点复盘了前两次AI硬件“退货潮”的教训——2025年DeepSeek一体机因有算力无应用而被闲置,2026年MacMini因用户跟风购买OpenClaw却没有具体工作需求而退货,指出当前第三波热潮的理性之处在于:经过迭代的Agent能力已达“大学生”级别,真正开始解决具体、高频、重复的实际工作任务(如律师知识检索、零部件销售报价、财务发票计税)。产业面临的核心挑战是“高不能低不就”:端侧算力场景不如云端丰富,单卡算力有限,但2.3万元以上的高价让普通用户望而却步。六路入局玩家(传统PC厂、芯片厂、AI初创、行业方案商、通用方案商、跨界者)的差异化在于软件生态,谁能提供开箱即用的智能体工作流(如企业知识库、法务财务Agent),谁就能在竞争中胜出。

Read More

Fuzzball将英伟达DGX Spark转化为可随时运行的任意规模AI开发与推理环境

2026年7月(具体日期不详),CIQ宣布其Fuzzball人工智能与高性能计算编排平台已为NVIDIA DGX Spark提供可投入生产使用的AI计算与推理环境,后续计划支持更多平台。Fuzzball可将AI模型从构思到推理服务上线的周期从数月压缩至数天,单台DGX Spark在启用首日即可成为全功能AI开发部署环境,内置数百个工作流模板,无需重构即可扩展至数千块GPU,还可无缝迁移至NVIDIA GB300 NVL72等更大规模GPU部署。该方案主要面向需保障数据不出本地的Sovereign AI场景,打通本地DGX Spark、现有高性能计算集群与云GPU资源的统一运营模型,消除AI团队与高性能计算团队的运营割裂问题,解决此前受监管行业机构必须在AI投产与数据自主可控之间二选一的痛点。CIQ还宣布将于2026年7月16日太平洋夏令时12:00举办题为“借助Fuzzball部署您的专属大语言模型并推进至生产环境”的网络研讨会,开放公开注册。该方案体现出面向主权AI、本地到云的统一编排以及工作流一键扩展等关键能力,针对金融、医疗等强监管行业的AI落地需求提供了工程化解决路径。

Read More

腾讯混元AI Infra如何优化Hy3 Preview:一次大模型推理性能提升的技术拆解

本文详细介绍了腾讯混元AI Infra推理团队针对旗舰大模型Hy3 Preview(采用GQA+MoE混合架构,原生支持256K超长上下文)在NVIDIA Hopper卡上的推理性能优化实践。面对Hopper卡算力较低、显存紧凑等限制,团队从算子优化与融合、并行策略、多级缓存、MTP异步调度、量化与稀疏五大维度进行全栈优化。在算子优化上,提出动态调度负载均衡的Attention算子(混合长度batch加速1.59x-1.76x),双BF16重构FP32 Router GEMM(加速2.86x-3.22x),FusedMoE流水线重构(相比vLLM等加速1.2x-1.6x)。算子融合方面,实现Fused Rope+Norm+Quant+Store KV(加速约5x),Fused AllReduce+Norm+Add(加速1.68x),采样融合算子(加速2.5x-5.5x),以及Gemm+Comm通算融合(加速1.68x-1.81x)。并行策略上,采用TPSP Prefill优化(TTFT降低24.5%-29.9%)和DP+EP Decode架构(吞吐提升15.7%-44.7%)。多级缓存构建GPU-CPU-KVStore三级体系以降低重复Prefill。MTP异步调度优化消除CPU气泡,端到端提升10%-20%。量化方面,在AngelSlim框架中通过GPTQ权重重建、激活平滑、Hadamard旋转和QAT微调实现W8A8C8无损量化,吞吐提升28%+;并应用Stem稀疏注意力算法及HPC-BSA算子,在128K上下文下Prefill延迟降低3.6倍,精度持平。文章为Hopper架构下大模型推理部署提供了系统级优化范本。

Read More

前線部署工程師 | Forward Deployed Engineer (FDE)

十论科技股份有限公司(Tricuss CO., LTD.)发布前线部署工程师(Forward Deployed Engineer, FDE)招聘公告。公司旗舰产品“企业级Co-researcher AI Agent”融合Agentic AI、大数据与物理模拟,结合物理基础数字孪生(Physics-based Digital Twins),为地端(On-premise)与封闭网络(Air-gapped)高资安客户提供最高千倍加速和减少70%实体实验的研发解决方案,已与NVIDIA、Qualcomm、Intel及世界顶尖半导体与AI服务器供应链客户密切合作。FDE作为核心技术与客户间的桥梁,需深入理解客户研发痛点,利用平台设计并部署定制化AI代理与工作流,负责系统集成(如Hadoop/Iceberg大数据生态)、AI检索架构优化、Prompt策略与多代理协作调优、PoC验证及产品反馈。岗位要求具备大型语言模型API(OpenAI、Anthropic)实战经验、Agentic Framework与RAG部署经验,以及B2B SaaS技术咨询或FDE/Solutions Architect背景,熟悉Python或TypeScript、云平台(AWS、GCP、Azure)与容器化技术(Docker、Kubernetes),掌握LangGraph、CrewAI、AutoGen等Agentic框架者优先,薪资60万至200万新台币/年。该职位体现了AI 2B场景下对既懂技术又懂业务的复合型FDE的迫切需求,是AI工程化与垂直行业深度融合的典型案例。

Read More