模型评估

Articles tagged "模型评估"

4 articles in total

Handshake 高级 AI 前部署工程师

本文是Handshake公司发布的“高级AI前线部署工程师”（Senior AI Forward Deployed Engineer）招聘启事。Handshake从大学生求职平台转型为AI数据服务巨头，在2025年启动Handshake AI业务，号称已成为史上增长最快的AI数据企业，年化营收约10亿美元，每月向超过3万名知识工作者支付约6,000万美元。该职位位于旧金山，采用混合办公模式，核心使命是嵌入前沿AI实验室等战略合作伙伴中，扮演应用AI研究与客户交付的桥梁角色。工程师需要将实验室模糊的后训练需求转化为具体的评估框架、标注管道和基准基础设施，并主导原型设计、实验迭代和团队指导。技术要求方面，候选人需有6年以上应用机器学习或AI研究工程经验，深度掌握强化学习后训练技术（RLHF、DPO、PPO），具备实际模型微调操作经验（LoRA、PEFT），并有ML数据管道和评估工具的使用背景。加分项包括LLM评估设计经验、已发表的研究成果、开源贡献或在高增长AI公司担任过前线部署类角色。该岗位旨在影响前沿模型的训练方式，反映了AI数据服务行业对兼具研究深度与工程交付能力的复合型人才的迫切需求。

jobs-radar.comJuly 8, 2026

字节跳动提出基于部署后学习速度的新AI扩展定律

2026年7月5日，字节跳动旗下Seed AI研究团队发布了一项关于AI扩展定律的全新见解，提出部署后学习（post-deployment learning）可能成为新的AI扩展范式。传统的预训练扩展方法通过增加参数、数据和算力推动模型能力提升，但正面临高质量训练数据枯竭和收益递减的困境。Seed AI团队在EdgeBench基准（包含科学、软件工程、优化、知识工作、形式推理和游戏六个领域的134个长时程任务，每个任务至少运行12小时）上测试发现，AI代理在真实世界部署后可以通过持续交互、反馈和环境变化不断自我改进，其改进速度大约每三个月翻一番。这一发现若经独立复现证实，可能重塑AI发展的经济学逻辑，将竞争优势从拥有庞大计算预算的公司转向那些拥有强大分发渠道、最大用户基础和最佳部署基础设施的企业。文章同时指出，该结论需要谨慎对待，EdgBench的任务虽丰富但未覆盖所有真实场景，学习曲线是否会阶段性趋于平缓仍待观察。但倘若这种部署后经验缩放定律成立，AI进步将从一味扩大模型规模转向规模化积累部署后经验。

noah-news.comJuly 5, 2026

前沿部署工程师（AI）- 广告（墨西哥）

FlexNova 发布了为广告行业（墨西哥）招聘 Forward Deployed Engineer (AI) 的职位信息，该职位将派驻客户侧，负责核心 AI 系统的大规模部署与成功落地。FDE 是连接底层 AI 基础设施与大型客户定制化需求的关键桥梁，需兼具软件工程、架构设计及现场实施能力。职责包括与团队共同部署并适配 AI 解决方案，确保 API 融入客户工作流；制定符合安全、数据隐私（如个人身份信息脱敏）与大语言模型成本控制的部署标准；识别重复客户需求并开发内部库、SDK 或自动化工具；与产品经理合作进行技术深度分析以挖掘常规指标可能遗漏的痛点。任职要求具备 Python、Node.js 及现代 AI 编排框架（如 LangChain、Semantic Kernel、AutoGPT）的实战经验，深刻理解向量数据库、嵌入模型以及提示工程（少样本、思维链等），能驾驭复杂的企业级身份认证（OAuth、SAML）并打通异构数据孤岛（SQL、NoSQL、ERP），还需构建评估框架以衡量 LLM 性能、幻觉率和延迟。该职位由总部位于纽约的 Truelogic 公司发布，提供 100% 远程工作、以美元计价的竞争力薪酬及带薪休假，面向拉丁美洲高端技术人才。

flexnova.web1337.netJuly 3, 2026

打造克制、好用的 AI 产品。

VerySmallWoods 博客首页聚合了2026年6月9日至13日的AI领域重要资讯与独立开发实践。内容涵盖智能体主动性突破：Simon Willison 观察到 Claude Fable 5 展现出“ relentlessly proactive ”的自主调试能力，通过注入诊断代码、自主创建HTTP服务、跨浏览器截图验证来修复滚动条bug，标志着有意图的多步自纠智能体行为；Google DeepMind 提出“模型 diffing ”新范式，让审计智能体主动构造 prompt 搜索模型间行为差异，推动评估方法升级。基础设施层面，Google Cloud 发布 Open Knowledge Format，以带YAML frontmatter的Markdown为AI结构化知识建立开放标准；OpenAI 收购 Ona 为 Codex 补足持久化云端执行环境，使Agent在电脑离线后仍能在企业云中持续运行。同时，Anthropic 推出企业订阅 Claude Corps 并联合 DXC 进军受监管行业；AWS 开源 Agent-EvalKit 系统化评估Agent全链路表现；Google 发布扩散架构文本生成模型 DiffusionGemma 和一行SDK启动的 Gemini Managed Agents；开源模型方面，Gemma 4 12B无编码器多模态模型可在16GB显存本地运行，GLM-5.2 在编程能力上表现顶尖。此外，博客还介绍了自研产品 AirType 语音转文字工具、Sessionly Claude Code 会话管理器，以及多门付费课程如 LangChain 智能体开发、MCP 协议实战等，体现了从AI前沿追踪到轻巧工具制作的完整独立开发实践链路。