Delta Lake

Articles related to "Delta Lake"

4 articles in total

Databricks 的前线部署工程师 - FDE（全栈）

本文是Databricks公司在德国慕尼黑招聘一名Forward Deployed Engineer (FDE) Fullstack 的岗位信息。FDE 是一个面向客户的、动手能力强的技术角色，主要负责与客户合作，利用Databricks平台构建和生产化数据与AI解决方案。该岗位的核心职责包括：领导端到端系统的架构设计和实施，涵盖数据工程、AI和应用开发；交付生产级系统、设计参考架构、自定义应用以及数据摄取和ML/AI模型集成；指导战略客户实施大数据和AI应用的端到端设计、构建和部署；确保解决方案的安全性和可扩展性，并符合Databricks最佳实践；与工程和客户支持团队合作提供产品反馈；深入客户团队，从技术IC到高管层，深度理解挑战并交付影响。岗位要求包括：6年以上数据工程、数据平台或软件工程经验；熟练使用Python、Scala、JavaScript/TypeScript等编程语言；掌握至少一种主流云生态（AWS、Azure、GCP）；深入了解Apache Spark分布式计算及其运行时内部机制；熟悉CI/CD、MLOps和AI模型/API；具备企业客户交付和项目范围管理经验。Databricks是一家数据和AI公司，全球超过10000家组织依赖其Data Intelligence Platform，总部位于旧金山，由Lakehouse、Apache Spark、Delta Lake和MLflow的原创始人创建。

jobs-radar.com
Read More

高级AI工程师 - FDE（前向部署工程师）- 美国联邦部门 - Databricks

本文是Databricks发布的Sr. AI Engineer - FDE（前线部署工程师）招聘信息，工作地点位于美国华盛顿特区、马里兰州或弗吉尼亚州，服务于美国联邦部门。该职位隶属于Databricks高度专业化的客户面向AI团队——AI FDE团队，核心职责包括利用Databricks AI研究的最新技术开发前沿生成式AI解决方案，涵盖RAG、多智能体系统、Text2SQL、模型微调等应用，并负责GenAI应用的生产环境部署、评估与优化。候选人需使用HuggingFace、LangChain、DSPy等工具，并具备在AWS、Azure或GCP上部署生产级机器学习系统的经验。由于联邦合同要求，该职位强制要求美国公民身份及获得美国政府机密许可的能力，持有现行Secret或更高级别许可者优先。职位薪资范围为182,000至250,208美元年薪，并提供年度绩效奖金、股权等福利。Databricks强调其平台已被Comcast、Condé Nast、Grammarly及超过50%的财富500强企业采用，由Lakehouse、Apache Spark、Delta Lake和MLflow的原创者创立。该职位需要跨职能协作，影响产品路线图，并在Data + AI Summit等会议上担任思想领袖。

jobs-radar.com
Read More

AI工程师 - Col

这是一则由Hirequorum为Simetrik公司发布的AI工程师招聘启事，发布日期为2026年6月27日。该岗位核心职责是加入Simetrik的AI Agent团队，设计、构建并部署面向客户和内部运营的生产级AI Agent，实现从概念到产品交付的全流程覆盖。职位要求候选人担任产品与客户交付的桥梁，直接与客户协作以理解业务需求并转化为技术方案，同时需在系统设计、安全性和代码质量上做出关键决策。 应聘者需拥有计算机科学、工程等相关学位，并具备3年以上软件工程、数据科学或机器学习经验，尤其看重全栈工程背景和工程与AI/数据结合的混合型能力。必备技能包括FastAPI或Flask等API开发经验，对OpenAI、Anthropic、Hugging Face、Cohere等大型语言模型（LLM）的实践经验，以及LangChain、LlamaIndex、CrewAI等LLM框架的应用能力。还需掌握RAG、工具使用和行为定制等AI Agent构建技术，熟悉MLflow、Weights & Biases等实验跟踪平台，以及Docker容器化应用和CI/CD流水线。优先考虑具备Pinecone等向量数据库、AWS等云服务、DVC数据版本管理及负责任AI原则知识的候选人。 该职位为100%远程工作，公司提供有竞争力的薪酬、学习津贴和医疗福利。本文揭示了AI工程化时代，企业对于能将大型语言模型实际落地为业务解决方案的复合型人才的迫切需求，并详细界定了这一角色的技能栈。

hirequorum.liveblog365.com
Read More

MLOps：在 Azure Databricks 上为 ML 模型构建 CI/CD 流水线

本文是一篇面向ML团队的实操教程，系统讲解如何在Azure Databricks上构建端到端的ML模型CI/CD流水线。文章使用客户流失预测模型作为案例，完整覆盖从代码提交到生产端点更新的自动化流程。核心组件包括：MLflow负责实验跟踪、模型版本化与注册表别名管理；Databricks Asset Bundles实现基础设施即代码，定义训练与验证作业及集群规格；GitHub Actions作为CI/CD协调器，在PR阶段执行代码检查与单元测试，在合并主分支后触发训练与部署；Delta Lake作为特征与验证数据湖，记录数据版本以确保特征可重现；Databricks Model Serving提供托管REST端点。流水线通过多阶段门控确保质量：CI阶段执行lint与测试，训练阶段使用GradientBoostingClassifier进行全量训练并通过MLflow autologging自动记录参数、指标和模型签名，注册阶段将模型版本注册至MLflow注册表，验证阶段在保留集上检查指标阈值（ROC-AUC≥0.80、F1≥0.72、精度≥0.70），仅通过后才会使用‘Production’别名提升模型，最后自动更新服务端点。文章还详述了生产环境注意事项，如固定Databricks Runtime版本、使用Azure Key Vault管理秘密、设定相对当前生产模型的指标基线、通过git SHA标记每次运行以及启用服务端点零缩放以降低成本。整套模式强调完全自动化、可重复性与可追溯性，展示了MLOps工程化落地的完整范式。

dev.to
Read More