AI数据工程师(J11998)

职位描述

1. 负责大模型训练、微调、评测及业务应用场景下全流程数据处理工作，涵盖多源数据采集、清洗、去重、异常值处理、缺失值填补、脱敏加密、标注增强、结构化处理等工作；对接SAP、MES、PLM、IoT等各类业务系统原始数据，制定标准化数据处理规则，保障训练与评测数据高质量、标准化输出。

2. 设计并搭建自动化ETL/ELT数据处理流水线，合理选型关系型数据库、时序数据库、对象存储等存储方案，搭建适配大规模数据的高效处理架构；搭建并运维通用、行业、场景专属AI数据集，落实数据版本管理、数据字典、权限管控体系，规范数据命名与迭代规则。

3. 针对大模型预训练、SFT微调、RAG检索等不同技术场景，定制差异化数据处理方案，优化数据分布、文本质量与数据结构，通过持续的数据迭代优化模型精度、检索效果与整体应用性能，支撑算法效果持续升级。

4. 建立完善的数据质量监控机制与可视化监控看板，实现数据异常实时告警、处理流程可视化；落实数据脱敏、加密、访问控制等安全合规措施，严格贴合数据安全法、个保法及企业内部合规要求，保障数据使用安全可控。

5. 迭代优化数据处理工具与自动化流水线，持续优化数据全链路处理性能，缩短数据交付周期，提升AI数据生产效率，为算法迭代、模型评测、AI业务应用持续输出高质量合规数据集。

任职要求

1、综合素质：具备极强的细节把控能力和数据敏感度，逻辑严谨、责任心强；擅长数据分析和问题溯源，具备良好的跨团队协同能力，能够高效配合算法、产品团队完成数据支撑工作。

2、基本技能：本科及以上学历，计算机、大数据、数据科学等相关专业；具备扎实的数据工程、数据处理实战经验，熟悉数据仓库、数据湖基础架构，拥有完整的数据项目交付经验。熟练掌握SQL，精通数据清洗、数据转换技术，可独立完成ETL/ELT流程开发、数据抽取与全流程处理工作；熟悉大模型数据规范、RAG知识库数据构建标准。具备AI标注平台搭建、数据治理项目实施经验者优先。

3、发展潜力：熟悉AI数据行业合规标准、数据治理体系与前沿数据优化方案，具备大规模数据集体系化搭建、自动化流水线迭代能力；能够结合大模型迭代、业务场景需求持续挖掘数据优化空间，通过数据质量、流程效率、合规体系升级，持续赋能AI模型效果与业务应用升级。