高级数据研发工程师（数据平台 / 数据质量）

职位描述

1、参与 AI 数据平台的数据接入、解析、加工和质量能力建设，支持结构化、半结构化及多模态数据；

2、负责 JSONL、Parquet、图片元数据等数据格式的解析、标准化及大文件流式处理；

3、建设可配置的数据校验、质量规则、模型检查和人工抽样能力，提升质量结果的可解释性与可复现性；

4、负责多来源数据的身份映射、一致性校验、异常定位和数据问题闭环；

5、建设数据标签、质量指标、统计聚合和检索所需的数据处理链路；

6、支持图片、文本、Caption、Tag 等多模态数据接入，与对象存储及外部数据系统协同；

7、建立真实及异常数据样例、自动化测试和性能基线，持续提升处理效率及稳定性。

任职要求

1、计算机、软件工程、数据科学等相关专业统招本科及以上学历，或具备同等水平的工程实践能力；

2、3 年以上数据研发、数据平台或后端研发经验；

3、熟练掌握 Go、Python 中至少一种语言，能够使用 Go 开发生产级数据处理服务；

4、熟悉 JSON、JSONL、Parquet 等常见数据格式及大文件流式处理方式；

5、熟悉 SQL 和关系型数据库，具备数据建模、问题排查和性能优化能力；

理解数据质量、数据抽样、幂等处理、一致性校验及数据可追溯等基本概念；

6、具备较强的数据敏感度，能够将复杂数据问题沉淀为规则、样例和自动化检查；

7、具备良好的工程规范、责任心和跨团队协作能力。

【加分项】

有大模型、Agent、图片、多模态或训练数据处理经验；

有数据质量平台、数据标注、模型质检或人工抽检系统经验；

熟悉版本化数据交付、对象存储或大规模数据处理流程；

熟悉内容 Hash、数据去重、Manifest 或大规模数据一致性校验；

了解 Embedding、图片 Caption/Tag、向量检索或检索效果评估。