智能湖仓研发工程师（上海/深圳）

职位描述

1.负责公司统一 AI 数据湖基础能力建设，围绕存储、元数据、索引、版本、权限、生命周期和查询规划等方向，构建高性能、可治理、可复用的数据基础设施；

2.深度适配 Spark、Flink、StarRocks、Ray，Pytorch等大数据和AI 计算框架 ，优化数据写入、扫描、过滤、采样、批量读取、训练数据加载和结果回写等端到端性能；

3.支持广告、推荐、搜索等业务场景，建设样本、特征、行为日志、模型输入输出和效果数据等核心数据资产的统一管理与高效访问能力，支撑样本构建、特征回溯、训练数据管理和实验复现；

4.支持大模型研发链路中的数据采集、清洗解析、特征抽取、Embedding 生成、数据去重、训练集构建、评估与推理回写等环节，建设高效的数据存储与数据访问能力；

5.围绕多模态数据管理、向量检索、近重复检测、语义检索、RAG、混合查询和批量数据治理等场景，构建高吞吐、低成本、可版本化的数据处理与检索能力。