大模型预训练数据算法专家

职位描述

1.主导预训练数据全链路闭环建设，包括但不限于数据理解、数据处理、数据价值判定、多样性建设、数据实验以及评估方法和评估指标建设。

2.建立多维度预训练数据体系，包括质量、多样性、困惑度、有用性、复杂度等。

3.建立"数据-模型"的全链路归因分析能力，通过消融实验和量化分析，深度研究不同数据源及质量对模型下游任务能力的影响以及用更少的数据量达到更优的模型效果。

4.持续跟踪学界与业界在Data Selection、Data Pruning等方向的最新进展，并推动技术落地。

任职要求

1.具备强烈的好奇心与自驱力，对AI数据体系建设与模型优化充满热情，能够从全局视角思考数据与模型的关系。

2.深入理解大模型预训练基本原理，具备优秀的数据敏感度与指标设计能力；对"什么样的语料是好语料"有深刻的直觉和判断力，对预训练数据特性、分布及Scaling特性有深刻洞察。

3.有开源/闭源LLM预训练数据建设经验者优先。

4.在NeurIPS、ICML、ICLR、AAAI、ACL、EMNLP等顶级会议以第一作者发表论文者优先。