多模态数据算法

职位描述

岗位职责：

1.针对 VLM Stage2 SFT 数据冗余、多任务分布失衡问题，搭建数据质量评估与筛选流程，在压缩数据量前提下保留图文联合推理能力。

2.设计实现基于 PPL/NLL、双向信息增益的样本打分策略，从图像、问答双维度筛选高价值多模态样本。

3.打通样本打分、子集生成、SFT 训练、模型评测自动化闭环，研发分层采样算法，缓解全局筛选破坏多任务数据分布问题。

4.基于多模态 Benchmark 开展对照实验，迭代优化数据策略，实现减半数据量下模型性能接近 / 超越全量训练基线。

5.调研多模态数据选择前沿方案，落地数据工具链，沉淀标准化数据治理流程

岗位职责：

1.硕士及以上，计算机 / AI/NLP/ 视觉相关专业；

2.具备 VLM/LLM SFT 数据算法落地经验，有智驾 / 机器人多模态项目经历优先；

3.熟练 Python、PyTorch，精通大模型微调、样本打分、数据采样基础原理