多模态数据研发工程师（采集方向）

职位描述

工作职责:

1. 负责多模态数据采集的端到端方案设计，明确采集目标、覆盖场景与优先级，搭建采集、预处理、清洗、入库等自动化链路。

2. 构建多模态数据清洗与预处理流水线，对数据进行去重、画质评估、敏感内容过滤及基础结构化标注。

3. 持续优化数据采集链路的工程化能力，保障数据供给的时效性与稳定性。

4. 设计并持续优化数据质量标准与监控体系，关注多模态、AIGC等前沿方向，结合业务场景探索音视频数据采集与生产新模式。

工作要求:

任职要求：

1. 本科及以上学历，计算机、大数据、人工智能等相关专业者优先。

2. 具备扎实的Python/Go编程功底，精通Scrapy、Playwright、Selenium等主流框架。

3. 深入理解HTTP/HTTPS、WebSocket等网络协议，熟悉FFmpeg等音视频处理工具。

4. 具备良好的数据合规意识，了解相关的法律边界，能够在保证数据安全的前提下高效完成采集任务。

加分项：

1. 有视频生成、多模态大模型数据工程或AI数据中台开发经验者优先。

2. 熟悉大模型数据清洗标准，了解如何使用Prompt工程结合VLM进行自动化视频质量打分与筛选。

3. 有处理Trillion级别以上海量数据集经验者优先。