混元大模型漫爬数据策略算法工程师

职位描述

1.负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；

2.页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；

3.重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；

4.内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。