AI模型运营专家（搜索评测自动化） - TikTok

职位描述

团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。

TikTok ADSO（AI Data Service and Operations）团队负责支撑AI 模型训练、评估与优化的核心数据服务与运营。通过构建高质量、标准化的数据生产体系，以及建立全球化的精益运营模式，为TikTok产品各类 AI 能力的迭代提供稳定、规模化、高性价比的数据支持，推动 AI 技术在复杂业务场景中的深度落地。

加入我们，在真实的全球化 AI 业务中快速成长。你将与顶尖的算法、产品、工程团队协作，在实战中理解 AI 如何真正落地。

1、搜索评测体系与模型化建设：面向TikTok国际化搜索业务，负责搜索相关性、意图理解、内容质量与用户满意度等方向的评测体系设计；将业务目标抽象为可量化的模型任务、评测标准与指标体系，为搜索算法和产品策略迭代提供高质量反馈；

2、评测链路自动化与平台化：主导样本构建、任务执行、质量校验、结果分析、问题归因和报告生成等环节的自动化改造，推动评测工具从单点能力向场景化、智能化和平台化演进，提升多语言、大规模评测的效率、稳定性与可复用性；

3、大模型与Agent能力建设：设计并落地大模型在Query意图理解、样本生成、搜索结果判定、AI质检、异常识别、AI归因和洞察生成等场景中的应用；搭建Agent工作流，持续优化Prompt、知识检索及工具调用策略，提升模型效果、可控性和规模化应用水平；

4、模型评估与持续迭代：建立AI能力的离线评测、人工校准、误差分析和线上反馈机制，识别模型能力边界及风险；基于数据和典型案例定位问题，推动模型、策略及工具持续迭代；

5、技术探索与跨团队落地：跟踪大模型、智能体和自动化评测技术进展，评估其在搜索场景的适用性；与算法、产品、研发和数据团队协作，将复杂需求转化为清晰的模型目标、技术方案与交付路径，沉淀可复用的方法论和平台能力。

任职要求

1、本科及以上学历，计算机、人工智能、数据科学、统计学、数学或相关专业优先；

2、理解大模型基本原理、能力边界及典型应用范式，具备Prompt Engineering、Agent工作流或RAG等方向的实践经验；有模型评测、搜索评测或AI应用落地项目经验者优先；

3、具备较强的数据分析与实验设计能力，熟练使用SQL，并能够使用Python完成数据处理、效果分析或自动化任务；

4、对搜索引擎、信息检索或推荐系统有较深入理解，熟悉相关性评估、Query理解、内容质量或用户行为分析者优先；

5、具备模型效果评估与问题诊断能力，能够设计评测集和指标，开展误差分析，并将结果转化为可执行的优化建议；

6、英语可作为工作语言；具备良好的结构化思考、技术沟通和跨团队协作能力，能够在变化的环境中推动复杂项目落地。