爬虫工程师

职位描述

1. 设计和开发多平台数据采集、更新、解析、存储及质量监控系统；

2. 独立调研并落地海外电商、社交等平台的Web/App采集方案；

3. 建设IP/设备池、任务调度、失败重试、监控预警和数据质量体系，支撑大规模稳定采集；

4. 对接产品与业务团队，从数据覆盖、时效和质量中挖掘增长机会；

5. 利用大模型和Agent构建自动分析、策略生成、故障定位等能力，提升采集体系自动化水平。

任职要求

1. 计算机相关专业本科及以上学历，3年以上数据采集或爬虫研发经验；

2. 熟练掌握Python或Java，具备良好系统设计和工程编码能力；

3. 精通Web/App抓取、常见反爬与风控对抗，具有真实攻防项目经验；

4. 熟悉Scrapy、Playwright、Puppeteer、Selenium等工具，以及分布式调度、IP/设备池和监控体系；

5. 有海外头部电商/社交平台、大规模数据采集或AI驱动采集项目者优先。