中级爬虫工程师

职位描述

岗位职责

1.负责国外主流电商平台（如 Amazon、eBay、aliexpress等）等网站数据的稳定、高效、合规采集和后台任务执行等；

2.针对目标网站的反爬策略，研发动态绕过方案，保障数据采集的持续性和成功率；

3.基于Playwright构建自动化工作流，实现从数据采集/功能操作 ；

4.有持续优化爬虫性能（速度、稳定性、资源消耗）的相关经验优先；

5.有海外电商，例如amazon，aliexpress等网站实际爬虫经验优先。

任职要求

技术要求

1.精通 Python，熟悉面向对象编程和多线程/异步编程；

2.熟练使用主流爬虫框架，如 Scrapy、Requests、Selenium、Playwright 等；

3.有分布式爬虫系统开发经验者优先（如基于Redis、Kafka等中间件的任务调度）。

4.熟悉常见反爬机制（IP 封禁、验证码、行为检测、设备指纹等）及应对方案；

5.熟练使用 代理 IP 池、User-Agent 轮换、浏览器指纹伪装等技术；

6.熟悉 MySQL、PostgreSQL、MongoDB、Redis ，elasticsearch等数据存储的读写与优化；