爬虫负责人(J14233)

职位描述

岗位职责

主导高并发、高可用的分布式爬虫系统架构设计，带领团队不断提升爬虫系统的稳定性与扩展性。

2.能突破复杂反爬机制：如逆向分析目标网站的JavaScript逻辑、接口加密算法（如WebAssembly、V8混淆）、动态Token生成规则。

3.对爬虫通用风控和资源管理进行平台化，提升提升爬虫团队的开发效率和风控能力

4.带领爬虫技术团队，制定技术规范与开发流程，推动敏捷开发落地并不断提升团队成员能力。

任职要求

任职要求

逆向能力：熟练使用Chrome DevTools、IDA Pro、Ghidra等工具，能独立逆向JavaScript加密逻辑及二进制协议；

反爬对抗：有实际项目经验应对IP封禁、行为检测、验证码识别等场景，熟悉CDN/HTTP2/QUIC协议者优先；

架构设计：精通Scrapy/Playwright/Pyppeteer等框架，熟悉Kafka/Redis/ClickHouse等中间件，有分布式系统（如Celery/Spark）设计经验；

群控技术：熟悉Selenium/Playwright大规模集群部署，了解Headless浏览器性能优化方案。

有电商/自媒体平台大数据采集项目经验，成功落地日均千万级数据抓取系统；

较好的协作能力和自驱性，能不断给团队设定目标