爬虫专家(J19219)

职位描述

岗位职责

1. 负责公司级分布式爬虫采集平台的架构设计、开发与交付，推动爬虫系统的平台化、服务化和智能化，提升采集效率与稳定性，充分支持模型训练、AI搜索等数据需求。

2. 主导解决大规模数据采集中的技术难题，包括高并发、分布式调度、JS逆向、智能化解析及复杂验证码突破等。

3. 建立数据清洗、去重、校验机制，确保采集数据的准确性、完整性和一致性；负责爬虫系统的监控告警与性能优化。

任职要求

任职要求

1. 本科及以上学历，计算机软件等相关专业，5年以上爬虫开发经验。

2. 具备搜索引擎爬虫开发与爬虫平台化建设经验，深入理解搜索引擎爬取原理、调度算法及去重策略，掌握分布式爬虫架构。

3. 熟练掌握 Kafka, Redis, MongoDB, HBase, Elasticsearch, ClickHouse 等中间件和数据库的使用与调优。

4. 精通各类反爬虫策略及应对方案，具备优秀的逆向分析能力。

5. 一线互联网企业核心爬虫团队工作经验者优先。

加分项

AI Coding重度使用者