爬虫工程师

职位描述

1. 负责机票业务自营航司数据采集链路的开发、维护与优化，建立可扩展的数据获取及存储方案，支撑公司B2B分销业务的数据需求；

2. 参与数据采集 - 清洗 - 存储的全链路开发，确保数据的有效性、稳定性、及时性（SLA≥99.5%），并通过数据质量监控、告警、问题复盘，持续降低数据异常对业务的影响；

3. 配合产品、运营、算法团队完成数据应用场景的技术实现，包括价格监控、竞品分析、供需预测、动态定价等，将采集数据转化为可量化的业务价值（如GMV提升、毛利优化、转化率提升）；

4. 参与爬虫开发规范的制定与落地，包括技术标准、代码评审、合规边界评估、风险排查，确保数据采集在合法合规前提下高效运转；

5. 关注行业技术趋势与竞争态势，持续优化数据采集策略，保持公司在机票数据领域的技术竞争力。

任职要求

1. 本科及以上学历，计算机相关专业，5年以上爬虫/数据获取开发经验，有独立负责过千万级日采集量的分布式爬虫系统开发与落地经验；

2. 精通Python/Java至少一门语言，熟悉爬虫架构设计、反爬对抗、数据清洗、任务调度等核心技术，有复杂场景（JS逆向、APP抓包、验证码识别、IP代理池）的实战经验；

3. 能理解业务需求，配合完成数据交付，有将数据能力落地到实际业务场景的经验，而非仅停留在"把数据抓回来"的执行层面；

4. 有旅游行业数据经验优先（航司官网/B2B、OTA平台、票价监控、供应链数据），熟悉航空业数据标准（IATA、ATPCO、OAG等）者优先。