数据爬虫开发工程师

职位描述

1、遵循robots协议，负责爬虫和反爬能力的建设与优化，满足各类业务数据需求。

2、负责爬虫系统的任务调度，数据抓取、解析，大数据平台存储等全流程优化。

3、利用大模型和正则技术解决网页信息抽取难题，提升目标数据的抓取效果与性能。

任职要求

1、本科及以上学历，2年以上爬虫抓取采集相关工作经验。

2、熟悉主流爬虫技术和框架，如Selenium/Puppeteer/Scrapy/PhantomJS等。

3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力。

4、熟悉常见反爬封禁策略，并具备相关的实战经验。

5、有良好的逻辑思维性，有良好的抗压能力和自驱能力。