Python爬虫工程师

1. 使用 Python开发爬虫程序，爬取各类网站的数据；

2. 负责爬虫程序的日常维护与迭代，及时处理网站反爬机制，保障数据爬取的稳定性和时效性；

3. 配合数据分析师 / 产品经理，根据业务需求调整爬虫策略，优化数据爬取范围和频率；

4. 编写爬虫开发文档、维护手册，沉淀技术方案和反爬应对经验。

1. 本科及以上学历，计算机、软件工程、信息工程等相关专业优先，1-3 年爬虫开发经验；

2. 熟练掌握 Python（Scrapy、Requests、BeautifulSoup、Selenium、Pyppeteer 等）或 Java（Jsoup、HttpClient、Selenium-Java 等）爬虫开发技术栈；

3. 熟悉 HTTP/HTTPS 协议、Cookie/Session、User-Agent、请求头构造等网络基础，能分析网页请求（抓包、解析接口）；

4. 了解常见反爬机制，并有实际应对经验；

5. 熟悉 HTML/CSS 结构，能使用 XPath、CSS 选择器、正则表达式解析网页数据；

6. 具备基础的数据处理能力，能使用 Python（Pandas/Numpy）或 Java 处理爬取后的原始数据。

7. 有数据库（MySQL/Redis）基础，能将爬取数据高效存储与缓存。

1. 熟悉分布式爬虫、异步爬虫开发，能优化爬虫效率；AI相关技术应用