岗位职责：
1.负责使用 Python 开发高效、稳定的网络爬虫程序，采集公开或授权的网络数据（如电商、社交媒体、新闻、金融数据等）；
2.处理反爬机制（如验证码、IP封禁、动态渲染等），优化爬虫策略，确保数据获取的稳定性和效率；
3.对采集的数据进行清洗、去重、结构化存储（如MySQL、MongoDB、CSV等）；
4.构建自动化数据采集与监控系统，确保数据更新的及时性；
5.配合数据分析师或业务团队，提供高质量的数据支持；
6.编写技术文档，维护爬虫代码，优化数据采集流程。
技能要求：
1.熟练掌握 Python，熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等爬虫工具；
2.熟悉 HTML/CSS/JavaScript，能解析动态网页（如Ajax、SPA等）；
3.掌握 XPath、正则表达式（Regex） 等数据提取技术；
4.熟悉数据库（MySQL/MongoDB/Redis），能设计合理的数据存储方案；
5.了解 HTTP/HTTPS 协议，熟悉 Headers、Cookies、Session 等网络请求机制；
6.具备反爬应对经验（如代理IP池、User-Agent轮换、请求限速等）。