岗位职责:
1.负责使用 Python 开发高效、获取公开或授权的网络数据;
2.优化程序,确保数据获取的稳定性和效率;
3.对采集的数据进行清洗、去重、结构化存储(如MySQL、CSV等);
4.构建自动化数据采集与监控系统,确保数据更新的及时性;
5.配合数据分析师或业务团队,提供高质量的数据支持;
6.编写技术文档,维护采集代码,优化数据采集流程。
任职要求:
1.具有2年以上数据开发经验,计算机相关专业专科及以上;
2.熟练掌握 Python,熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等;
3.熟悉 HTML/CSS/JavaScript,能解析动态网页(如Ajax、SPA等);
4.掌握 XPath、正则表达式(Regex) 等数据提取技术;
5.熟悉数据库(MySQL、SQL等),能设计合理的数据存储方案;
6.了解 HTTP/HTTPS 协议,熟悉 Headers、Cookies、Session 等网络请求机制