任职要求:
1、统招本科及以上学历，计算机、电子信息、软件工程等相关专业;2、熟练掌握Python编程语言，具备扎实的编程基础，熟练使用正则表达式,requests、xpath等模块:
3、熟练使用爬虫技术栈，熟练掌握web端数据采集、html解析、js逆向等技术，掌握多种反爬解决方案。
掌握常用数据库操作，mongodb，mysql等;
了解Linux开发环境，掌握基本shell命令，具备linux软件部署的能力;有爬虫类项目经验优先，熟悉常用的爬虫框架(如Scrapy、自动化等):
岗位职责:
1、负责网络资源的搜集、获取、清洗、去重、分类及过滤，构建高质量的数据资源库:2、根据业务需求，设计并实现高效的数据采集方案，确保数据的实时性和准确性
M协助业务部门进行数据的更新与维护，提供数据支持及解决方案，优化采集脚本，提升数据采集效率，解决采集过程中的反爬虫策略问题4参与数据采集工具的开发以及成品数据集的制作。