岗位职责:

1、负责各类数据的爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作:

2、根据业务、产品和项目相关需求，负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作:

3、负责公司web类产品的开发、维护和优化工作:

岗位要求:

1、熟练掌握Python并掌握一种主流爬虫框架，具备熟练JS逆向:

2、熟悉原生JavaScript,HTML、CSS、ES6，TypeScript等Web前端技术，熟悉使用 Vue.js 等框架及类库

3、熟悉htp、tcp等网络协议，精通htpclient，isoup.xpath，正则表达式，验证码加密处理，代理池等爬虫相关技术，

4、熟悉fddler，charles等抓包工具，至少熟悉并使用过-种主流爬虫架构，如Django、Flask、scrapy，gocoly，webmagic等:

5、熟悉爬虫原理，熟悉常见的反爬虫机制: