电商公司，负责电商平台数据爬取
岗位职责：
1、负责公司全渠道数据采集需求对接和采集方案设计；
2、根据业务需求设计并开发分布式爬虫系统，对后台多网站上的多源异构数据采集爬取、解析和提取，对数据进行过滤、去重、清洗、结构化处理、数据入库；
3、实时监控爬虫进度、警报反馈，确保爬取任务的稳定性，以及对T-1数据核对，确保数据及时准确入库；
4、参与公司数据平台建设、数据中台鉴权等工作。
任职要求：
1、本科及以上学历，计算机软件或相关专业， 3年以上python开发经验；
2、精通Python，熟悉Scrapy爬虫框架，有丰富的反爬经验；
3、熟悉使用MySQL/MongoDB/Redis/Hbase其中至少一种；
4、熟练掌握正则表达式， XPath等信息抽取技术。