1、负责网络爬虫系统平台的架构设计与开发，完善和重构现有采集系统及服务（如抓取调度，多样化抓取，页面解析和结构化抽取
2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量
3、负责后台爬虫数据的分布式存储设计以及代码实现；
1.熟悉CentOS、Ubuntu操作系统及国产化系统，麒麟，欧拉，龙蜥等等系统的日常运维及故障处理等
2.熟悉Kubernetes，DevOps、微服务治理、SpringCloud、分布式系统等相关技术；
3.熟悉主流云服务平台（如阿里云、腾讯云、AWS等），具备3年以上运维管理经验。
4.熟悉主流监控工具（如Zabbix、Grafana、Prometheus等），具有监控体系整合与实施经验。
5.具备DevOps、CI/CD、监控系统、运维自动化等工作能力。
6.熟悉openstack虚拟化平台，能够独立部署及维护。
7.具有良好沟通能力，能够配合开发及项目经理完成工作。