岗位职责：

日常数据表的开发，数据库的维护以及数据提取

岗位要求：

1、精通web，app抓取原理及技术，熟悉常用的爬虫网络框架及重要组件。
2、熟悉linux开发环境和数据库，具备5年及以上java、python开发经验，有安卓、ios开发经验者优先。
3、具备js逆向、验证码破解、app反编译能力，精通爬虫相关技术，如：httpClient/jSoup/xpath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉掌握熟悉xposed、appnium等工具。
4、熟悉http(s)、TCP等网络协议，熟练掌握Fiddler、charles、Http debugger等抓捕工具。
5、有金融行业大规模数据抓取经验者优先，有通用爬虫设计经验者优先。
6、熟悉分布式爬虫系统的开发与维护；熟悉数据的抽取、清洗、转换和存储；熟悉爬虫策略和防屏蔽规则，爬虫系统的优化，监控和报警，提升网页抓取的效率和质量。
7、有良好的团队协作能力、学习和理解能力，能较快了解和掌握新知识；具备优秀的逻辑思维，具备良好的沟通和推动能力，主动性强。