职位详情
高级爬虫工程师
1.7-2.5万
华创思为(北京)科技股份有限公司
北京
不限
本科
10-24
工作地址

首东国际2号楼1308

职位描述
1.负责国际机票系统的研发工作;
2.负责分布式采集系统的建设与迭代优化,负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级;
3.能够快速准确的采集各个航司平台的数据,出现问题后能够快速的快速定位及解决并进行系统修复。
4.负责日常的系统维护,疑难问题的技术攻关和解决,核心系统的优化和重构;
5.参与后端架构的设计与开发工作,保证系统的稳定性与扩展性;
6.参与系统调研、业务梳理,进行系统分析、领域建模、系统分层、关键构件以及接口设计;

任职资格:
1.5年以上 Python 后台研发经验,喜欢去了解及尝试最新的 Python 技术、开源框架,能说明特性及其实现原理;
2.精通 Python 语言,熟悉和掌握开源组件原理和机制,如 celery 、 flask 、 Mysql 、Redis 、 MQ 等;
3、熟悉HttpClient、jsoup、WebDriver、phantomjs等工具;
4.具有"国际机票廉价航空"相关开发经验优先;
5.有反爬经验、移动安全、业务安全、了解风控类防御措施,具备相关的实战经验者优先,加分项:逆向,混淆,脱壳,反爬对抗
6、能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台;
7、了解设备指纹,图像识别,了解akamai网站突破技术,会JS反混淆技术优先。
8、有从事网络爬虫、网页去重、网页信息抽取等经验优先考虑。
9、有 reese84、px2、shape、akm、kasada、cf_5秒 经验优先考虑

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请