岗位职责:
1、参与大数据基础平台的规划和架构设计,包括但不限于需求分析、架构设计、技术决策以及详细设计;
2、为现有大数据平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、负责多源异构数据的采集和加工;
5、持续挑战新的技术方向,攻克大数据量,高稳定性,易用性等各种技术难点;
6、完成公司交办的其他相关工作。
任职要求:
1、统招本科及以上,5年以上大数据工作经验,具备架构、数据仓库设计相关经验;
2、熟练使用并理解Hadoop架构和生态(Spark、Flink、Hive等);
3、熟练python、java、scala等任意两种开发语言;
4、熟练使用clickhouse、ElasticSearch;
5、分布式实时计算平台架构和开发相关经验优先;
6、有能力进行平台调优和业务支撑设计;
7、具有团队合作、良好的沟通技巧和主动挑战困难能力;
8、有知识产权数据处理经验优先。
9、有爬虫经验优先(反爬、代理、验证码等)。