岗位职责:
1、负责各种资源数据的采集、清洗、存储、分析流程;
2、负责大数据类产品的系统分析与架构设计,配合产品经理完成产品的快速研发与交付;
3、承担建设基于Hadoop/Flink生态的大数据离线/实时处理平台;
4、参与数据中台产品的系统设计及开发工作,参加及支持数据中台运维工作;
5、跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。
任职要求:
1、本科及以上学历或研究生及以上学历,计算机科学等相关专业;
2、3年以上的大数据开发经验;
2、熟悉Hadoop、Hive、Hbase、ELK等框架组件;
3、熟悉Spark、Storm、Flink、Impala、Presto等计算和数据处理引擎的环境搭建、开发和管理;
4、熟悉消息队列的原理,熟练使用Kafka、rocketmq等常用的消息队列;
5、熟悉java、python等语言,编码能力优秀,有良好的编码习惯和风格,重视代码质量和工程实践