岗位职责：

1. 移动云数据迁移，基础任务提速50%。

2. 新平台数据融合，优化基础数据计算。

3. 日常常规报表支撑，需求提速及优化，提升数据支撑速度。

基本条件

1、对工作有很强的责任感和很高的热情，适应在压力下的工作

2、具备较强的学习能力，能够主动学习

3、性格稳定，有良好的和客户以及团队的沟通能力

具备技能：

1.使用Java、Scala、C语言开发项目，熟悉jvm、gc工作原理

2.熟悉Linux及大数据生态圈相关组件，使用Ambari搭建高可用集群环境

3.使用Hadoop、Hbase、flink、Spark、Kafka、Zookeeper、MySQL组件进行公司项目开发

4.熟悉Hadoop中的MapReduce、HDFS、Yarn工作原理，掌握HBase的内部原理及优化

5.熟练使用Redis、MySQL、pg、达梦数据库，了解Hive仓库，使用SQL、HQL语句进行统计分析

6.熟悉Spark工作原理及常用的算子，使用Spark-streaming、Spark-Sql、mlib及echarts的使用

7.熟悉Zookeeper及Kafka消息中间件工作原理，并使用Kafka和Spark集成开发

8.使用ElasticSearch搜索服务器，并参与es的部署与优化

9.熟悉datax、flinkx、sqoop数据迁移工具

10.熟悉web开发相关的Spring、SpringMVC、MyBatis、Quartz等框架，掌握springBoot微服务项目框架

11.了解Flume工作原理、使用场景、集群搭建及预处理开发