岗位职责
1、 负责主线产品、平台（含业务及数据中台）架构设计、核心开发工作（Hadoop&Spark、AI技术方向），基于业务场景设计最优的系统解决方案；
2、 负责大数据产品的架构设计、代码开发等任务；根据项目要求编写相关技术文档；
3、 负责大数据核心技术和前沿技术的研究、技术难点攻关及应用；
4、 构架支持超大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现；
5、 利用Hadoop、Spark等大数据技术对海量数据进行处理，支持建模（算法）的工程化实现；
6、 负责大数据产品的架构评审，代码评审，上线评审；参与数据应用需求、设计、审核和评审；
7、 负责建立和维护大数据平台技术标准规范，指导开发人员编写代码；
岗位要求
1、计算机相关专业本科以上学历，连续5年以上大数据开发相关工作经验
2、良好的沟通与表达能力，思路清晰，有强烈的责任心和创新意识，业务逻辑理解与分析能力强；
3、熟练掌握AI算法、机器学习项目开发经验者优先考虑;
4、熟练ETL如Sqoop，Kettle等相关工具、BI、数据分析方法；
5、熟练Hadoop生态圈的相关组件，深度了解HDFS、HBase、Hive、Spark、YARN、MR等组件，并具备5年以上Hadoop/Spark代码级的调优经验
6、熟练离线和实时数据处理流程，掌握离线数据处理框架Hive、Impala、Spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等；
7、熟练MySQL数据库及其专有概念，熟练书写SQL语句，精通SQL优化；
8、熟练常见数据流接入工具，包括Flume、kafka等；