岗位职责:
1、结合业务场景,参与大数据平台整体架构的设计;
2、参与大数据平台的监控及优化;
3、负责企业级数据仓库的设计和研发,海量数据的模型设计和优化,数据ETL流程的研发。
4、参与大数据平台核心业务功能的设计和研发、实时计算和离线计算功能的研发;
5、研究行内最前沿的技术发展方向,突破现有的技术难题;
任职要求:
1、计算机或相关专业本科及以上学历,5年及以上开发经验,3年及以上大数据开发经验。
2、对数据计算、数据建模、数据治理等有深刻认识和实战经验;
3、熟悉Hadoop/Spark/Hive/HBase/Flink等大数据工具,主导过大型数据平台建设者优先;
4、精通SQL,掌握Oracle、PostgreSQL、MySql等至少一种主流关系数据库;
5、熟练进行Java、Python,linux代码编写;
6、包括实时/离线数据处理、数据建模、ETL开发与设计、数据治理等,有数据分析、指标体系构建工作经验优先;
7、至少熟悉并使用过一种常见RDBMS(MySQL/PGSQL),对 StarRocks/Doris、Clickhouse、GreenPlum等MPP架构OLAP有一定了解与使用经验;
8、熟悉Hudi/doris技术原理及架构设计,有实际使用Hudi/doris进行项目开发的经验,有性能优化经验更佳。