职位描述
一、技术能力要求
1、熟练掌握Java(尤其是Java Web、Spring框架等)或Python(需熟悉Pandas、NumPy等数据分析库)
2、大数据技术栈:必须掌握Hadoop、Hive、Spark、Flink等分布式计算框架,岗位要求Kafka、Flume等流数据处理经验
3、数据库技能:熟练操作HIVE、ORACLE、MySQL、ClickHouse、MongoDB等,并理解数据仓库设计原理
4、熟练SQL优化,熟练编写复杂ETL逻辑;
5、熟悉Linux操作系统及服务器架构
6、具备数据结构和算法基础,要求有AI学习算法应用能力
二、学历与专业背景
1、学历:本科及以上(计算机、数据科学、软件工程、数学等相关专业优先)
2、5年以上大数据开发经验,主导过复杂大数据项目(需提供案例);
3、有大规模数据(TB/PB级)处理及优化经验
4、参与过数据建模、ETL设计、数据可视化等全流程开发,有数据中台或BI系统经验
5、主导过大数据平台架构设计,能设计高可用、可扩展的分布式系统
6、熟悉数据建模及数据分层(ODS/DWD/DWS/ADS)
三、岗位职责
1、负责企业级大数据平台架构设计与核心模块开发;
2、优化数据处理链路(采集、清洗、存储、计算),提升系统性能;
3、解决海量数据场景下的技术难题(如实时计算延迟、数据一致性);
4、制定数据开发规范,推动团队技术升级与工具链建设
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕