基本要求
负责基于Hadoop、Spark、Flink等技术的金融级数据平台的规划、建设和持续迭代。
主导数据仓库、数据湖/湖仓一体等数据体系的设计与实施，包括ODS、DWD、DWS、ADS等数据分层建模，并熟悉Iceberg、Hudi等表格式。
负责数据采集、集成、清洗、加工的全链路开发，确保数据的准确性、完整性和时效性。
实时与离线计算
精通Spark Streaming/Structured Streaming、Flink等实时计算框架，构建低延迟、高可用的实时数据处理管道。
优化Hive on Tez/Spark、Impala等离线数据处理作业，保障大规模数据计算任务的效率和稳定性。
熟练运用Kafka、Flume等组件，解决数据接入与集成问题。
性能优化与治理
持续对Hive/Spark作业进行性能调优，具备解决数据倾斜、GC（垃圾回收）问题、SQL优化等复杂技术难题的能力。
业务赋能与协作
深入理解金融业务（如风控、交易、资产、营销等），能将业务需求转化为清晰的技术方案和数据模型。
与业务部门、数据分析师紧密协作，提供高质量的数据支持和服务。
必备条件
- 学历与经验：统招本科及以上学历，计算机相关专业，7年及以上大数据开发经验，至少3年银行业（背景。
- 技术栈：精通 Hadoop（HDFS/YARN）、Hive（尤其熟悉Hive on Tez）、Spark、Kafka、Flink。熟练使用 Impala, Hue 等Cloudera数据平台组件。
- 数据架构：深刻理解数据仓库建模理论（如维度建模），具备大型数仓或指标体系建设经验。有数据湖/湖仓一体项目经验者更佳。
- 编程能力：熟练掌握 Python 和 Shell 脚本编程，能够进行自动化脚本开发和任务调度。
优先考虑
- 具备 Hive/Spark作业性能调优 实战经验，能独立解决数据倾斜等疑难杂症。
- 拥有 Spark Streaming/Structured Streaming 或 Flink 实时计算项目经验。
- 熟悉 HBase,impala, Sqoop 等Hadoop生态其他组件，了解 Kerberos、Ranger 等安全认证与权限管理机制。