职位描述
岗位职责:
1. 负责大数据平台的数据采集、清洗、存储与处理,构建稳定高效的数据处理流程。
2. 参与数据仓库设计与开发,完成数据模型设计、ETL 开发与数据质量保障。
3. 基于Hadoop、Spark、Flink等框架进行数据处理与计算任务开发与优化。
4. 负责实时/离线数据处理系统的开发、维护与性能调优。
5. 与业务团队协作,理解需求并完成数据开发任务,保障数据及时性与准确性。
6. 参与数据平台监控、运维与故障排查,保障系统稳定运行。
岗位要求:
1. 熟练掌握 Java/Scala/Python 至少一种编程语言,具备扎实的编程基础。
2. 熟悉 Hadoop 生态(HDFS、YARN、MapReduce)与 Spark、Flink 等计算框架。
3. 具备数据仓库设计与开发经验,熟悉维度建模与 ETL 开发流程。
4. 熟悉 SQL,能编写复杂查询与性能优化,熟悉 Hive、Spark SQL 等。
5. 了解 Kafka、Flume、Sqoop 等数据采集工具,具备数据集成经验。
6. 熟悉 Linux 环境,具备 Shell 脚本编写与系统运维能力。
7. 了解数据治理、数据质量、元数据管理等相关概念与实践。
8. 具备良好的问题分析与解决能力,能独立完成开发任务。
9. 本科及以上学历。
10. 有金融行业大数据项目经验优先。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕