职位描述
工作职责:
1、负责数据仓库及大数据平台的日常运维工作,包括集群资源监控、故障排查与性能调优,保障系统稳定运行。
2、针对应用系统的数据处理需求,能够独立完成数据仓库的 ETL 全流程开发(数据抽取、转换、装载),确保数据准确性与时效性。
3、参与数据仓库 ETL 流程的性能优化,解决系统实施过程中涉及的 ETL 技术问题,推动数据处理效率提升。
4、参与部分自研数据平台的开发工作,协助实现数据平台的功能迭代与技术方案落地。
任职资格:
1. 统招本科及以上学历,计算机科学与技术、软件工程等相关专业。
2.具备 1 年以上企业级数据开发经验,熟练掌握大型数据仓库的采集架构设计、全流程运维及大数据场景下的工程落地。
3.熟练掌握 SQL 开发及复杂查询性能调优,熟悉 Hadoop、Impala 等分布式计算平台原理,具备大规模数据处理的开发实践能力。
4.熟练运用 Canal、DataX、Flume、Kafka 等数据集成与流处理工具,具备高并发数据传输与实时数据管道搭建经验。
5.熟练掌握 Java/Python/Golang 中至少 1-2 门编程语言,具备复杂业务逻辑开发与算法实现能力。
6.熟练掌握 Oracle、MongoDB、MySQL、Greenplum 等数据库的存储引擎特性与应用场景,具备多源异构数据处理与性能优化经验。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕