岗位职责:
负责数据平台的设计与研发,支撑大规模数据的高效处理;
开展大数据相关技术的调研、选型与落地,持续提升平台性能与稳定性;
参与实时计算、批处理架构的建设与优化,保障数据链路的高可用与可扩展性。
任职要求:
1、本科及以上学历,计算机或相关专业,具备良好的工程实践能力与问题解决能力;
2、熟悉 Linux/Unix 环境,精通 Java 或 Scala,熟练掌握 Python、Shell 等脚本语言;
3、掌握MapReduce、Spark、Flink等并行计算引擎;
4、掌握Hadoop、Hive、Hudi、Paimon等数据湖仓存储组件;
5、有实时计算、大数据量数据处理项目经验;
6、熟悉 Redis、Elasticsearch、HBase、Druid、ClickHouse 等分布式存储系统,并具备实际调优经验者优先;
7、加分:熟悉数据挖掘的常用算法,能够进行海量数据处理者优先