岗位职责:
1.负责大数据平台的搭建、配置、优化和维护工作,确保平台稳定、高效运行,满足业务需求;
2. 运用大数据技术对数据进行全流程处理,包括数据采集、存储、分析和可视化等;
3. 负责将各个子系统集成到大数据平台中,确保各系统模块协同工作;
4. 跟踪技术趋势,评估引入新技术,优化平台和系统性能以及功能。
任职要求:
1. 拥有本科及以上学历,计算机科学、软件工程、数据科学等相关专业优先;
2.掌握数据湖,数据仓库,数据中台,数据应用等理论知识,具备6年以上大数据相关工作经验(数据平台建设、数据采集、数据建模、数据处理分析、数据可视化等)
3. 熟练掌握 Hadoop、Flink、HBase、Kafka 等大数据框架。精通 Flink 的流批一体化处理,实现高效的数据实时处理;熟悉 HBase 的分布式存储模型,进行数据的高效读写;掌握 Kafka 的消息队列机制,保障数据的可靠传输;熟悉Java,Python者优先考虑;
4. 熟练掌握大数据环境下,数据库性能优化方法,如数据库分库、分表、分层索引等,监控和优化数据库的性能;
5.具有高度的责任感,优秀的沟通能力和领导能力,有创新意识;具有大规模数据平台建设和运维的实际经验,对数据质量管理、数据生命周期管理、数据API发布和数据应用管理等数据治理服务有深刻理解;有从0-1大数据平台架构搭建能力者优先。