岗位职责:
1、数据平台搭建与维护
2、参与公司大数据平台的架构设计、选型和搭建工作，确保平台的高可用性、高性能和可扩展性。
3、负责大数据平台的日常运维工作，包括集群的监控、管理、故障排查与解决，保障平台的稳定运行。
4、对大数据平台进行性能优化，不断提升数据处理和存储的效率，降低平台的运维成本。
5、负责海量数据的采集、清洗、转换和加载（ETL）工作，确保数据的准确性、完整性和一致性。
6、运用 Hadoop、Flink 等大数据处理技术，对数据进行分布式存储和计算，满足业务部门对数据处理的需求。
7、 参与数据分析和挖掘项目，根据业务需求提取有价值的信息，为公司的决策提供数据支持。
8、 数据仓库建设。
9、基于公司的业务需求和数据特点，设计和构建数据仓库，包括数据模型的设计、维度表和事实表的创建等。
10、与业务部门合作，理解业务需求，为数据仓库提供数据查询和报表开发支持，满足业务部门对数据的分析和决策需求。
11、关注大数据技术的发展趋势，积极研究和引入新的技术和工具，不断提升团队的技术水平和数据处理能力。
12、 参与大数据相关技术的选型和评估工作，为公司的技术决策提供建议和支持。
13、负责来自BP团队数据需求，如养殖数据、财务数据、sap等数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据
服务化等。
任职要求:
1、本科及以上学历，计算机科学、软件工程、数学、统计学、大数据等相关专业。具备5年以上大数据开发工作经验，有完整的大数据项目开发经验者优先。
2、具备离线、实时计算开发能力，熟练掌握数据仓库模型设计方法轮，并具有实际模型设计及ETL开发经验。
3、熟练掌握Hadoop生态相关的技术及开发，如Flink、Hive on spark、Doris、CDH、REDIS、Dolphinscheduler、kafka等，有基于分布式存储与计算平台应用开
发、性能优化经验。
4、掌握一门活多门编程语言有限，如Java、Scala等。
5、掌握集群环境日常问题运维，如CDH, FLINK, Dolphinscheduler, Doris集群等。
6、对数据业务场景非常敏感，具备跨多部门协作的复杂数据项目开发经验，有效结合业务和技术创新，形成完成的数据解决方案