【岗位职责】
1、负责大数据中台的架构设计、开发和优化，支持公司业务数据化、智能化应用。
2、参与大数据平台的数据采集、存储、计算、分析、治理等相关模块的研发工作。
3、设计并优化数据湖、数据仓库、数据资产管理体系，提升数据的质量和可用性。
4、负责大数据平台的性能调优，包括存储优化、计算优化和查询优化。
5、结合公司业务需求，提供数据服务能力，推动数据产品的落地。
6、参与大数据治理，确保数据安全、合规，并制定数据管理规范。
7、关注大数据技术发展趋势，研究和引入先进的大数据处理技术。
【岗位要求】
1、熟练掌握 Hadoop、Spark、Flink 等大数据计算框架，并有实际开发和优化经验。
2、熟悉 Kafka、Pulsar、RabbitMQ 等消息队列技术。
3、熟练掌握 Hive、ClickHouse、HBase、Doris、Flink SQL 等数据存储和分析技术。
4、熟悉 Flink、Spark Streaming 等流计算技术，有实时数据处理经验者优先。
5、熟练使用 Python/Java/Scala 等语言进行大数据开发。
6、熟悉数据治理、数据建模、数据质量管理的方法和工具。
7、具备良好的 SQL 能力，熟悉数据仓库建设方法论（如 Kimball、Data Vault）。