大数据开发工程师
岗位要求:
1、数据仓库构建
2、大数据任务开发
3、数据存储与查询优化

1. 基础技术栈
- 编程语言：熟练掌握Java/Scala（用于Hadoop、Spark生态开发）、Python（用于数据处理、分析与脚本开发）。
- 大数据框架：精通Hadoop生态（HDFS、MapReduce、YARN）、Spark核心组件（Spark Core、Spark SQL、Spark Streaming），熟悉Flink、Hive、HBase、Kafka等工具。
- 熟练掌握SQL/ HQL/Spark SQL，具备扎实的数据处理，分析与建模能力，能独立完成复杂ETL任务开发
熟悉Linux操作系统，具备Shell/ python脚本开发能力
2、核心要求:
有完整的企业级数据仓库构建经验，能独立设计数仓分层架构与唯独模型，解决数仓建设中的数据一致性，冗余度核心问题
熟悉ClickHouse表引擎选型，分区键，排序键设计，索引优化，有ClickHouse高并发查询，海量数据存储的优化实战经验
有数据血缘分析，数据质量监控工具（如Great Expectations）使用经验者优选