岗位职责:
1.设计并实施大数据处理和分析策略，确保数据质量和精准度。
2.与团队合作,优化数据处理流程,提高数据效率。
3.参与大数据项目的规划和执行，协助解决技术难题。
4.与架构师对齐长期目标，作为技术中坚，负责设计实时数仓及离线数仓
5.主导数据清洗、转换、加载流程，使用Flink构建高效作业，优化资源分配
任职要求:
1.具备扎实的大数据处理和分析能力，熟悉数据处理工具和语言。
2.具有良好的问题解决能力，能够独立处理和解决技术问题。
3.具备扎实的java功底及SQL编写能力
4.精通FLINK实时离线数据处理方式
5.加分项：了解数据湖或OLAP引擎
3.技术栈
①精通Java编程语言
①精通SQL编程语言
②大数据工具链：Spark/Hadoop/Kafka/Hive等,熟悉数据湖(Paimon/Delta/Iceberg)
4.开发能力
①设计ETL流程(如Kafka→Flink→Hive)
②SQL优化(复杂查询调优，Hive/Presto等)
③Flink作业优化(数据倾斜处理、资源分配)，熟悉实时离线状态操作
熟悉离线实时数仓基本架构
5.数据经验
①大规模数据处理：参与TB-PB级项目（如日志清洗、用户行为分析）
②数据质量保障：设计校验规则、处理脏数据
③主导过千万级DAU用户数据处理