岗位职责:
1.设计、开发和维护复杂的数据处理系统，确保数据质量和精准度。
2.与业务部门合作，理解数据需求，并提供专业的数据解决方案。
3.优化现有数据架构，提升数据处理效率和可靠性。
4.监控数据处理流程，确保符合行业规范和标准。
任职要求:
1.具备丰富的大数据处理和分析经验。
2.熟悉大数据处理技术，包括但不限于Hadoop、 Spark等。
3.技术栈
①、精通Hadoop/Spark/Flink，熟悉数据湖(Delta/Iceberg)、实时流(Kafka)
②、掌握云平台大数据服务(EMR/Databricks)及容器化(K8s)
架构设计
①主导PB级数据迁移(如Hive→Iceberg)或实时数仓建设
②数据治理与安全(加密、RBAC、元数据管理)
③容灾方案(跨AZ/Region)与成本优化(存储分层、Spot实例)
数据建模与优化
①数据架构设计(星型/雪花模型、宽表设计)
②查询优化(索引、分区策略、执行计划分析)
③成本优化（存储压缩、计算资源分配）。
4.良好的团队合作精神和沟通技巧，能够与不同部门高效协作。
5.对数据价值有深入理解，能够提出具有洞察力的数据分析报告。