岗位职责
1. 基于 Azure Databricks 平台，设计与开发高效、可靠的数据处理管道。
2. 使用 SQL 与 Spark 进行大规模数据的清洗、转换、聚合与计算。
3. 构建与优化数据仓库及数据模型，保障数据架构的合理性与查询性能。
4. 开发与维护数据服务与接口，支持报表系统及下游数据消费。
5. 实施数据质量监控与校验，确保数据处理结果的准确性与稳定性。
6. 持续优化数据处理任务的执行效率与资源利用率。
任职要求（必需）
1. 统招本科及以上学历，计算机、软件工程等相关专业。
2. 大数据开发经验。
3. 精通 SQL，能编写复杂查询并进行深度性能优化。
4. 拥有 Azure Databricks 平台的商业项目开发与运维实战经验。
5. 熟练掌握 Spark 开发，理解其核心原理与调优方法。
6. 具备 Python 开发能力，用于脚本编写、任务自动化及数据处理。
7. 具备数据仓库建模的实际经验。
8. 能够将英语作为工作语言，熟练阅读英文技术文档、平台界面及代码。
9. 良好的团队协作与沟通能力。
优先条件
1. 熟悉 Delta Lake / Data Lakehouse 架构及最佳实践。
2. 拥有 Microsoft Azure 云服务相关经验，特别是 Azure Data Factory (ADF) 和 ADLS。
3. 了解 Databricks Unity Catalog 等数据治理工具。