主要职责：
1.实现数据按时间分区管理，优化数据抽取、转换和加载（ETL）流程。
2. 解决Hadoop生态系统下的开发问题，包括但不限于性能调优、故障排查和系统稳定性。
3. 与团队其他开发人员紧密合作，确保数据解决方案满足业务需求。
4. 编写技术文档，包括设计说明、用户手册和API文档。
基本要求：
1. 熟悉Hive和Spark，具备实际的项目开发经验。
2. 熟悉SQL和NoSQL数据库，具备数据建模和设计能力。
3. 了解数据仓库的维度建模原则和实践。
4. 了解Linux操作系统，具备脚本编写能力（如Shell、Python）。
5. 良好的问题解决能力，能够独立工作也能团队合作。
6. 优秀的沟通能力和技术文档编写能力。
7.有ClickHouse、 Finereport、华为云使用经验优先。