岗位职责：大数据平台构建与维护
1、设计并开发高并发、高可用的大数据处理系统，基于Hadoop、Spark、Flink等框架构建批流一体数据管道。
2、负责数据采集、清洗、转换（ETL）流程开发，对接多源异构数据（如日志、数据库、API）。
3、维护集群环境稳定性，优化系统性能与资源利用率（如内存管理、任务调度）。
4、数据仓库与模型开发。参与离线/实时数仓架构设计，基于Hive、Doris、Kafka等组件构建分层数据模型（ODS→DWD→DWS）。
5、开发数据治理模块，解决数据质量问题，建立数据血缘与元数据管理体系。构建指标体系，支持业务方自助取数与智能分析需求。
6、应用系统开发
使用Java（SpringBoot/MyBatis/SpringCloud）开发大数据应用后端服务，如数据中台、SaaS化分析工具。
实现数据可视化接口，支持前端通过Tableau/Power BI等工具展示分析结果。