岗位职责:
一、数据平台设计与开发
1、参与数据中台技术架构设计，推动离线/实时数据管道开发，完成数据采集、存储、计算及服务接口开发。
2、编写高效ETL流程与核心模块代码，保障数据高效流转与处理。
二、数据治理与质量提升
1、设计并实施数据清洗规则，构建维度模型，优化数仓分层与数据血缘管理，提升数据准确性与一致性。
2、通过SQL/脚本开发实现数据抽取、转换与加载，保障数据资产标准化。
三、系统性能优化与稳定性保障
1、监控Hadoop/Spark等分布式集群运行状态，解决性能瓶颈，优化资源分配与查询效率。
2、设计数据分区、索引及容灾备份方案，确保平台高可用性与可靠性。
四、技术前瞻与创新落地
1、跟踪Flink/Kafka等前沿技术，探索在业务场景中的应用，推动机器学习与大数据平台融合。
2、输出技术文档与最佳实践，赋能团队技术成长。
五、团队协作与 mentorship
1、指导初/中级工程师完成开发任务，保障项目交付质量与进度。
2、分享技术经验，参与代码审查与流程优化，提升团队整体效能。
任职要求:
1、本科及以上学历，计算机相关或理工类相关专业
2、具有5年及以上大数据开发工作经验；
3、精通Hadoop、Spark、Flink、Kafka等大数据组件，熟悉Hive、HBase、ES、Doris等存储工具；
4、熟练掌握Java/Scala/Python，具备SQL调优能力，了解Shell脚本；
5、掌握数据仓库建模方法，熟悉ETL流程及OLAP分析技术；
6、了解机器学习算法（如Kmeans、SVM），能结合业务场景实现数据挖掘；
7、具备跨部门协作能力，能独立解决复杂问题，能对可行的方法进行分析选择并清晰阐述，适应快速迭代的项目需求；
8、政治素质好，遵守纪律，品行端正，爱岗敬业。