岗位职责：
1、大数据平台开发与维护：
（1）参与开发企业级大数据平台架构，包括数据采集、存储、计算、调度等模块；
（2）负责 Hadoop、Spark、Flink、Kafka 等大数据组件的部署、配置与优化；
（3）开发数据集成框架，实现多源数据（结构化 / 非结构化）的高效采集与同步；
2、数据处理与算法开发：
（1）参与设计与开发批量/流式数据处理流程，实现数据清洗、转换、聚合等 ETL 操作；
（2）开发高性能数据计算算法，优化数据处理效率与资源利用率；
（3）基于业务需求构建数据模型，参与设计数据仓库分层架构（ODS/DWD/DWS/ADS）；
3、系统优化与技术攻关：
（1）分析大数据系统性能瓶颈，优化作业调度、资源分配与任务执行效率；
（2）解决大数据开发中的技术难题（如数据倾斜、内存溢出、分布式事务等）；
（3）跟踪大数据技术前沿，推动新技术（如实时计算、湖仓一体）在项目中的落地；
4、数据可视化与协作：
（1）开发数据可视化组件与报表系统，支撑业务决策（如 Tableau、Superset 集成）；
（2）与数据挖掘、算法团队协作，提供高效的数据处理接口与计算服务；
（3）依据开发规范编写技术文档，确保团队开发质量与协作效率；
5、业务支撑与落地
（1）深入理解业务需求（如彩票业务、营销分析、风控场景），设计数据解决方案；
（2）基于业务场景优化数据模型，提升数据服务的响应速度与准确性；
（3）参与业务需求评审，提供数据层面的技术可行性建议；
任职条件
1、教育程度：计算机、数学、统计学相关专业；本科及以上学历。
2、工作经验：具备5年及以上专业工作经验。
3、专业知识：
（1）精通 Java/Scala 编程，熟悉分布式系统原理（CAP 定理、BASE理论）；
（2） 深入理解Hadoop/Spark/Flink生态，掌握HDFS、YARN、Flink 等核心组件；
（3） 熟悉数据仓库理论，掌握 Hive、HBase、ClickHouse 等存储技术；
（4）熟悉 Kafka、Flume、NiFi 等数据采集工具，掌握数据同步与集成方案。
4、技能要求：
（1）熟练使用Spark/Flink进行批量/流式数据处理，具备实时计算经验；
（2）掌握DolphonScheduler/Azkaban 等工作流调度工具，熟悉分布式任务调度机制；
（3）具备大数据系统性能调优能力（如JVM 调优、资源队列配置、任务并行度优化）；
（4）熟悉Docker/Kubernetes容器化部署，具备大数据平台运维经验；
（5）掌握Git、Maven 等开发工具，熟悉 CI/CD 流程与代码管理规范。
5、核心能力素质：
（1）具有较强的学习能力、创新能力、逻辑思维能力、团队协作能力、沟通协调能力、抗压能力；
（2）具备求知欲、责任心、进取心、钻研精神、严谨等素质。