1.5-2.2万
北京农科大厦
一、岗位职责
1. 负责智慧农业平台大数据体系的设计与搭建,涵盖数据中台、数据湖、数据仓库的架构规划与落地实施,支撑农田监测、作物长势分析、农资溯源、产销预测等核心业务的数据需求。
2. 主导数据采集体系建设,设计并实现多源数据接入方案,包括农业传感器实时数据、物联网设备日志、业务系统数据、第三方农业数据等的采集、传输与同步,保障数据采集的实时性、完整性与准确性。
3. 负责ETL数据处理流程的设计、开发与优化,基于Spark、Flink等大数据计算框架实现数据清洗、转换、集成、加载等工作,构建高质量的数据资产,支撑上层数据分析与应用。
4. 参与数据中台核心模块开发,包括数据服务接口设计、数据血缘管理、数据质量监控、数据权限管控等,提升数据资产的复用性与管理效率。
5. 负责大数据存储与计算性能优化,针对海量农业数据(时序数据、空间数据等)的存储、查询、计算场景,优化数据模型、SQL语句及计算任务,提升系统处理效率与稳定性。
6. 配合业务专家梳理智慧农业业务数据需求,将业务需求转化为数据解决方案;主导大数据相关技术难点攻关,推动大数据技术在农业场景的深度应用与创新。
二、任职要求
1. 本科及以上学历,计算机相关专业,8年以上大数据开发工作经验。
2. 精通大数据核心技术栈,熟练掌握Hadoop、Spark、Flink等分布式计算框架,深入理解其原理与调优方法;具备丰富的Spark SQL、Flink SQL开发经验,能高效处理实时流数据与离线批数据。
3. 熟悉数据中台、数据湖、数据仓库的设计理念与实践方法,具备数据模型设计(星型模型、雪花模型等)经验,能独立完成数据分层(ODS、DWD、DWS、ADS)架构设计与落地。
4. 具备丰富的数据采集与ETL开发经验,熟练使用Sqoop、DataX、Flume、Kafka等数据采集与传输工具,能独立设计高可用、高吞吐的ETL处理流程,并具备流程优化能力。
5. 熟悉主流大数据存储技术,如HDFS、HBase、ClickHouse、Elasticsearch等,了解时序数据库(InfluxDB、Prometheus)在农业传感器数据存储中的应用者优先。
6. 具备扎实的Java/Scala编程基础;具备良好的沟通能力、团队协作能力与问题解决能力,有强烈的责任心和学习能力,能快速理解智慧农业领域业务知识。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕