职位描述
岗位职责:
1.分析应用场景,选型合适的技术框架和工具包。
2.分析数据处理需求,开发离线和实时处理任务,保障数据处理的吞吐和效率。
3.分析政府数据的治理需求,监控及优化数据质量,管理调度、血缘、计算元数据。
4.制定数据标准、存储结构。
5.构建数据应用服务,保障数据生产、传输、存储及使用的安全。
6.制定数据开发的流程、标准、规范。
任职要求:
1.本科及以上学历,3年以上数据处理经验,涉及结构化和半结构化数据的离线及实时处理。
2.理解分布式处理及存储的原理,理解数据加密、脱敏、签名等安全机制。
3.熟练运用java/scala编程,熟练使用Spark、Iceberg、Clickhouse、Flink、Hadoop、Kafka等技术栈。
4.熟练使用Spring boot、MyBatis构建数据服务。
5.了解DataWork等同类数据开发工具箱。
6.有城市治理项目经验、数据交易相关的项目经验、数据湖Iceberg项目经验。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕