职位详情
大数据开发工程师
1.2-1.8万
北京嘉诚瑞杰信息技术有限公司
南昌
3-5年
本科
05-20
工作地址

江西省生态环境厅

职位描述
岗位职责:
1. 负责大数据平台(Hadoop/Spark/Flink等)的搭建、维护和优化,保障数据系统的稳定性与扩展性。
2. 参与企业级数据治理体系建设,包括但不限于:
- 制定并落地数据标准(命名规范、口径一致性等);
- 完善元数据管理(数据血缘、资产目录、业务属性标签);
- 设计数据质量监控规则(完整性、准确性、时效性),推动问题闭环;
- 配合完成数据安全分级分类、权限管控及脱敏方案。
3. 设计与开发数据仓库(ODS/DWD/DWS/ADS),构建高复用、易追溯的数据模型与ETL流程。
4. 开发实时/离线数据处理管道(Data Pipeline),确保数据高效、准确触达业务端。
5. 协同业务部门梳理关键数据资产,推动数据治理成果在业务场景中的实际应用。
任职要求:
1.本科及以上学历,计算机、数据科学相关专业,3年以上大数据开发经验。
2. 精通Hadoop生态技术(Hive/Spark/Flink),熟悉性能调优及资源管理。
3.熟练使用SQL和至少一门编程语言(Java/Scala/Python),能编写高效ETL代码。
4.熟悉数据治理方法论,有数据质量、元数据管理、数据血缘等工具实战经验。
5.了解数据安全规范(GDPR、个人信息保护法等)及相关技术实现(加密/脱敏)。
6. 主导或深度参与过企业数据治理项目,熟悉DCMM等评估体系。
7.熟悉数据建模工具或数据治理平台。
8.有数据资产盘点、数据价值评估等经验者优先。
9.具备较强的跨团队协作能力,能推动治理规范在业务部门落地。
10.对数据敏感,注重细节,有较强的责任心和流程规范意识。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请