职位详情
数据开发工程师
1.6-2.5万
广东省电信规划设计院有限公司
广州
5-10年
本科
09-15
工作地址

南方通信大厦

职位描述

主要负责构建、维护和运营企业数据从产生到应用的全链路技术架构,确保数据高效流转、可靠存储、合规使用,同时为企业数据分析、业务决策及数据产品提供底层支撑。

具体岗位职责如下:

岗位职责:

一、 数据架构设计与落地

1. 设计符合企业管理和业务需求的数据架构(包括数据仓库、数据湖、湖仓一体、实时数仓等),制定数据分层策略,明确数据流转规则。

2. 选型合适的数据存储与计算工具、技术栈等,包含AI和云环境下则可能涉及技术工具和产品。

3. 制定数据规范:定义数据命名、格式、元数据标准,输出数据字典等文档,确保数据一致性。

4. 对接各业务系统,设计数据接入方案,主导数据架构的技术落地,确保基础设施稳定运行。

二、 组织数据挖掘、开发与维护

1. 组织从业务系统进行数据抽取、清洗、转换、加载,处理数据噪声(缺失值、异常值、重复值),确保数据完整性。

2. 实现数据的业务逻辑转换(包括数据脱敏、格式转换、指标计算),加载至目标存储(如数据仓库、数据湖)并组织调度。

3. 优化数据挖掘性能,提升数据处理效率,及时发现并解决任务失败、数据丢失等问题。

三、 组织对数据质量监控与治理

1. 搭建元数据管理平台,记录数据血缘、数据资产目录。

2. 维护数据权限体系,设置数据访问权限。

3. 设计数据质量规则,针对核心业务数据制定校验规则。

4. 落地数据质量工具,开展质量检查,输出质量报告,推动相关方修复数据问题。

5. 落实数据安全措施、脱敏处理、加密存储等,防止数据泄露。

四、 组织相关数据和软件产品开发/选型/培训推广

1. 负责需求调研、需求挖掘,主持产品设计,提高产品价值。

2. 根据产品计划,负责完成产品规则、产品原型,编写产品设计文档。

3. 负责组织产品验收,确保产品的实现和设计一致。

4. 负责产品上线后的持续跟踪与优化,结合数据分析及用户反馈,明确产品改进方向,组织落实解决方案、推进执行。

5. 跟踪选型数据分析零代码/AI工具,在全公司内持续培训推广,提升业务人员自助用数和分析的能力。

6. 跟踪数据技术趋势,评估新技术(如实时数仓、云原生、AI赋能)的适用性,推动技术升级。

任职要求:

一、 综合素质:

1. 本科及以上学历,计算机、软件工程、数据科学等相关专业。

2. 5年以上软件产品或者数据工程师相关工作经验,熟悉数据中台、帆软FDL、FineBI/简道云工具/FDL,或者持有CDMP(数据管理专业认证)、AWS大数据认证等相关证书者优先。

3. 严谨细致,对数据 “较真”,具备强烈的责任心与抗压能力。

4. 具备良好的跨团队沟通与需求转化能力,能高效对接各部门,清晰理解需求并转化为技术方案,能用非技术语言解释数据逻辑。

5. 具备持续学习能力和良好的文档与知识沉淀能力,能输出清晰的技术文档,善于总结经验,推动团队技术标准化。

二、 技术能力:

1. 熟练掌握Python、SQL等编程语言,熟悉Java/Scala者优先。

2. 熟悉离线数据处理技术和实时数据处理技术,熟悉ETL工具。

3. 熟悉关系型数据库(MySQL、PostgreSQL、Oracle 等),掌握表设计、索引优化、慢查询分析;熟悉大数据存储技术、云存储技术、数据湖技术。

4. 能设计符合业务的数据分层架构,具备架构选型能力。

5. 能设计数据质量规则,熟悉数据质量工具或自研校验脚本,掌握元数据管理,了解数据血缘、数据资产目录。

6. 熟悉数据安全技术,了解合规法规。


以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请