数据治理工程师岗位职责说明
基本条件
学历:本科及以上,计算机专业。统计、信息管理等相关专业优先。
年龄:30周岁以下(适应快节奏工作,学习能力强)。
核心技能
办公软件:
Excel:熟练使用相关公式。
Word:掌握样式管理、长文档排版。
综合能力:
良好语言表达能力、沟通协调能力、逻辑清晰,能高效沟通业务需求与技术实现。
具备主动学习能力,钻研新技术精神,团队协作能力强,积极工作、及时反馈工作完成情况。
服从公司安排的临时任务及日常工作,适应短期高强度任务。
入职后培训,1个月内需掌握以下岗位技能。
一、基础架构运维与支撑
1. 服务器系统管理
负责 Linux(CentOS / 麒麟信安)操作系统的日常维护,涵盖用户权限分配与管理、磁盘空间监控与扩容、系统服务启停及故障排查,确保系统稳定运行。
针对系统性能瓶颈进行分析与优化,如内存泄漏、CPU 高负载等问题的诊断与处理。
2. 虚拟化平台运维
配置和管理 VMware 虚拟化平台,合理规划资源池,保障数据治理环境的资源高效分配与灵活调度。
定期对虚拟化平台进行健康检查,处理虚拟机迁移、资源动态调整等任务,提升平台可用性与稳定性。
3. Docker 容器化运维
完成容器的部署与配置,通过监控工具实时查看容器运行状态,及时处理容器故障与异常。
进行容器日志分析,定位服务运行问题;负责容器内服务的启停、更新及版本管理,确保容器化服务的可靠运行。
二、行业数据治理框架构建与实施
聚焦风电、光伏、水电、火电、煤炭、铝业六大行业,根据客户定制化指标,构建适配的数据治理框架:
参与数据治理需求调研,分析客户业务痛点与指标要求,制定针对性的数据治理策略与方案。
推动数据治理流程落地,包括数据标准制定、数据质量规则定义,保障行业数据的规范性与一致性。
持续优化数据治理框架,结合行业特性与客户需求变化,迭代数据治理模型与方法。
三、电力通信协议解析与数据分析
1. IEC 60870-5-104 规约处理
深入解析IEC 60870-5-104规约报文结构,精准提取ASDU应用服务数据单元中的遥测、遥信、遥控、遥调、时间戳等关键信息。
运用 Wireshark 等专业工具进行报文抓包分析,排查通信异常问题,如断线重连机制失效、数据丢包等,并提出解决方案。
2. 数据质量监控与问题定位
对电力通信数据进行完整性、准确性、时效性验证,实时监控异常数据(如负值功率、超限温度等),及时发现数据质量问题。
具备从报文异常到网络配置、数据链路的全链路问题定位能力,针对 “遥测数据跳变” 等异常,通过规约解析、网络诊断等手段溯源根因。
四、产业数据中台全流程治理
1. 数据接入与问题排查
负责与电厂数据源SCADA系统对接,排查接入过程中的各类问题,包括IP端口冲突、数据源IP端口异常、规约版本不匹配等,保障数据顺利接入中台。
制定数据接入规范与流程,优化数据采集策略,提升数据接入效率与稳定性。
2. 数据清洗与质量管控
对数据中台中的脏数据进行治理,包括无效NULL值处理、重复数据清洗、异常数据修改或更新,确保数据质量符合业务需求。
建立数据质量监控体系,对数据质量问题进行跟踪与闭环处理。
协同中下游厂家,参与数据治理与质量管控流程优化,推动数据中台整体效能提升。