职位详情
数据开发工程师(乌鲁木齐、西安)
1.5-2.5万
新疆北斗同创信息科技有限公司
乌鲁木齐
3-5年
本科
01-14
工作地址

银河财智中心AC座

职位描述
岗位职责:
1.参与企业级数据中台的整体架构设计、核心模块开发及全生命周期维护,搭建统一、高效的数据服务体系,支撑业务端多样化数据需求。
2.负责数据全链路处理工作,涵盖数据源调研、数据采集(实时 / 离线)、清洗转换、加工计算、存储优化及数据服务输出,保障数据流转的准确性与高效性。
3.主导 / 参与数据中台核心组件建设,包括企业级数据仓库、分层数据模型(ODS/DWD/DWS/ADS)、标准化数据服务接口(API)等,提升数据复用性与可用性。
4.搭建并优化实时数据处理平台(基于 Kafka/Flink 等)与离线数据处理平台(基于 Hadoop/Spark 等),满足业务实时监控、离线分析、决策支持等场景需求。
5.参与公司数据治理体系建设,制定数据质量标准、数据安全规范及数据字典,通过技术手段实现数据质量监控、异常告警与问题追溯,保障数据资产安全可靠。
6.深入业务场景,与产品、运营、业务部门紧密协作,理解业务需求并转化为数据解决方案,提供定制化数据支持与技术咨询。
7.持续优化数据处理流程、SQL 语句、计算任务性能,解决数据平台运行中的瓶颈问题,提升系统稳定性、可扩展性与资源利用率。
8.跟进大数据领域新技术、新工具,引入并落地到实际工作中,推动数据团队技术能力提升,参与技术文档编写与知识分享。

岗位要求:
1.数据中台认知:深刻理解数据中台核心理念,熟练掌握 OneData(数据资产化)、OneService(数据服务化)、OneID(统一身份标识)等主流数据中台方法论,并能在实际项目中应用。
2.数据库与 SQL 能力:
(1)精通 SQL 语言(包括复杂查询、窗口函数、存储过程、触发器等),具备高性能 SQL 编写与优化能力;
(2)熟悉至少一种主流关系型数据库(MySQL/PostgreSQL/Oracle),了解其存储原理、索引优化、事务机制;
(3)了解 NoSQL 数据库(MongoDB/Redis/HBase 等)的适用场景与基本使用方法。
3.大数据技术栈:
(1)熟练掌握至少两种主流大数据处理框架:Hadoop 生态(HDFS/YARN/MapReduce)、Spark(Spark SQL/Spark Streaming)、Flink 中的两种及以上,具备实际项目开发与调优经验;
(2)熟悉数据仓库建模理论与实践,包括维度建模(星型 / 雪花模型)、Data Vault 建模等,能独立完成企业级数据仓库分层设计与模型搭建;
(3)掌握至少一种数据集成工具(DataX/Sqoop/Kettle/FlinkX 等),具备多数据源(数据库、日志、API、文件等)集成经验;
(4)熟悉实时数据处理技术:Kafka(消息队列部署、 Topic 设计、分区策略)、Flink(流处理任务开发、状态管理、Checkpoint 优化)等,有实时数据管道建设经验者优先。
4.数据处理与治理能力:
(1)具备 TB 级及以上大规模数据处理经验,熟悉 ETL/ELT 开发流程、数据倾斜解决方案、任务调度优化(Airflow/Azkaban 等);
(2)了解数据质量监控方法与工具,具备数据治理、数据标准制定、数据血缘分析相关实践经验;
(3)关注数据安全,了解数据脱敏、权限控制等相关技术与规范。
·5.软技能:
(1)优秀的跨团队沟通协作能力,能清晰表达技术方案与业务需求,高效推进跨部门项目落地;
(2)较强学习能力与问题解决能力,能快速跟进新技术、新工具,独立解决工作中遇到的复杂技术问题;
(3)具备良好的文档编写习惯(技术设计文档、接口文档、运维手册等)与知识分享意识;
(4)责任心强,抗压能力佳,能适应业务快速迭代的工作节奏。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请