职位描述
职位名称:数据开发工程师
主要职责
数据仓库与数据平台开发:基于阿里云DataWorks、Hologres等大数据平台,进行数据模型的设计、开发、优化和维护,构建稳定、高效的企业级数据仓库。
ETL开发与数据集成:使用Kettle等ETL工具,完成从Oracle、MySQL等各类业务数据库到数据仓库/数据平台的数据抽取、清洗、转换和加载(ETL)任务。
BI报表与可视化开发:深度使用帆软(FineReport / FineBI)等BI工具,理解业务需求,设计并开发高性能、高可用性的报表、统计图表和数据大屏,满足各业务部门的数据分析和决策支持需求。
数据中间件与运维:负责和维护数据同步中间件(如Canal、OGG、DataX等)的部署与监控,确保数据管道稳定运行。
数据质量与治理:参与制定并实施数据质量监控规则,保障数据的准确性、一致性和及时性。
跨部门协作:与业务部门、数据分析师及产品经理紧密沟通,将模糊的业务需求转化为清晰的技术方案和数据产品。
任职要求
必备技能与经验:
学历专业:计算机科学、信息技术、统计学或相关专业本科及以上学历。
开发经验:拥有5年及以上数据开发、数据仓库或BI开发相关工作经验。
BI工具精通:精通帆软(FineReport/FineBI),具有丰富的复杂报表、参数查询、填报功能和大屏开发经验。
大数据生态:拥有阿里云DataWorks和Hologres或其他类似产品的实战开发经验,熟悉DataWorks的数据集成、数据开发、调度配置等功能,熟悉Hologres的表设计、查询优化及与DataWorks的协同工作。
ETL与数据库:
精通Kettle的设计和开发,能熟练编写转换和作业。
精通SQL,拥有出色的SQL编写和性能优化能力。
具备Oracle数据库的深厚使用经验,熟悉其PL/SQL开发、存储过程、函数等。同时了解MySQL等其他关系型数据库。
编程基础:具备良好的Java或Python编程基础,能够编写脚本处理数据问题者优先。
优先考虑条件:
有数据中间件(如Canal、OGG、MaxWell、DataX等)的使用和运维经验。
了解大数据生态组件,如Hadoop、Hive、Spark、Flink等。
具备数据建模理论基础,熟悉维度建模(如Kimball模型)。
拥有阿里云相关认证(如ACP大数据认证)者优先。
个人素质
业务理解力:具备强烈的业务好奇心,能快速理解业务逻辑并将其转化为数据需求。
问题解决能力:面对复杂的数据问题和技术挑战,能独立思考并找到有效的解决方案。
团队协作与沟通:良好的团队合作精神和沟通能力,工作积极主动,责任心强。
注重细节:对数据质量有极高的要求,不放过任何一个数据差异的细节。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕