职位描述
如下是数说故事-富卫基金(外资)项目的长期外包岗位:
岗位名称:高级数据工程师(粤语流利,英语读写精通)
15-20k/月,双休,
粤语流利,英语读写精通。
工作地点:广州珠江新城高德置地冬广场G座43楼
主要职责
设计、开发、文档化和实施端到端的数据管道和数据集成流程,包括批量处理和实时处理。这包括数据分析、数据特征分析、数据清洗、数据血缘追踪、数据映射、数据转换、ETL/ELT作业和流程的开发,以及数据解决方案的部署。
监控、推荐、开发和实施提高数据质量的方法,包括可靠性、效率和清洁度,并优化和微调ETL/ELT流程。
推荐、执行和交付数据管理和数据生命周期流程的最佳实践,包括ETL/ELT流程的块化开发、编码和配置标准、错误处理和通知标准、审计标准和数据归档标准。
准备测试数据,协助创建和执行测试计划、测试用例和测试脚本。
与数据架构师、数据建模师、IT团队成员、业务专家、供应商以及内部业务利益相关者合作,以理解数据需求、收集要求并实施数据解决方案,从而实现业务目标。
对任何数据问题和变更请求提供日常支持,记录所有调查、发现、建议和解决方案。
资格要求
5年以上IT工作经验,数据领域优先。。
能够担任技术领导职位,带领开发人员高质量地完成项目。
专业为计算机相关,具有较强的编程能力(Java/Python/Scala),有云平台开发经验者优先;
3年以上Spark(Scala或Python)/Sparkstreaming/Kafka等生态环境开发经验,精通数据处有实时数据处理相关经验,熟悉汇流者优先;理相关基础知识和数据开发技术,
有Azure云组件、Azure数据工厂、Azure Databricks和Microsoft SOL Server的经验。
有Linux和shell脚本经验。
英语沟通、阅读和写作是必要的。
具备强大的故障排除技能,遵循标准流程/SDLC进行日常支持是优先条件。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕