搬站方向
1.5年+的大数据运维/大数据开发/大数据平台相关的工作经验;
2.对 Hadoop 内核参数、Spark 执行计划、ORC/Parquet 存储格式有深入理解;
3.了解各个云厂商的大数据产品体系(存算分离,存算一体,OLAP引擎);
4.熟悉至少 2 种迁移工具(DistCp、S3A、HDFS Snapshot、DTS、DataX、Sqoop);
5.熟练掌握Shell/Python/Java等编程语言中的一种,有较好的代码阅读&debug能力;
6.有Dataworks,Dataleap,Dolphin,dataarts等主流云厂商的大数据开发套件使用经验者优先;
7.具备良好的服务意识和责任意识,具备较强的抗压能力和较强的解决问题能力;
多模态方向
1.精通 Python,熟悉异步、并发、错误处理;
2.熟悉分布式数据处理框架,能调优任务;
3.有多模态数据处理经验,熟悉常见的数据湖格式;
4.有项目交付经验,能进行任务拆解与质量把控;
5.具备涉及多个方向的丰富算法经验;
1.能够独立负责小型规模的大数据迁移项目交付,带领项目组对接客户,基于迁移方案,拆解实施计划&执行迁移动作,把控迁移风险,汇报迁移进度等;在客户提供模糊需求时,主动和客户沟通交付细节,梳理清楚具体交付需求;
2.熟练使用大数据迁移相关工具(包含脚本工具),独立完成一个小型项目的迁移实施工作,
具体包含元数据&数据的迁移,任务的迁移改造以及数据校验;
3.具备良好的逻辑思维和沟通能力,能够顺畅地和内外部及其他团队沟通合作;能够协调并指导项目组开发人员,保证代码质量和交付进度;
4. 保证中等复杂场景下的多模态数据处理效果,能自主根据场景选择合适的算法技术栈,达成交付;