职位详情
大数据引擎工程师
2-4万
浙江数新网络有限公司
杭州
5-10年
本科
05-08
工作地址

浙江省杭州市余杭区文一西路1218号

职位描述
1、负责项目的技术方案制定与审核,调研与比较不同技术方案的优缺点,并根据实际条件选择合理的技术方案;
2、发现其负责项目中所存在的问题,予以及时的解决,同时具备举一反三发现并解决类似问题的能力;
3、建立完善的研发流程,通过优化研发过程以提高研发质量和研发效率;
4、管理项目以及项目研发过程中出现的问题,控制项目风险;沟通周围团队以及时控制、消除风险影响;
任职要求:
1、计算机或软件工程相关专业本科及以上学历,8年及以上开发工作经验;
2、熟悉Hadoop生态系统,对大数据引擎有较为系统化的理解和掌握,能够熟练针对数据仓库/数据湖场景做出技术选型,多次负责过具有一定复杂度的项目研发,有丰富的Hive/Spark/Flink/CDC/Paimon等引擎的稳定性和性能优化经验;
3、扎实的编程基础,精通Java/Golang/Python一种或多种开发语言,熟练掌握JVM原理及调优,熟练掌握Web后端开发框架;
4、熟练掌握MySQL/MongoDB等数据库,Redis/Memcached等缓存的使用;
5、扎实的计算机基础知识,对操作系统、网络、数据结构等有较为深入的理解;
6、熟悉分布式系统的设计和应用,了解数据库、缓存、消息队列、RPC等系统的内部实现机制,能够合理做出技术选型;
7、熟悉Linux操作系统,熟悉常用的运维工具和问题排查方法;
8、有CDH/CDP/Ambari等大数据管理平台的开发和运维经验者优先;(加分项)
9、有云原生、K8S技术相关工作经验者优先;(加分项)
10、对云原生大数据技术感兴趣,且在Spark on K8S、Flink on K8S等方向有深入的项目实践或优化经验者优先;(加分项)
11、具备良好的需求分析能力、业务和技术方案策划和设计能力;
12、善于排查解决复杂、困难的问题,并作出有效的短期、中长期解决方案;
13、能有效把控研发质量,全方位评估研发各环节可能出现的问题;
14、能够承担多个项目的管理与推进能力;

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请