职位描述
岗位职责:
1、参与公司自主研发的大数据管理平台产品的设计、开发、优化及升级工作,主流引擎组件商业化版本的定制优化工作;
2、负责项目的技术方案制定与提交,调研与比较不同技术方案的优缺点,并根据实际条件选择合理的技术方案;
3、高质量完成项目的研发工作,组织项目组进行代码review;
4、发现项目组研发过程中出现的问题,并予以优化、解决,以提升研发效率和研发质量;
任职要求:
1、计算机或软件工程相关专业本科及以上学历,3年及以上开发经验;
2、扎实的计算机基础知识,对操作系统、网络、数据结构及算法等有较为深入的理解;
3、扎实的编程基础,精通Java/Go一种或多种开发语言,熟练掌握JVM原理及调优,熟练掌握Web后端开发框架;
4、熟悉云原生技术,熟练使用Docker和K8s框架,熟悉各个组件流程及原理,具备丰富的微服务开发经验,熟练使用Gitlab/Jenkins/Harbor/Nexus/Minio等CI/CD工具;
5、熟悉Hadoop大数据生态,有丰富的Hive/Spark/Flink/Flink CDC等引擎组件的稳定性和性能优化经验;
6、熟悉Hudi/Iceberg/Delta Lake/Paimon等数据湖技术,熟悉数据仓库/数据湖的技术选型,具有实时数据开发平台、实时湖仓一体平台的开发和架构经验;
7、具有云原生大数据项目落地经验,在Spark on K8s、Flink on K8s等方向有深入实践和优化经验;
8、熟悉分布式系统的设计和应用,数据库、缓存、消息队列、RPC框架等中间件技术,能够合理做出技术选型;
9、熟悉Linux系统,熟练使用Linux常用命令及组件,熟悉常用的运维工具和问题排查方法;
10、有CDH/CDP/Ambari等大数据管理平台的架构、开发、优化、运维经验者优先;(加分项)
11、具备良好的需求分析能力、业务和技术方案策划和设计能力;
12、善于排查解决复杂、困难的问题,并作出有效的短期、中长期解决方案;
13、能有效把控研发质量,全方位评估研发各环节可能出现的问题;
14、有较强的项目管理意识和能力,能够承担并发项目的技术管理与推进工作;
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕