职位描述
任职要求
硬性条件:
本科及以上学历,计算机科学、软件工程或相关专业。
核心技能
大数据组件源码级开发经验(至少熟悉其中2-3个):
Spark:熟悉Spark Core/SQL 执行引擎、内存管理、任务调度等模块源码
Hive:熟悉Hive SQL 解析、执行计划优化(如 CBO)、MetaStore 等核心机制
Trino/Presto:熟悉分布式查询引擎、Connector 开发、执行优化(如动态过滤)
Ranger:熟悉权限控制框架、策略引擎及插件扩展开发
Doris:熟悉MPP引擎、存储格式(如列存)、查询优化器实现
编程能力:
精通 Java/Scala编程,具备高性能、高并发代码开发经验
熟悉 Python(脚本/工具开发)者优先
深入理解分布式计算(MapReduce/DAG)、存储(HDFS/S3)、资源调度(YARN/K8s)
熟悉大数据生态工具(Flink/Kafka/HBase/ClickHouse等)
性能优化经验:
能通过JVM调优、SQL优化、并行计算优化 提升组件性能
熟练使用 Profiling 工具(Arthas/Async Profiler/JMX)分析瓶颈
加分项
参与过开源社区贡献(提交 PR、修复 Issue、成为 Committer等)
有大规模集群(PB级数据)调优经验
熟悉云原生大数据架构(如 Spark on K8s、存算分离)
发表过技术博客/论文或主导过技术分享
软性要求
强烈的技术热情,能持续跟踪大数据领域前沿技术
优秀的问题定位能力,擅长解决复杂线上问题
良好的团队协作和跨团队沟通能力 RN20250728000020, 成都高级Java
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕