职位详情
资深后端研发工程师(大数据方向)
1.6-3万
长安通信科技有限责任公司
北京
5-10年
本科
01-12
工作地址

TBD云集中心16号楼长安通信科技有限责任公司

职位描述
工作职责:
1.大数据平台架构与开发:主导企业级数据平台核心模块架构设计与编码实现,负责数据接入层、计算引擎层、存储层的性能优化与稳定性保障,支撑PB级数据量与高并发查询场景。
2.实时计算引擎研发:负责Flink/Spark Streaming实时计算链路的深度定制与优化,保障流式数据处理低延迟、高吞吐,支持大规模任务并行,沉淀实时计算开发规范与通用算子库
3.数据服务与治理:开发企业级数据目录、数据发现、主题构建等治理能力,实现跨数据源的联邦查询与统一视图管理;设计数据质量监控与血缘追踪体系,提升数据可观测性
4.存储与资源优化:负责PB级数据存储的容量规划与成本优化,实施冷热分层、压缩转储等策略;优化OLAP集群(Doris/ClickHouse)性能,保障查询响应时间<1秒
5.云原生与后端能力:负责数据服务的容器化改造与K8s部署,实现GPU资源调度与弹性伸缩;开发统一数据API、权限控制、审计日志等后端服务,构建安全可靠的系统底座
6.技术标准化与赋能:沉淀数据中台技术规范,封装通用ETL模板、UDF函数库与连接器;开展技术分享与Code Review,培养初级大数据工程师,提升团队整体能力。
任职要求:
1.专业能力深度:5年以上大数据开发经验,具备从0到1构建企业级数据平台核心模块的成功案例,有PB级数据治理与性能调优实战经验。
2.技术栈精通:精通Flink/Spark内核,熟悉Checkpoint机制、状态后端调优、Exactly-Once语义;熟练使用Doris/ClickHouse/elasticsearch,掌握物化视图、分区裁剪与查询优化
3.后端与云原生能力:精通Java/Scala/Python至少一种,有高并发API设计经验;熟悉Kubernetes部署与GPU调度,掌握容器化与弹性伸缩最佳实践。
4.优先条件:有信创项目国产化适配经验;在信安/内容安全/大数据领域有深度实践;有开源项目贡献或技术社区影响力

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请