职位描述
岗位指责:
1. 数据中台架构设计与优化
负责公司数据中台的整体架构设计,构建高可用、高性能、易扩展的数据平台,支撑亿级数据量的业务场景
主导数据存储、计算、查询等模块的技术选型与落地,解决数据中台上线后的性能瓶颈问题(如查询延迟、资源利用率低等)。
针对Ad-hoc查询场景设计高效的数据模型与索引策略,提升复杂查询的响应效率。
2. 性能调优与前瞻性设计
通过压力测试、链路分析等手段提前发现系统性能瓶颈,制定优化方案(如分布式计算优化、存储压缩、缓存策略等)。
设计数据全链路监控体系,实现资源消耗、查询耗时等关键指标的可观测性。
3. 技术研究与协作
跟踪大数据领域前沿技术(如OLAP引擎、向量化执行、云原生架构、AI),推动技术迭代。
协同数据开发、算法、业务团队,制定数据接入、治理与应用规范。
任职要求
1. 基础要求
统招本科及以上学历,计算机、数学、统计学等相关专业,5年以上大数据架构设计经验。
主导过数据中台、数据仓库或大规模数据平台的架构设计与性能优化。
2. 技术能力
1)核心技术栈:
具有数据仓库设计以及应用经验,了解常用 etl 工具及原理。
精通大数据相关技术,掌握 ClickHouse、Doris、Greenplum、StarRocks等OLAP引擎原理。
熟悉 Elasticsearch、Neo4j、Nebula、Redis 等 noSql 数据库的基本原理和应用场景。
掌握 Mysql,Postgresql,DaMeng,Kingbase 等常用 OLTP 数据库的优化和使用
精通 SQL 语句编写与调优。
熟悉使用 Kafka 等消息队列进行数据流处理。
熟练使用Hadoop/Spark/Flink进行数据开发者优先。
2)性能优化经验:
具备Ad-hoc场景深度调优经验(如执行计划优化、索引设计、数据分片策略)。
熟悉JVM调优、网络IO优化等底层问题排查。
3)编程能力:
熟练使用Java语言开发,掌握Python/Shell等脚本语言,具备脚本化运维能力。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕