岗位职责

1、设计并落地湖仓一体技术架构，支持 ‌PB级数据存储‌和毫秒级实时分析‌，融合数据湖（Hudi/Iceberg）与数据仓库（Doris/ClickHouse）能力。
2、解决高并发写入‌（如每秒百万级订单）、‌ACID事务一致性‌和‌跨引擎查询优化‌等核心问题。
3、规划 ‌容灾多活架构‌，支持跨地域数据同步与故障自动切换（如基于Flink CDC的实时同步）。
4、评估并落地实时湖仓技术栈（如Flink+Hudi/Iceberg），优化存储与计算性能‌。
5、构建全链路监控工具，保障系统高可用性，主导技术评估与性能优化‌。
6、构建‌数据血缘‌和质量监控‌体系，保障数据一致性（如通过Great Expectations）。
7、主导技术规范制定，推动云原生‌（K8s+Serverless）和存算分离‌ 架构演进。
8、跟踪‌向量化计算‌、‌大模型数据湖‌（如LlamaIndex集成）等前沿技术。

职位要求

1、本科及以上学历，要求5年及以上开发经验。
2、精通Java/Scala/Python，熟悉Spring Cloud、分布式事务及JVM调优‌。
3、熟悉HDFS、Kafka、OLAP引擎（Doris/Presto）及容器化技术（Docker/K8s）‌。
4、熟悉Flink/Spark（流批一体）、Doris/ClickHouse（OLAP）。
5、熟悉Airflow/DolphinScheduler、K8s容器化部署。
6、熟悉CAP理论、一致性协议（Raft/Paxos）、JVM调优。
7、跨团队协作能力，主导技术规范制定与团队技术提升‌。
8、有卫星业务系统、工业业务系统或AI Agent项目经验‌为加分项。
9、主导过 ‌10+人技术团队‌或千万级用户系统‌架构设计优先。