岗位职责
- 负责MySQL分库分表场景下的数据清洗、转换与迁移,保障数据准确、完整、一致。
- 设计并优化数据清洗逻辑,解决异常、重复、缺失等质量问题。
- 开发并维护数据清洗工具/平台,支持批量/实时需求;编写高质量Java代码,完成单元测试与性能调优。
- 协同业务、运维团队,监控并快速恢复清洗任务,推动数据治理体系持续优化。
任职要求
一、技术能力
1. 本科及以上学历,计算机相关专业,3年以上Java开发经验,有一定的团队管理经验。
2. 精通Java多线程、集合框架、JVM调优,熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL数据库原理,熟悉索引优化、SQL调优、事务隔离机制。
4. 具备分库分表实际项目经验,熟悉ShardingSphere/MyCat/Vitess等中间件。
5. 掌握数据清洗方法(ETL、正则表达式、模糊匹配等),熟悉Kettle/DataX等工具者优先。
6.熟悉分布式事务(Seata、TCC等)、分布式锁等分布式系统技术。
7.能独立分析分库分表环境下的数据一致性问题,提出解决方案并落地。
二、加分项
1. 有大数据处理经验(Hadoop/Spark/Flink)。
2. 熟悉数据仓库建模、数据治理(DQC)相关技术。
3. 有金融、电商等高并发场景下的数据清洗经验。