岗位职责
一、数据清洗与治理
1. 负责分库分表环境下MySQL数据清洗、转换及迁移工作，确保数据准确性、一致性和完整性。
2. 设计并实现高效的数据清洗逻辑，处理异常数据、重复数据、缺失值等质量问题。
3. 优化数据清洗流程，提升处理效率，降低对线上业务的影响。
二、分库分表架构支持
1. 熟悉ShardingSphere、MyCat等分库分表中间件，参与分库分表策略的设计与优化。
2. 解决分库分表环境下的数据路由、跨库JOIN、分布式事务等技术问题。
三、系统开发与维护
1. 开发数据清洗工具或平台，支持批量/实时数据清洗需求。
2. 编写高质量Java代码，完成单元测试及性能调优，保障系统稳定性。
3. 配合运维团队监控数据清洗任务，快速定位并解决故障。
四、协作与优化
1. 与数据分析、业务团队沟通，明确数据清洗需求，输出技术方案文档。
2. 持续优化数据清洗流程，推动数据治理体系完善。
任职要求
一、技术能力
1. 本科及以上学历，计算机相关专业，3年以上Java开发经验。
2. 精通Java多线程、集合框架、JVM调优，熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL数据库原理，熟悉索引优化、SQL调优、事务隔离机制。
4. 具备分库分表实际项目经验，熟悉ShardingSphere/MyCat/Vitess等中间件。
5. 掌握数据清洗方法（ETL、正则表达式、模糊匹配等），熟悉Kettle/DataX等工具者优先。
二、问题解决能力
1. 能独立分析分库分表环境下的数据一致性问题，提出解决方案并落地。
2. 熟悉分布式事务（Seata、TCC等）、分布式锁等分布式系统技术。
三、软性要求
1. 具备良好的沟通能力和团队协作精神，能承受一定工作压力。
2. 对数据敏感，有较强的逻辑分析能力和问题排查能力。
四、加分项
1. 有大数据处理经验（Hadoop/Spark/Flink）。
2. 熟悉数据仓库建模、数据治理（DQC）相关技术。
3. 有金融、电商等高并发场景下的数据清洗经验。