职位概述：
负责设计、构建、优化和维护大数据处理平台，重点聚焦于实时数据处理和分析。精通 Apache Flink、ClickHouse 和 MySQL 是本职位的基本要求。与数据分析师及其他工程师紧密合作，为公司的关键业务决策和产品功能提供可靠、高性能的数据支持。
核心职责：
实时数据流处理：
使用 Apache Flink 设计、开发和维护高吞吐、低延迟的实时数据流处理管道。
实现复杂事件处理 (CEP)、流式 ETL、实时聚合计算和状态管理。
优化 Flink 作业性能，处理背压，确保作业的稳定性和容错性。
利用 Flink CDC 或其他技术，实现从 MySQL 等业务数据库到大数据平台的实时数据变更捕获与同步。
负责 ClickHouse 集群的规划、部署、运维、监控和性能调优。
设计高效的 ClickHouse 表结构 (MergeTree 引擎家族)，优化索引、分区和物化视图。
关系型数据库 (MySQL) 集成与应用：
深入理解业务系统 MySQL 数据库的 Schema 设计、数据模型和核心业务逻辑。
熟练进行 MySQL 数据库的查询优化、性能调优及问题诊断。
设计并实现高效、可靠的数据抽取 (Extract) 策略，将 MySQL 数据集成到大数据处理流程中（支持批量和实时 CDC 方式）。
在数据仓库/数据湖架构中，合理使用 MySQL 存储维度数据、元数据或支撑特定应用场景。
理解并应用 MySQL 复制 (Replication) 机制，为数据集成提供支持。
数据处理平台建设：
构建和维护可靠、可扩展的数据采集、清洗、转换、加载 (ETL/ELT) 流程，特别关注涉及 MySQL 数据源的流程。
参与设计和优化大数据基础架构（涉及 Kafka, Hadoop, Spark, Hive, HBase, Redis, MySQL 等）。
确保数据处理平台的稳定性、高可用性和数据质量。
数据建模与开发：
根据业务需求进行数据仓库/数据湖模型设计（维度建模、星型/雪花模型等），考虑与源系统 MySQL 模型的映射关系。
编写高效的数据处理脚本和程序（如 SQL (MySQL & ClickHouse 方言), Java, Scala, Python）。
性能优化与问题排查：
持续监控和分析数据平台性能瓶颈，进行深入优化（Flink 作业、ClickHouse 查询、MySQL 查询、数据管道）。
快速定位和解决生产环境中的数据延迟、数据不一致、系统故障等问题，包括涉及 MySQL 数据源的问题。
协作与沟通：
与产品工程师、分析师、业务系统开发团队及业务团队紧密合作，理解需求并提供数据解决方案。
编写清晰的技术文档（包括数据血缘、ETL 逻辑、MySQL 数据字典说明等），分享知识和最佳实践。
基本任职要求：
必备技能：
精通 Apache Flink: 深刻理解 Flink 的核心概念（时间语义、窗口、状态、容错机制 Checkpoint/Savepoint）、API（DataStream API, Table API/SQL）及运行时架构。具备大规模 Flink 集群作业开发、调优和运维实战经验。
精通 ClickHouse: 深入理解 ClickHouse 的列式存储引擎（尤其是 MergeTree 系列）、索引原理、向量化执行引擎。具备 ClickHouse 集群部署、管理、Schema 设计、SQL优化及高并发查询调优的丰富经验。
精通 MySQL: 深入理解 MySQL 的 InnoDB 存储引擎、索引原理（B+树）、事务隔离级别、锁机制、SQL 执行计划优化。具备丰富的 MySQL 数据库设计、复杂 SQL 编写与调优、性能问题诊断经验。熟悉 MySQL 主从复制、Binlog 机制及其在数据集成中的应用。
扎实的编程基础： 精通 Java 或 Scala (Flink 开发首选)，精通 SQL (特别是 MySQL 和 ClickHouse 的 SQL 方言与优化技巧)。熟悉 Python 或 Shell 脚本。
经验要求：
本科及以上学历，计算机科学、软件工程、数学或相关专业。
3 年及以上 数据工程或大数据开发相关工作经验。
至少 1-2 年 在生产环境中深度使用 Flink、ClickHouse 和 MySQL 的实际项目经验。
核心能力：
深刻理解数据仓库、数据湖、实时计算、OLAP 以及关系型数据库 (OLTP) 的基本原理与应用场景。
卓越的 SQL 能力： 精通 MySQL 和 ClickHouse 的 SQL 编写与深度优化。
强大的问题分析、定位和解决能力，尤其是在涉及 MySQL、Flink、ClickHouse 的复杂分布式数据系统环境下。
具备良好的数据质量意识、性能优化思维和系统稳定性保障能力。