1. 数据平台建设与维护

1） 设计并搭建高可用、可扩展的大数据平台（如Hadoop、Spark、Flink生态系统）。

2）管理数据仓库（如Hive）、实时数仓（如ClickHouse）和湖仓一体架构。

2. 数据管道开发

1） 构建ETL/ELT数据管道，实现多源数据（日志、数据库、第三方API等）的自动化采集、清洗和集成。

2）开发实时流处理系统（如Kafka、Flink）支持实时数据分析。

3. 性能优化与监控

1） 优化数据存储和计算性能，解决数据倾斜、资源调度等问题。

设计监控告警体系，保障数据任务的稳定运行与服务达标。

1、 硬技能

1）编程语言：精通Scala/Java/Python中至少一种，熟悉SQL。

2）大数据框架：

（1）批处理：Hadoop、Spark、Hive

（2）流处理：Flink、Kafka、Storm

（3）存储：HDFS、HBase、对象存储（如S3/OSS）

（4） 资源调度：YARN、Kubernetes

3）数据仓库与湖仓：熟悉维度建模、Delta Lake、Hudi、Iceberg等。

4）运维工具：熟悉Docker、CI/CD、监控工具（Prometheus、Grafana）。

2、软技能

1） 逻辑清晰，具备系统性解决问题的能力。

2）沟通能力强，能跨团队协作并解释技术方案。

3）对业务敏感，能通过数据技术驱动业务价值。

1、 教育背景：计算机、数学、统计等相关专业本科及以上学历。

2、工作经验：3-5年经验，能独立设计数据架构，有性能调优经验。