大数据开发运维工程师
岗位职责：
1. 开发并维护ETL/ELT流程（Extract, Transform, Load/Extract, Load），确保数据准确性和时效性；
2. 负责使用Hadoop/Spark生态组件（如Hive、HBase、Flink）实现离线/实时数据处理；
3. 负责制定数据质量规则，开发自动化数据清洗脚本，保障数据仓库的可用性；
4. 部署和管理数据仓库工具（如Snowflake、Redshift、BigQuery），设计合理的存储方案；
5. 负责优化数据管道性能，解决大规模数据处理中的技术瓶颈（如数据倾斜、计算效率）。
6. 负责识别目前大数据链路问题，构建平台产品、工具方案，解决大数据平台在实际应用中的各种技术问题；
7. 负责数据常规运维工作，包括数据接入、数据治理、数据分级安全、数据编目等日常操作。
岗位要求：
1. 本科及以上学历，5年以上大数据项目架构/开发/调优/运维经验；
2. 熟练掌握大数据常用开源产品，如：Hadoop、Kafka、Elasticsearch、Flink、Spark、StarRocks 等开源大数据组件，具备二次开发或封装运维经验优先；
3. 熟悉 Linux 开发环境，熟练掌握 Java/Scala/Python 语言中的一种，熟练掌握SQL查询语言；
4. 熟悉数据开发链路，包括但不限于数据集成、数据处理、数据调度、BI展现等；
5. 参与过大型分布式系统或大数据平台的设计、开发和部署，有Kafka、Zookeeper等分布式系统的使用经验者优先；
6. 熟练使用MySQL、Doris、Redis等关系型或非关系型数据库；
7. 具有云计算（如AWS、Azure等）或容器化技术（如Docker、Kubernetes等）和微服务架构的经验者优先；
8. 掌握维度建模方法论，熟悉主流数仓平台，具备从零到一搭建企业级数据仓库的经历优先；
9. 能够理解业务需求并转化为技术方案，具备良好的团队合作精神。