**职位：高级数据工程师 - **
**经验要求：6-9年**
**职位概述**
我们正在寻找高级数据工程师资源，负责将应用程序从传统的Cloudera环境迁移到新的基于Kubernetes的数据平台。该职位要求具备扎实的数据工程开发技能，并能够在内部负责人的指导下交付高质量的数据管道。
**主要职责**
• 使用 Spark 3.5 和 Python/Scala 开发并优化数据管道。
• 将现有的 Hive、Spark 和 Control-M 作业迁移至基于 Airflow 和 DBT 的工作流。
• 将数据管道与消息系统（Kafka, Solace）和对象存储（S3, MinIO）集成。
• 对在 Kubernetes 环境中运行的分布式作业进行故障排查和性能优化。
• 与内部负责人和架构师紧密合作，实施最佳实践。
• 设计并实施迁移/加速框架，以自动化端到端的迁移过程。
• 持续改进框架，确保其稳定性、可扩展性以及对多种用例和场景的支持。
• 与各类数据应用程序协作，以启用并支持迁移过程。
• 在商定的时间范围内完成分配的迁移任务。
**必备技能**
• 6-9 年扎实的数据工程实战经验。
• 精通 Apache Spark（批处理 + 流处理）和 Hive。
• 熟练掌握 Python、Scala 或 Java。
• 了解编排工具（Airflow / Control-M）和 SQL 转换框架（优先考虑 DBT）。
• 具有使用 Kafka、Solace 和对象存储（S3, MinIO）的经验。
• 接触过 Docker/Kubernetes 部署。
• 具备数据湖仓一体格式（Iceberg, Delta Lake, Hudi）的实战经验。
Position: Senior Data Engineer – Vendor
Experience: 6–9 Years
Role Summary
We are seeking Senior Data Engineer resources to work on the migration of applications from
our legacy Cloudera environment to the new Kubernetes-based data platform. The role requires
strong hands-on development skills in data engineering, with the ability to deliver high-quality
pipelines under guidance from internal leads.
Key Responsibilities
• Develop and optimize data pipelines using Spark 3.5 and Python/Scala.
• Migrate existing Hive, Spark, and Control-M jobs to Airflow and DBT-based workflows.
• Integrate data pipelines with messaging systems (Kafka, Solace) and object stores (S3,
MinIO).
• Troubleshoot and optimize distributed jobs running in Kubernetes environments.
• Collaborate closely with internal leads and architects to implement best practices.
• Design and implement migration/acceleration framework to automate end to end
migration.
• Continuous enhancements to the frameworks to ensure the stability, scalability and
support for diverse use cases and scenarios.
• Work with various data applications to enable and support the migration process.
• Deliver assigned migration tasks within agreed timelines.
Required Skills
• 6–9 years of hands-on data engineering experience.
• Strong expertise in Apache Spark (batch + streaming) and Hive.
• Proficiency in Python, Scala, or Java.
• Knowledge of orchestration tools (Airflow / Control-M) and SQL transformation
frameworks (DBT preferred).
• Experience working with Kafka, Solace, and object stores (S3, MinIO).
• Exposure to Docker/Kubernetes for deployment.
• Hands on experience of data Lakehouse formats (Iceberg, Delta Lake, Hudi).