职责：
1. 设计与开发ETL流程：
2. 数据管道优化：
3. 数据集成与管理：
4.GCP Dataflow开发：
6. 自动化与监控：
7. 数据治理与安全：
8. 文档与知识共享：
任职要求：
- 教育背景：
- 计算机科学、信息系统或相关领域的学士学位。
- 经验：
- 至少5年数据工程或ETL开发行业经验，重点关注Data Stage和GCP。
- 有设计和实施ETL解决方案的经验，包括数据建模、数据仓库和SQL开发。
- 技术技能：
- 熟悉云服务（如BigQuery、Dataflow、Cloud Storage、Pub/Sub）及其在数据工程中的应用。
- 有基于云的解决方案经验，尤其是GCP，持有云认证者优先。
- 具备批处理和流式处理的大数据经验，熟悉大数据生态系统（如Hadoop、HBase、Hive、MapReduce、Kafka、Flink、Spark等）。
- 熟悉Java和Python在云/大数据平台上的数据操作。