职位概述:
负责设计与实施端到端数据管道(批处理与流式),主导数据建模、数据质量监控与高性能数据服务交付。
核心职责:
●进行关系型与非关系型数据库的数据建模与优化
●设计并开发ETL/ELT流程,支持工作流编排与错误处理
●构建可靠的数据管道,确保数据流动高效可复现
●实施数据质量检查与监控机制,维护数据血缘与元数据
●编写数据转换单元/集成测试,确保数据安全与合规
●优化查询性能与管道吞吐,控制成本与扩展性
任职要求:
●5年以上后端与数据工程开发经验
●熟练使用Python及相关数据框架(Pandas、PySpark、SQL)
●熟悉关系型与非关系型数据库,具备数据建模能力
●有ETL/ELT设计与数据管道构建经验
●具备优秀英文书面与口语能力,有外企工作经验者优先
●熟悉现代数据栈(Kafka、Airflow、dbt)、云数据仓库(Snowflake、BigQuery等)者优先
●有数据安全、隐私合规(GDPR/HIPAA等)经验者优先