岗位内容:
1. 负责构建和维护企业级数据基础设施,支持数据采集、处理、存储及分析全流程,确保数据高效、安全地服务于业务决策。
2.数据管道开发:设计并实现ETL/ELT流程,优化数据抽取、清洗、转换效率。
3.数据架构设计:搭建数据仓库及实时处理系统,支持多维分析需求。
4.性能优化:解决大数据场景下的性能瓶颈,提升查询与计算速度。
5.数据治理:制定数据标准,确保合规性、安全性与元数据管理。
6.协助其他团队成员处理数据相关问题并解决疑难杂症。
任职要求:
1.精通SQL/Python/Scala,熟悉Hadoop/Spark/Flink等分布式计算框架。
2.掌握AWS/Azure/GCP云服务(如S3、Redshift、Databricks)。
3.有Kafka、Airflow等流处理与调度工具经验者优先。
4.3年以上数据工程经验优先,主导过至少2个完整的数据平台项目。
5.熟悉数据建模及系统设计。
6.具备强逻辑思维与问题解决能力,能独立应对复杂技术挑战,良好的沟通能力,对数据隐私与安全法规有实际应用经验。
7.具备较强的学习能力和自我管理能力,能够快速适应不同的数据技术和环境。