岗位职责描述
1、ETL/ELT开发：
使用Python（Pandas、NumPy等）设计并实现高效的数据抽取、转换和加载流程。
维护和优化现有ETL任务，确保数据处理的准确性与时效性。
2、数据建模与存储：
参与数据仓库的星型/雪花模型设计，构建分层数仓（ODS/DWD/DWS/ADS）。
3、数据质量与监控：
实现数据校验规则，监控数据质量，编写自动化测试脚本。
使用日志和告警工具（如Prometheus/ELK）跟踪任务异常。
4、协作与支持：
与数据分析师、业务团队协作，理解需求并提供可用的数据模型。
编写技术文档，清晰描述数据流、表结构和ETL逻辑。
任职条件描述
1、编程与工具：
2年Python开发经验，熟练掌握 Pandas、SQLAlchemy、PySpark 等库。
精通SQL，能编写复杂查询（窗口函数、CTE、性能优化）。
熟悉至少一种ETL调度工具（Apache Airflow/Luigi/Prefect）。
2、数据仓库技术栈：
理解数仓分层设计，熟悉 Kimball维度建模 或 Inmon范式建模。
使用过主流数据库（Oracle/PostgreSQL/Mysql）或云数仓。
3、数据处理与优化：
具备数据清洗、去重、聚合等场景的实战经验。
能优化大数据量下的Python/SQL性能（分区、索引、并行计算）。
4、运维能力：
Linux基础操作，能编写Shell脚本辅助任务。