岗位职责：
1.实时&离线运行数据仓库建设；
2.参与平台Hadoop/spark/kafka等组件疑难问题的研究和解决；
3.设计、构建和维护可扩展、高性能的数据管道，以收集、转换和处理大规模数据，进行高级分析；
4.优化数据提取、转换和加载（ETL）过程，以提高数据质量和效率；
5.数据中台化能力（数据血缘，元数据管理、数据安全、MLops等）；
6.参与平台作业的性能优化与升级；
7.根据业务需求开发各类工具。
岗位要求：
1.计算机相关专业，硕士1年以上工作经验，本科3年以上工作经验；
2.熟练掌握Python/Java/Scala中至少一种编程语言；
3.熟悉HDFS、Spark、Flink、Kafka等相关开源项目，并从事过海量数据的实践与流数据处理经验者优先；
4.熟练使用Postgresql或Mysql数据库，了解Clickhouse/Doris等OLAP型数据库的使用；
5.熟练使用常见分布式存储Redis、ES、Hbase、Hudi等；
6.加分：熟悉Spring boot的框架、微服务框架等；
7.加分：熟悉数据挖掘的常用算法，能够进行海量数据处理和挖掘；有时序数据算法工作经验者优先。