岗位职责：
1、负责公司大数据平台的架构设计、开发与优化，支撑离线与实时数据处理场景；
2、构建高可靠、高性能的数据管道，基于 Kafka + Flink 实现实时数据采集、清洗、聚合与入仓；
3、设计并维护基于Hive、SparkSQL离线数仓体系，保障数据稳定性与计算效率；
4、具备ClickHouse或者Doris 构建高并发、低延迟的 OLAP 查询服务的实战经验，支持 BI、运营及算法团队需求；
5、参与 Hadoop 集群运维、资源调度优化（YARN）、存储治理（HDFS 小文件/副本管理）及成本控制；
6、熟练使用Python进行数据处理和分析，熟练掌握Scala、Java开发语言；
7、推动数据质量、元数据管理、血缘追踪等数据治理体系建设。
任职要求:
1、核心技能（熟练掌握）：Scikit-learn、PyTorch 、 TensorFlow；熟练运用：Python, Pandas, NumPy, 数据可视化；熟悉 IDAES 体系架构，要有实际经验。
2、具有DataX在生产环境大规模调度使用经验
3、有大数据分析，工业数据模型开发经验。