岗位职责:
1、设计、构建和维护高可靠、高性能的大数据平台架构(Hadoop/Spark/Flink/Kafka等);
2、开发数据管道(ETL/ELT),处理海量文本、图片、视频等结构化/非结构化数据,支持实时与离线分析场景;
3、优化数据存储、计算性能与成本,解决数据倾斜、资源调度等核心问题;
4、与算法、业务团队协作,为机器学习、BI可视化等场景提供高质量数据服务;
5、保障数据安全、质量与合规性,建立监控告警体系。
任职要求:
1、本科及以上学历,计算机相关专业,3年及以上相关工作经验;
2、精通 Hadoop/Spark/Flink 等生态组件,具备实时数仓开发经验。掌握 Hive/HBase/ClickHouse/Doris 等至少2种存储引擎;
3、具有大数据开发经验,主导过TB级数据规模的项目落地;
4、具备数据治理(元数据、血缘、质量监控)工具开发经验。