职位描述
【岗位职责】
参与中国联通数据中台建设,包括但不限于以下几项内容。
1、搭建高并发实时数仓(Flink+Kafka)与PB级离线数仓(Hive+Spark);
2、设计数据采集体系,支持千亿级日志/物联网设备数据接入;
3、开发ETL流程与数据质量监控平台,保障数据血缘可追溯;
4、优化分布式存储(HDFS/OSS)与计算引擎性能(Spark SQL调优);
5、构建数据资产目录,支持多租户数据安全隔离与高效共享。
【任职要求】
1、学历要求:
硕士及以上学历,CET-6成绩425分及以上;
2、专业要求:
计算机科学与技术、软件工程、数据科学与大数据技术、信息工程等相关专业;
3、岗位技能要求:
(1)精通Java/Scala,熟练掌握Shell/Python脚本;
(2)深入理解Hadoop生态(Hive/Spark/Flink/Kafka)及列式存储(ClickHouse);
(3)熟悉数据湖架构(Iceberg/Hudi)及云原生数据技术(阿里云MaxCompute);
(4)具备SQL优化能力,了解OLAP引擎(Doris/Kylin);
(5)熟悉数据治理框架(元数据/数据质量/数据安全);
4、综合素养要求:踏实、诚信,逻辑思维缜密、具备较好的跨团队协作能力、技术文档撰写能力,有通信行业项目经验、数学建模竞赛获奖、开源项目贡献优先。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕