职位详情
大数据开发工程师
6000-8000元
胜通和科技有限公司山西分公司
太原
3-5年
本科
05-01
工作地址

中国电信太原算力中心

职位描述
岗位描述:

1.负责Hadoop/Spark/Flink等分布式计算平台的搭建、优化及运维,设计并开发数据采集、清洗、转换、存储的全链路ETL流程。

2.根据业务需求构建数据仓库(OLAP)、数据湖(Data Lake)或实时数仓(如Hive/ClickHouse/Doris),设计高效数据模型,开发数据分析模型(如用户画像、推荐算法),支持业务决策与AI应用。

3.优化SQL查询性能(如索引设计、分区裁剪、参数调优),解决数据倾斜、任务堆积等复杂问题,分析慢查询日志、资源监控数据,提升集群资源利用率。

4.封装数据接口,提供数据查询、分析结果可视化服务,开发内部数据工具链。

5. 研究并落地新技术(如湖仓一体、流批一体、数据网格Data Mesh),推动数据架构升级,探索AI驱动的数据治理(如自动化血缘分析、异常检测)。

6.领导交办的其他事宜。

岗位要求:

1.本科及以上学历,计算机、数学、统计学等相关专业。3年大数据开发经验,重点参与过数据平台或数仓项目。

2.精通Hadoop(HDFS/YARN)、Spark(SQL/Structured Streaming)、Flink实时计算,熟悉Kafka/RocketMQ消息队列、Hive/HBase/ClickHouse数据存储。

3.熟练使用SQL/Python/Java/Scala开发,掌握Flink SQL、Spark SQL高级特性,熟悉数据建模工具、ETL工具。

4.熟悉数据血缘、元数据管理、数据质量监控。

5.熟悉实时数仓架构(如Kafka+ Flink + ClickHouse),有流批一体项目经验者优先,具备数据可视化工具开发经验者优先。

福利待遇:五险一金,体检,带薪年假,双休,通信补贴,餐补,交通补贴,节日福利等


以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请