职位详情
实时大数据开发工程师
1-1.6万
北京国信华软科技有限公司
武汉
5-10年
本科
02-25
工作地址

武汉黄陂区汉口北大道88号(原美丽豪酒店)13层

职位描述
实时大数据开发岗位
【初中级别】
1、本科及以上学历,计算机相关专业,有银行行业实时大数据开发经验优先。
2、熟悉大数据实时计算生态
(storm/spark/flink/kafka/clickhouse)。
3、精通linux环境,至少精通java/scala/python一种开发语言,精通分布式系统或者数据库系统理论。
4、三年以上实时大数据开发经验。


【中高级别】
岗位职责:
负责设计和实现大数据解决方案,包括但不限于数据的采集、存储、处理和分析;
进行数据模型的设计以及ETL流程的优化;
负责Hadoop生态相关的数据处理和计算框架的应用与优化,如Yarn、Kafka、Hive、Sqoop、Spark、Flink等;
使用Clickhouse进行高效的数据分析和报告生成;
参与数据湖项目,如delta、iceberg、hudi、Paimon等的设计与实现,确保数据的准确性和可追溯性;
任职要求:
计算机科学、信息技术或相关专业本科及以上学历;
5年以上数据开发经验,其中至少1年金融行业的从业背景;
深入理解Hadoop生态系统,熟练使用Yarn、Kafka、Hive、Sqoop、Spark、Flink等工具;
有Clickhouse的使用经验,能够利用其进行复杂查询优化;
熟悉数据湖相关技术,如delta、iceberg、hudi、Paimon等,并有实际的项目经验;
具备良好的问题解决能力,能够独立设计和实现复杂的数据处理流程;
有良好的沟通技巧和团队合作精神,能够在压力下工作;
有数据仓库设计、大规模数据处理经验者优先。
工作地点:武汉市汉口北

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请