职位详情
大数据开发工程师
1-1.6万
诚通互联(北京)科技有限公司
北京
5-10年
本科
11-10
工作地址

ETC速通卡(六里桥服务网点)

职位描述
大数据开发工程师:
1、扎实的java基础、熟练scala语言。
2、掌握分布式计算原理及hadoop、spark、kafka、hbase、hive、flink等大数据体系框架。
3、熟练使用elk工具,掌握elasticsearch原理与应用开发。
4、熟练企业级数据仓库体系构建,精通SQL。
5、熟练使用spring boot开发架构。
6、熟练linux常用操作命令、部署应用等。
7、掌握presto/trino、clickhouse数据库的使用。
8、沟通能力强,优秀的团队协作能力。
1.需求分析与沟通:
与业务部门密切合作,收集和分析业务需求,编写详细的需求文档。
2.大数据开发:
负责数据的清洗、转换和加载(ETL)工作,确保数据的质量和一致性。
熟练企业级数据仓库体系构建,精通SQL、PL/SQL、Python等编程语言进行复杂的数据查询和分析。
具有hive、flink,elasticsearch等开发能力。
3. 大数据平台使用:
具有华为云MRS、DWS等大数据平台的项目实施经验。
任职要求:
1.本科及以上学历,计算机相关专业;
2.3年以上大数据工作经验;
3.掌握分布式计算原理及hadoop、spark、kafka、hbase、hive、flink等大数据体系框架,熟悉华为大数据组件优先。
4.掌握java、python、scala语言
5.熟练linux常用操作命令、部署应用等。
6.掌握presto/trino、clickhouse、doris数据库的使用。
7.沟通能力强,优秀的团队协作能力。


实时和离线都需要~
华为云为主,但是其他平台也需要会。华为云的操作是可以培训的。但是底层原理性的东西需要掌握明白,华为云优先

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请