职位详情
大数据开发工程师
1.8-2.5万
软通动力信息技术(集团)股份有限公司
北京
5-10年
本科
03-13
工作地址

理想汽车北京研发总部C区

职位描述
. 参与车控算法的RD和开发项目,负责车控算法数仓建立、数据集成的工作;
2. 设计和开发高效、可扩展的ETL数据管道,优化数据清洗、转换和加载流程;
3. 参与数据仓库(如Hive、ClickHouse)、实时数仓(如Flink、Kafka)的架构设计与开发;
4. 对接业务需求,开发数据服务接口,为数据分析、机器学习等场景提供高质量数据支持;
5. 解决大数据集群的性能瓶颈,调优Hadoop/Spark/Flink等框架的资源利用率与计算效率;
职位要求
1、本科及以上学历,统计学、计算机科学等相关专业背景,5年;
2、精通Java/Scala/Python至少一门语言(其中python必选),熟悉Linux开发环境与脚本编程;
3、深入理解并掌握Hadoop生态(HDFS/YARN/MapReduce)及Spark/Flink计算引擎的开发应用,有性能调优经验;
4、熟悉数据仓库建模理论(维度建模、分层设计),掌握Hive、HBase、Kafka等组件的原理与应用;
5. 熟练使用OLAP引擎(如Doris、ClickHouse)和SQL优化技巧;
6、熟练使用主流可视化工具(Superset,Davinci等 )设计开发数据看板;
7. 如能使用统计分析和机器学习技术对数据进行建模和分析者优先;

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请