工作内容:
1.负责大数据应用的开发工作,负责数据平台搭建与维护,对大数据平台进行优化和升级,整合多源数据,包括结构化、半结构化和非结构化数据。
2.开展数据处理与分析,运用大数据技术,对海量数据进行清洗、转换、集成等工作。
3.与研发团队协作,完成数据接口定义与联调,确保功能高效实现。
4.参与大数据相关方案选型、代码评审,推动技术文档沉淀与知识共享。
5.跟进大数据新技术趋势,引入新技术优化现有系统。
基本条件
1.计算机科学与技术、软件工程、数据科学等相关专业,本科及以上学历。具备扎实的计算机基础知识,包括数据结构、算法、操作系统等;
2.具有3年及以上通信项目开发经验,具备通信系统、车联网或相关领域项目经验。
能力要求
1.精通至少一种大数据开发框架,如 Hadoop、Spark,熟悉其生态组件(Hive、HBase、Flume、Kafka 等)。
2.掌握大数据分析工具,如 SQL、NoSQL 数据库,具备数据建模和优化查询的能力。了解机器学习基础知识,对数据挖掘算法有一定了解。
3.具备分布式事务处理能力,熟悉微服务架构,了解 Docker、Kubernetes 等容器化技术。
4.有智慧楼宇、车联网、软件正版化、国网E行、英大人寿运维等相关领域开发经验者优先。
5.具备良好的问题分析与解决能力,以及团队协作和沟通能力。
6.对技术有热情,能快速学习新技术,适应快节奏的项目开发。