职位详情
大数据开发工程师
1-1.5万
软通动力信息技术(集团)股份有限公司
西安
3-5年
本科
04-01
工作地址

环普科技产业园-E座

职位描述
1、熟悉主流大数据平台:如 Hadoop(包括 HDFS、YARN)、Spark、Flink 等。要了解它们的架构、原理和组件,能够熟练进行安装、配置和升级。例如,需要知道如何在集群环境中部署 Hadoop,以及如何根据业务需求调整 Hadoop 集群的参数。
掌握数据存储系统:包括 HBase、Cassandra 等分布式数据库。要理解它们的数据模型、存储机制和读写操作,能够进行性能优化。例如,对于 HBase,要能够优化其表结构设计以提高数据读写效率。
2、精通 Linux 系统:因为大数据平台大多运行在 Linux 环境下。需要熟练掌握 Linux 命令行操作,如文件系统管理、用户管理、进程管理等。例如,能够使用命令行工具查找和解决服务器上的高负载进程问题。
3、服务器硬件知识:了解服务器的硬件组成,如 CPU、内存、存储设备等。能够根据大数据系统的负载要求合理配置服务器资源,并且在出现硬件故障时能够进行初步的诊断和处理。
网络知识
4、自动化运维工具:熟练使用 Ansible、Puppet、SaltStack 等工具进行大数据平台的自动化部署和配置管理。例如,使用 Ansible 编写自动化脚本,实现一键部署大数据集群。
脚本语言能力:至少精通一种脚本语言,如 Python、Shell 等。能够编写脚本来实现系统监控、日志分析、故障自动恢复等功能。例如,使用 Python 编写脚本定期收集和分析大数据系统的性能指标。
5、有大数据平台运维经验:一般要求有 1 - 3 年以上大数据运维项目经验,参与过大型大数据平台的建设和维护工作。例如,曾经负责过一个电商企业的大数据分析平台的日常运维工作,包括数据采集、存储和分析系统的维护。
6、具备故障排查能力:能够快速定位和解决大数据系统在运行过程中出现的各种故障,如集群节点故障、数据丢失、服务异常等。例如,在遇到数据仓库查询性能急剧下降的情况时,能够通过分析查询计划、系统资源使用等方面找到原因并解决问题。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请