岗位职责:
1. 负责大数据平台的设计与开发,使用Hadoop/spark等大数据处理工具进行数据处理和分析。
2. 构建和维护高效的大数据生态系统,优化数据存储和计算过程。
3. 开发数据模型和算法,实现复杂数据分析任务,为业务决策提供数据支持。
岗位要求:
1. 熟悉Hadoop/spark等大数据处理框架,有实际项目开发经验。
2. 具备良好的编程基础,熟练掌握Java/Scala/Python中的一种或多种编程语言。
3. 对大数据技术体系有深入理解,包括但不限于HDFS、MapReduce、YARN、Spark SQL等。
4. 有良好的数据结构和算法基础,能够进行复杂问题求解。