1.参与企业级大数据平台的设计、开发与持续迭代,支撑数据采集、存储、计算与服务化能力建设;
2.基于 Hadoop/Spark/Flink 等生态组件,开发和优化离线及实时数据处理任务;
3.参与数据平台基础组件(数据接入、任务调度、元数据、数据质量等)的开发与工程化落地;
4.配合数据分析、算法及业务团队,提升数据链路的稳定性、性能与可扩展性;
5.持续优化数据处理效率,推动平台自动化、标准化和规范化建设;
任职要求
1.本科及以上学历,计算机、软件工程、信息技术等相关专业;
2.扎实的Java/Python至少一门语言基础,具备良好的编码规范与工程意识;
3.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大数据组件中的一项或多项;
4.熟悉Kafka高吞吐消息系统,掌握分区策略、副本机制及消费组管理,熟悉HBase海量数据存储与RowKey优化设计;
5.熟悉Spark MLlib、Flink ML、Alink等大数据AI框架,实现海量数据上的模型训练与实时预测;
6.对数据平台建设有清晰认知,具备良好的学习能力和问题拆解能力