岗位职责:
1.参与大数据开发平台的设计,支持图形化方式构建ETL流程,涵盖多种数据源(如MVSQL、Oracle、Doris、Hive等)和处理算子;
2.负责数据源算子、处理算子的开发与优化,提升ETL流程的性能和稳定性;
3.设计并实现增量任务,确保数据的实时性和准确性;
4.实现Spark批式任务,支持大数据处理的批量化操作;
5.负责大数据任务调度系统的后端开发。
任职要求:
1.计算机科学、软件工程或相关领域本科及以上学历;
2.精通Java、Python等至少一种编程语言,具备良好的编程习惯和代码质量意识;
3.熟悉大数据处理技术和框架,如Hadoop、Spark等;
4.具备良好的数据结构和算法基础,熟悉常用的设计模式;
5.具备良好的沟通能力和团队合作精神,能够独立完成任务并积极参与团队协作;
6.有保险行业大数据研发经验者优先考虑。