岗位职责:
1.参与公司大数据平台设计与开发,包括但不限于数据处理、存储和分析;
2.基于安全相关业务需求构建高效的数据模型,生产高质量威胁情报数据;
3.负责大数据OLAP(在线分析处理)多维数据分析处理的数据模型设计及其实现;
4.深入了解行业特点,提炼标准数据模型,并结合技术特性进行优化设计和实现;
5.通过BI工具实现数据仓库结果的可视化展示,推动数据驱动的文化。
任职要求:
1.计算机科学或相关领域的本科及以上学历;
2.至少3年大数据开发经验,具备丰富的数据建模和应用实战经验,了解大数据离线与实时计算框架,对分布式架构有深刻理解;
3.熟练掌握Spark、Flink等主流大数据计算引擎,精通SQL优化技巧,具备复杂SQL调优能力,有性能调优的实际项目经验;
4.具备大型数据仓库的设计、模型开发及优化经验;熟悉Hadoop生态系统组件如Hive、Hudi等更佳;
5.掌握至少一种非关系型数据库管理系统(ElasticSearch,ClickHouse,,HBase等),并能灵活运用;
6.具备良好的团队合作精神,优秀的沟通能力和积极的工作态度,能跨部门合作沟通及独立完成任务。