1. 负责风控系统所需的大数据平台的搭建、优化和维护;
2. 设计并实现大数据处理流程,提取和分析风控相关数据;
3. 协助其他团队成员进行数据处理和分析工作,提供技术支持;
4. 对大数据平台各个使用方提供技术支持。1. 通用能力要求
(1)本科及以上学历,具有 10 年及以上工作经验,有过大数据平台搭建经验者;
(2)具备有较强的沟通能力和执行能力;
(3)具有优秀的团队合作精神、敬业精神;
2. 技术能力要求
(1)精通Java/Scala编程,熟悉多线程、并发编程及JVM调优能力。
(2)精通Flink核心架构,能设计高可用、低延迟的流处理解决方案。
(3)深入理解Flink分布式执行模型,具备资源分配、并行度优化、反压处理等性能调优经验,能解决复杂场景下的性能瓶颈。
(4)熟练掌握Flink SQL/Table API开发,能根据业务需求选择最优实现方式,具备复杂业务逻辑的编码能力。
(5)掌握Flink时序数据处理、窗口函数、状态后端等高级特性。
(6)具备Flink源码级问题排查能力,能快速定位内存泄漏、序列化异常、网络抖动等分布式系统问题。
(7)熟练掌握Flink与Kafka、HDFS、HBase、Hive、Redis等存储/消息组件的集成,熟悉数据同步与异构系统对接方案。
(8)熟悉Flink on YARN部署模式,具备集群规划、监控告警、故障恢复及运维经验。
(9)具备优秀的代码规范与工程化能力,熟悉单元测试、代码审查等开发流程。
(10)主导过实时计算项目,涵盖日志分析、实时风控、实时推荐、ETL等场景。
3. 业务能力要求
(1)熟悉风控业务数据的特点和处理流程;
(2)能够设计并实现高效的数据处理和分析方案;
(3)具有风控行业相关系统经验者优先。