工作职责:
1、负责数据应用开发与实现
1)端到端应用开发:独立或协作完成数据应用的开发、测试和部署。包括从数据接口调用、数据处理逻辑编写到前端展示(或API提供)的全过程。
2)核心功能开发:负责实现具体的业务功能,如:
应用模型:开发展示业务核心指标的实时数据应用。
用户画像与精准决策:开发用户标签应用、支撑平台运营活动精准决策。
风险管控:开发实时风控管理引擎和模型执行服务。
数据分析:为业务方开发灵活的数据查询、报表和可视化工具。
2、负责数据处理与服务化
1)数据加工与整合:根据应用需求,编写数据处理脚本或任务(使用 Spark、Flink、SQL 等),对原始数据进行清洗、转换、聚合,生成应用可直接使用的数据集。
2)数据服务(Data API)开发:将数据处理的结果封装成高性能、高可用的 API 服务,供前端应用或其他业务系统调用。
3)实时数据流处理:开发实时数据处理程序,为实时应用提供低延迟的数据支撑。
3、负责系统集成与性能优化
1)与业务系统集成:将开发的数据服务、数据模块与公司现有的业务系统进行集成和联调。
2)应用性能调优:针对数据查询慢、API响应延迟、系统吞吐量低等问题,对数据应用进行性能分析和优化,包括 SQL 优化、代码优化、缓存策略优化(如 Redis)、资源参数调优等。
4、团队协作
1)与产品经理、运营人员紧密合作,深入理解业务需求,并将其转化为具体的技术实现方案。
2)与数据架构师沟通,理解平台能力,反馈应用需求,获取高质量的数据。
任职要求:
1.大学本科及以上文化程度;
2.专业类别:计算机类、数学类、统计学类等、信息与计算科学、数据科学与大数据技术、数学与应用数学、统计学等相关专业优先;
3.身体健康,年龄为45周岁以内;
4.5年以上大数据管理相关经验,精通 Java、Scala、Python中的一至两门,熟练掌握 Spark(Core, SQL)、Flink 进行批处理和流处理;熟悉Kafka进行数据接入。
5.精通SQL,熟悉至少一种主流关系型数据库(如MySQL)和一种NoSQL数据库(如HBase,Redis, Elasticsearch);
6.具有开发 RESTful API 的经验,熟悉常用的Web框架(如 Spring Boot)和RPC 框架;
6.熟悉Linux操作,了解基本的DevOps工具,如Git、Maven、Docker、K8s,能够完成应用的自动化部署;
7.强烈的业务导向:能够从技术视角切换到业务视角,理解业务痛点;
8.解决问题的能力:面对复杂的数据需求和线上问题,能快速定位并解决;
9.团队协作精神:能够与不同角色的团队成员有效沟通。