岗位职责:
1、负责大数据平台的整体架构规划、设计与持续演进,主导数据仓库从需求分析到落地实施的全流程建设;
2、负责公司级数据体系的顶层规划与设计,包括数据分层(如ODS、DWD、DWS、ADS等)、主题域划分、数据链路梳理,构建清晰、可扩展的数据架构蓝图;
3、根据业务特点与数据特性(如实时流数据、批量历史数据、结构化与非结构化数据等),进行数据种类的划分与存储策略制定;
4、基于Flink/Spark等计算引擎,设计优化实时/离线数据处理流程,保障系统的高性能与稳定性;
5、负责数据模型设计与ETL/ELT流程开发,确保数据规范、高效集成与可靠加工;特别关注上层(如汇总层、应用层)数据模型的规划与设计,以直接支持业务分析、决策与产品需求;
6、负责建立和维护数据标准、数据质量监控体系与数据安全规范,确保数据的准确性、一致性与合规性;
7、使用Java/Scala进行数据平台相关服务与工具的开发、维护与迭代;
8、参与或主导BI分析工具的集成、定制与开发,支持业务数据分析与可视化需求;基于规划的数据模型,设计和落地关键业务指标(KPI)体系,赋能自助式数据分析;
9、协同业务、产品与研发团队,主动推进数据相关技术问题的定位与解决,推动数据能力落地与赋能。
岗位要求:
1、统招本科及以上学历,计算机、数据科学、信息技术等相关专业,具备5年以上大数据领域项目经验,或至少完整参与过两个大型大数据项目;
2、深入理解数据仓库架构体系,能够独立完成从顶层设计到落地实施的全流程,具备企业级数据平台规划与搭建能力;
3、熟练掌握Flink/Spark 等主流大数据计算引擎,拥有实际开发与性能调优经验;
4、精通数据建模与ETL开发流程,能高效设计完成数据集成、加工与治理整个链路任务;
5、至少精通Java/Scala 其中一门编程语言,具备两者实战经验者优先;
6、具备BI分析工具的集成、开发或应用经验,能够支持数据可视化与业务决策分析;
7、深入了解现代数据栈(如数据湖、湖仓一体、流批一体)的理念与实践;
8、具备良好的团队协作与沟通能力,能积极主动发现、推动并解决技术问题;
9、熟悉 Kafka、HBase、ZooKeeper、Elasticsearch 等大数据相关组件的使用与优化者优先;
10、熟悉SpringCloud 微服务生态,具有相关架构设计与开发实战经验优先。