职位详情
大数据开发工程师!双休!
1-1.2万
厦门方胜众合企业服务有限公司
成都
1-3年
大专
01-15
工作地址

新光天地(成都店)

职位描述
【上班时间】早8:30晚5:30,双休
【薪资待遇】入职缴纳五险一金,10-12k,可安排线上面试
【工作地点】绵阳市高新区绵兴东路35号长虹商贸中心

2年以上,具备完整大数据项目全生命周期经验者优先
有零售、电商、制造、金融、交通等行业大数据,项目经验者优先,熟悉对应行业业务流程与数据流转特点

【核心岗位职责】
1.负责离线、实时数据模型(含ODS、DWD、DWS等层级)的设计、开发与实现,搭建完善的数据监控体系,及时排查并解决数据开发及运行过程中的各类技术问题。
2.深入对接业务需求,提供大数据技术解决方案,支撑现有业务数据处理需求,同时具备前瞻性,能应对未来业务快速增长带来的海量数据处理挑战。
3.负责数据质量体系的落地执行,开展数据质量问题的分析、追溯、跟进及闭环解决,保障数据的准确性、完整性、及时性与可靠性。
4.参与大数据离线开发全流程,包括数据采集、清洗、转换、加载(ETL)等任务的设计与实施,优化离线计算性能。
5.配合数据治理工作,参与数据字典梳理、元数据管理等相关任务,提升企业数据资产价值。
6.跟进大数据技术前沿动态,将合适的新技术、新方法应用到实际工作中,持续优化数据处理架构与流程。
【核心专业技能】
1.数据仓库与建模:熟悉数据仓库模型设计方法论(如Kimball维度建模),精通数仓分层(ODS/DWD/DWS/ADS)设计理念,具备丰富的数据仓库开发实战经验;对数据ETL全流程有深刻认识,能独立完成ETL流程的设计、开发与优化。
2.大数据组件与工具:精通Hive编程,能编写复杂Hive SQL并具备性能优化能力;熟悉Hadoop生态相关技术及实践经验,包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具备海量数据加工、处理与分析的实战经验。
3.编程与脚本开发:掌握至少一门主流编程语言(Java/Scala/Python/Shell等),能熟练运用其进行大数据相关脚本开发、任务调度及自动化工具实现。
4.性能优化与问题排查:深入了解大数据在不同场景下的读写业务流程及优化原理,具备Hive/Spark/Flink等组件的性能调优能力;能快速定位分布式系统中的数据延迟、计算瓶颈等问题并给出解决方案。
5.数据质量与治理:熟悉数据质量评估指标与管控方法,具备数据质量问题排查与解决的实战能力;了解元数据管理、数据血缘分析等数据治理相关技术者优先。
【项目经验要求】
1.参与过至少1个完整的大数据项目全生命周期(需求分析、方案设计、开发实施、测试验收、运维优化),具备离线+实时数据开发项目经验者优先。
2.有大规模数据仓库搭建、海量数据ETL开发、实时数据处理(如Flink/Kafka)相关项目经验,能独立负责核心模块的设计与开发。
3.具备跨部门协作经验,能精准理解业务需求并将其转化为数据模型及技术方案,有业务与技术融合解决实际问题的项目案例。
4.有大数据平台性能调优、集群维护或数据治理相关项目经验者加分。
【综合素质要求】
1.对数据敏感,善于从数据中发现潜在问题,具备较强的逻辑分析能力与问题解决能力。
2.具有较强的责任心、执行力与细节把控能力,能在规定期限内高质量完成工作任务。
3.具备良好的团队沟通与协作能力,能高效对接业务、运维等跨部门团队,清晰传递技术方案与工作进展。
4.有良好的学习能力与自我驱动力,能快速跟进大数据领域的新技术、新工具,并应用到实际工作中。
5.具备规范的文档编写习惯,能独立输出需求分析文档、设计方案、测试报告、操作手册等。
6.抗压能力强,能适应项目紧张期的工作节奏,积极应对业务与技术层面的各类挑战。
【加分项】
1.持有大数据相关认证,如Cloudera CCA Spark and Hadoop Developer、阿里云ACP大数据认证、华为HCIA大数据认证等。
2.具备云原生、K8s等相关经验,有大数据平台容器化部署与运维经验者优先。
3.熟悉MPP数据库(如ClickHouse、Greenplum)、湖仓一体架构相关技术,有实战经验者加分。
4.具备数据挖掘、机器学习基础,有结合业务场景落地预测建模、用户画像等项目经验者优先。
5.有RAG知识库产品/项目业务落地经验,或熟悉DevOps流程、自动化测试工具者优先。
6.在技术社区有优质技术分享,或参与过开源大数据项目者加分

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请