职位详情
大数据开发及治理
7000-9000元
南京迈特望科技股份有限公司
大连
3-5年
本科
04-08
工作地址

腾飞软件园五期

职位描述

【工作职责】

1. 系统设计与开发

- 负责企业级软件系统的核心模块开发与迭代优化,使用Java、Python等技术栈构建高可用、高性能的分布式服务。

- 基于大数据平台(如Hadoop、Flink)进行数据ETL流程开发,优化SQL查询性能,设计数据仓库模型及实时计算方案。

2. 全流程协作与质量保障

- 与业务分析师、测试团队协作,完成需求分析、技术方案设计及代码交付,确保符合TDD、持续集成等开发规范。

- 参与数据治理流程实施,包括数据质量管理(清洗、校验)、元数据管理及数据安全策略落地。

3. 技术攻关与性能优化

- 解决高并发、分布式场景下的技术难题,优化系统性能(如JVM调优、SQL索引优化、Spark任务调优)。

- 开发自动化工具提升数据处理效率,例如Python脚本实现数据清洗、Java服务实现异步任务调度。

4. 文档与知识沉淀

- 编写技术文档(如系统设计说明书、API接口文档),参与代码评审,推动团队技术标准化。

【职位要求】

1. 技术能力

- Java后端开发:

- 熟练掌握Java语言及Spring Boot/Spring Cloud框架,理解JVM内存模型、多线程及网络编程。

- 熟悉MySQL/Oracle等关系型数据库,具备SQL优化经验,了解Redis/MongoDB等NoSQL技术。

- Python开发:

- 熟练使用Python及常用库(如Pandas、NumPy),熟悉Django/Flask框架,具备数据分析或机器学习项目经验优先。

- 大数据平台SQL开发:

- 精通Hive、Flink SQL等大数据查询语言,熟悉Hadoop生态组件(如HDFS、HBase),具备数据仓库建模经验。

2. 经验要求

- 3年以上Java/Python/大数据平台开发经验,至少主导或深度参与过2个以上中大型项目。

- 熟悉数据治理全流程(数据发现、定义、应用、监控),具备数据血缘分析、数据标准制定经验者优先。

3. 核心素质

- 具备良好的逻辑思维能力,能快速定位并解决复杂问题,对技术原理有深入探究意愿。

- 较强的沟通能力及团队协作意识,适应敏捷开发模式,能承担跨部门协作任务。

- 对数据敏感,熟悉数据安全与隐私保护规范(如GDPR),有数据治理工具(如Apache Atlas)使用经验者加分。

4. 加分项

- 熟悉微服务架构(如Dubbo、Spring Cloud Alibaba),了解容器化技术(Docker/Kubernetes)。

- 具备大数据平台运维经验,如Hadoop集群性能调优、数据备份与恢复。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请