生态业务，偶尔需要出差，base 武汉或者深圳
一、技术技能
1.大数据技术栈
Hadoop生态系统 ： 熟悉HDFS、MapReduce、YARN的基本原理与操作 掌握Hive、Spark等数据处理工具
分布式存储系统 ： 了解HBase、MongoDB等NoSQL数据库，熟悉对象存储系统如OBS、OceanStore，数据仓库与ETL工具 ： 熟悉DolphinScheduler调度工具。
2.数据迁移工具与技术
DistCp ： 熟悉Hadoop DistCp工具的使用，能够编写和优化数据迁移脚本
数据同步工具 ： 掌握Apache Sqoop、Flume等数据同步工具
3.API与集成 ： 熟悉RESTful API、SOAP等接口技术，用于系统间数据传输 掌握消息队列系统如Kafka、RabbitMQ在数据迁移中的应用
4.编程与脚本
编程语言 ： 熟练掌握Java、Python、Scala等大数据常用编程语言
脚本编写 ： 熟悉Shell、Python脚本编写，用于自动化迁移任务
版本控制 ： 熟悉Git或其他版本控制系统，管理迁移脚本和配置
5.数据库管理
关系型数据库 ： 熟悉MySQL、PostgreSQL、Oracle、SQL Server等RDBMS的管理与优化
NoSQL数据库 ： 熟悉MongoDB、HANA、Redis等NoSQL数据库的管理与优化
数据迁移策略 ： 掌握数据抽取、转换、加载（ETL）流程 熟悉数据清洗、去重、验证等迁移后处理技术
6. 数据质量与验证
数据校验工具 ： 熟悉数据校验和测试工具，掌握数据完整性、一致性、准确性的验证方法 熟悉数据质量监控与报告工具
7. 系统与网络
操作系统 ： 熟悉Linux/Unix系统管理，掌握Shell命令与脚本
网络基础 ： 理解网络协议、带宽管理、网络安全等基础知识 熟悉数据传输中的网络优化技术
二、项目经验
1. 大数据迁移项目
成功案例 ： 至少2-3个完整的大数据迁移项目经验，涵盖不同规模和复杂度
迁移类型 ： 经历过HDFS内部迁移、跨集群迁移、云迁移等多种类型
数据量处理 ： 处理过PB级别的数据迁移任务，具备处理大规模数据的能力
2. 问题解决
故障排除 ： 具备快速定位和解决迁移过程中出现的各类技术问题
优化经验 ： 有迁移过程中性能优化、资源调优的实际经验
三、其他能力
1. 数据安全与合规
安全措施 ： 熟悉数据加密、访问控制、身份验证等安全措施
2. 监控与日志管理
监控工具 ： 熟悉Prometheus、Grafana、Nagios等监控工具的使用
日志分析 ： 掌握ELK Stack（Elasticsearch, Logstash, Kibana）或其他日志管理工具
四、软技能
1. 沟通能力
团队沟通 ： 能够清晰地与技术团队和非技术人员沟通迁移计划与进展
文档编写 ： 撰写详细的技术文档、迁移报告和用户手册
2. 学习能力
技术更新 ： 持续学习新技术和工具，保持对大数据和云计算领域的最新了解
适应变化 ： 能够快速适应项目需求变化和技术环境的变化
3. 问题解决与决策
分析能力 ： 具备强大的逻辑思维和分析能力，能够独立解决复杂问题
决策能力 ： 在关键时刻做出合理的技术和项目管理决策
4. 团队合作
协作精神 ： 能够在多学科团队中高效合作，共同完成项目目标
领导能力 ： 具备一定的团队领导和管理能力，能够指导和培训初级成员