岗位职责:
1、根据项目需求对接大数据平台,进行相应的数据接入处理,包含数据的提取、存储以及清洗处理等;
2、根据业务需求设计数据库逻辑和物理模型, 开发数据库生产环境所需要的存储过程、函数、脚本等;
3、参与数据库生产环境的问题优化和解决。
任职要求:
1、掌握数据库开发技术:包含Oracle、Teradata、DB2、Mysql等,灵活运用SQL实现海量数据ETL加工处理;
2、熟悉Linux系统常规shell处理命令,灵活运用shell做的文本处理和系统操作;
3、有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,重点考察Hdfs、Mapreduce、Hive、Hbase;
4、熟练掌握一门或多门编程语言,并有大型项目建设经验者优先,重点考察Java、Python、Perl;
5、熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
6、掌握实时流计算技术,有storm开发经验者优先;
7、认真负责,有团队协作精神,能够与团队相处融洽,协同处理好项目工作;
8、本科及以上学历,计算机相关专业优先。