岗位职责:
1.数据架构设计与实现:负责设计高效、可扩展的数据仓库解决方案,确保数据的准确性、一致性和可用性。
2.数据库管理与优化:利用Hive、MySQL、Doris等进行数据建模、ETL流程开发,并对现有系统进行性能调优,提升查询效率和数据处理速度。
3.自动化脚本开发:编写Shell或其他脚本语言来自动化日常的数据处理任务,提高工作效率,减少人为错误。
4.跨部门协作:与产品管理、数据分析和其他技术团队紧密合作,理解业务需求,提供技术解决方案和支持。
5.系统监控与维护:使用Linux命令行工具进行服务器状态监控,故障排查以及安全设置,确保系统的稳定运行。
6.了解并能在工作中运用AI
技能要求:
1.精通Hive、MySQL、Oracle和Doris等数据库管理系统,能够独立完成复杂的数据模型设计和ETL过程。
2.掌握SQL查询语句的编写和优化,了解存储过程、触发器等高级功能
3.具备扎实的大数据平台开发经验,包括但不限于Hadoop生态系统组件(如HDFS, MapReduce)。
4.熟练掌握Linux操作系统及其命令行操作,能够编写高效的Shell脚本
5.熟悉java代码,掌握基本的 Python 脚本编写技巧