数据工程师负责面向数据库的清洗、转换、存储和分析等工作。
主要职责

数据集成与处理：从不同来源提取数据，进行清洗和转换，加载到数据仓库或数据湖中。
构建数据管道：设计和开发可靠的数据流，实现数据的自动化处理。
数据建模与存储：根据业务需求设计数据模型，优化数据的存储和访问效率。
支持数据分析：构建高质量的数据服务，协助完成分析任务。
技能要求

编程语言：熟练掌握SQL编程语言。
数据处理工具：熟悉Hadoop、Spark、Kafka等大数据处理框架。
数据库技术：了解关系型数据库和非关系型数据库，具备数据库管理和优化能力。
数据仓库：熟悉数据仓库的设计和ETL流程，能够使用相关工具进行数据建模。