职位描述:
寻找一位经验丰富的数据开发工程师，负责公司内部数据湖的开发与维护，基于业务需求构建并维护数据报表和搭建ETL Pipeline。您将与数据科学家、业务分析师和其他工程师紧密合作，构建高效、可靠的数据处理系统，为公司提供数据驱动的决策支持。
工作职责:
• 参与公司数据湖的开发和维护，确保数据的高效存储、处理和分析。
• 基于业务需求，设计和开发数据报表，为业务部门提供数据洞察。
• 构建和维护高效的ETL Pipeline，处理来自不同数据源的批量数据和实时数据。
• 优化数据处理流程，提高数据处理的效率和稳定性。
• 编写清晰、可维护的技术文档。
技能要求:
• 精通Hive、Yarn、Spark等大数据处理框架，了解Flink者优先。
• 熟练使用Python进行数据处理和分析，熟练掌握Scala或Java其中一种语言。
• 具备ClickHouse和Vertica等数据库的实战经验，能够构建健壮的Streaming或Batch ETL Pipeline。
• 深入了解Kafka原理，具备后端开发经验，熟悉SpringBoot等框架者优先。
• 具备良好的沟通能力和团队合作精神，能够独立解决问题。