该职位集团内部职位名称为数据湖工程师， 他/她将负责开发和维护数据基础设施及客户/运营分析能力，以支持威立雅中国团队的信息需求。该职位将设计中国数据湖（基于云的大数据架构），构建和扩展数字解决方案，包括统计数据分析、数据挖掘、商业智能、数据仓库等；同时负责数据湖技术、平台和数据中心的运营、部署和维护，包括数据风险与安全维护监控、数据治理（数据访问、数据存储、数据变更管理、数据恢复等）以及数据分类、ETL、计算、优化等工作。
架构设计与开发：
- 定义系统级架构，进行维度建模和数据集市设计
- 构建高度可扩展的数据集市供威立雅中国使用
- 构建整体数据集市架构，设计并记录数据系统生态
- 设计高度可扩展的数据湖数据提取解决方案
- 架构设计数据质量框架的详细方案
数据湖运营与维护：
- 负责基于云平台组件的威立雅中国数据湖技术运营和维护，包括部署和优化、客户培训和沟通、现场技术服务等
- 负责云平台组件优化需求的分析、开发和实施，解决威立雅中国数据湖运营维护中的疑难故障、性能瓶颈等问题
- 协助构建基于阿里云的威立雅中国数据湖数据治理体系，研究阿里云运维技术，协助制定威立雅中国数据湖运维技术方案
数据治理与管理：
- 负责数据风险与安全维护监控，以及数据治理工作，包括但不限于数据访问、数据存储、数据变更管理、数据恢复等
- 负责数据湖和数据中心的数据分类、ETL、计算、优化等工作
- 负责技术文档的管理和编制维护
跨部门协作：
- 与威立雅中国不同业务部门合作，将业务需求转化为技术功能规范
- 与不同平台/系统所有者和供应商合作，为威立雅中国制定***解决方案，同时平衡范围、成本和时间
- 与大数据分析和数据科学团队互动，开发最有效的分析和高级算法模型，实现数据价值的最优提取：
- 与外部供应商进行云平台运营沟通
- 与其他项目团队协调技术细节
技术研究与培训：
- 研究并跟进大数据架构的新技术并分享
- 大数据处理和分析应用平台设计指导
- 制定培训指南，对团队成员进行新技术交叉培训
- 规划公有云自动化运维工具和辅助工具
任职要求：
- 计算机科学、数据科学、机器学习、统计学、应用数学等相关专业本科及以上学历
- 3年以上软件开发和云平台系统设计经验
- 具有PaaS平台运维经验，有AWS、阿里云、腾讯云、华为云等公有云运维背景者优先
- 具有SaaS/云产品/服务经验
- 深入理解数据湖和数据治理概念
- 具有大规模数据集上分布式系统软件的设计和开发经验，用于机器学习、数据挖掘和分析
- 具有预测建模经验者优先
- 编程语言能力（必须掌握以下至少2-3种）：
• 精通Python开发语言
• 熟练掌握Java
• 掌握Go语言者优先
• 掌握Rust语言者优先
• 熟悉其他现代编程语言
- 数据库与SQL：
• 精通SQL
• 熟练掌握各种关系型数据库（如MySQL等）的配置和调优
• 熟练掌握各种非关系型数据库（如Redis等）的配置和调优
• 具有结构化和非结构化数据操作经验（必须）
• 具有Spark/Flink在NoSQL数据库上的技能者优先
- 大数据技术：
• 熟悉算法和优化
• 具有流式分析和实时处理经验，如Spark Streaming、Storm等者优先
• 熟悉常用组件的配置和调优，如Nginx、Redis、MySQL、RocketMQ等，能够进行调试
- 云平台与阿里云：
• 熟悉阿里云各种产品和服务，如Maxcompute, Hologres
• 熟悉云平台运营和维护
• 熟悉阿里云运维技术
- 系统与运维：
• 熟悉Linux操作系统
• 熟悉Windows操作系统
• 精通运维工具开发和脚本编写
• 熟悉ITIL和DevOps的运维控制流程
• 具有硬件和网络基础知识
• 熟悉常用运维工具和平台（如Nagios、Zabbix、Ansible等）
- 企业系统集成：
• 熟悉企业系统集成
• 了解通信协议，如MQTT、HTTP、HTTPS等