Description of the service
1. 参与数据平台的建设。
2. 设计、构建并维护高吞吐、具备容错能力的数据管道，同时构建高效的数据处理作业，以确保数据采集、清洗、集成与处理的稳定性和可靠性。
3. 参与后端基础设施服务的开发，基于大数据平台构建后端逻辑系统（如数据工具和数据管理平台），以支持高层级数据产品并与业务应用进行对接。
4. 构建用于在线服务的深度性能分析、监控与调优功能系统。
5. 与架构师、分析师及开发人员紧密合作，理解需求并将其转化为可靠的技术解决方案。
6. 开发并实施本地数据目录和元数据管理系统。可能包含数据分析与 AI 数据洞察相关的工作内容。
Deliverables
1. 数据管道构建：
打破数据孤岛，建立稳定、高效的数据传输与计算管道，包括数据采集、清洗和规范化等流程。
2. 端到端数据处理 / 分析流程：
基于调度系统开发端到端的数据处理、分析与挖掘工作流。
3. 高性能数据 API：
通过高性能数据 API 服务，为业务用户提供稳定且高效的数据访问接口。
4. 本地数据仓库建设：
作为本地数据仓库建设的重要参与者，完成关键存储与计算组件的搭建，并建立本地元数据管理系统。
Qualification Needed
技术技能要求（Technical Skill Requirements）
编程语言：
• 精通 Python（必需）。
• 熟悉 Java（必须具备）。
• 了解 JavaScript（JS） 属于加分项、具备更佳。
大数据技术栈（Big Data Stack）：
• 熟悉 Spark、Kafka、Parquet 等相关大数据组件。
云环境（Cloud Environment）：
• 熟悉 AWS 及其主流组件。
• 理解 AWS Redshift 的基本原理及使用场景。
• 能够在 AWS 环境中进行开发。
数据库经验（Database Experience）：
• 具备主流数据库的实际开发经验，包括但不限于：
Postgres、Oracle、SQL Server、MySQL、MongoDB。
人工智能（AI）：
• 具备 数据挖掘 和 传统机器学习 方面的理解或经验者优先。
软技能与职业素质（Soft Skills & Traits）
卓越的沟通能力：
• 具备优秀的书面与口头表达能力。
基础英语能力：
• 拥有基本的英文工作沟通能力。
高度的责任感与主人翁意识：
• 对工作具备强烈的责任心与 Ownership。
持续学习的心态：
• 能够不断学习适应新技术的发展。
优秀的团队协作能力：
• 具备良好的人际沟通能力，能够在跨团队环境中高效协作。