岗位职责：
框架：Hive，工具：DataWorks，要求数据开发经验，数据建模经验，非外包类，数据仓库开发经验，Spark，数据平台开发经验，数据治理经验，Python，SQL
1、数据平台架构设计
参与数据平台的整体架构设计，包括数据采集层、数据存储层、数据处理层、数据分析层和应用层的规划与设计。
根据业务需求和技术发展趋势，持续优化数据平台架构，提升系统的性能和可扩展性。
2、数据采集与整合
开发数据采集工具和系统，实现数据的实时和批量采集，确保数据的准确性和完整性。如利用ETL工具或编程语言(如Python、Java)开发自定义采集脚本；
设计数据整合方案，采用数据仓库技术(如Hive、lmpala)实现数据的整合和存储将不同来源的数据进行清洗、转换和整合，形成统一的数据视图。
3、数据存储与管理
根据数据类型、访问频率和存储需求，选择和配置适合的数据存储技术，如关系型数据库、非关系型数据库、分布式文件系统、数据仓库等，以满足不同场景的数据存储需求。
优化数据存储结构，提高数据查询和处理的效率
4、数据处理与计算
开发数据处理和计算任务，如数据清洗、数据转换、数据聚合等，以满足业务分析的需求[利用大数据处理框架(如Hadoop、Spark等)和流处理技术(如Kafka Streams、Flink等)，实现大规模数据的实时和离线处理。
5、数据接口与API开发
设计并开发数据接口和API，为业务系统和第三方应用提供数据访问和交互的能力。
确保数据接口的稳定性和安全性，提供必要的数据认证和授权机制。
6、数据监控与运维
建立数据监控体系，实时跟踪数据平台和数据系统的运行状态，及时发现和处理异常
利用监控工具(如Prometheus、Grafana)实时跟踪数据平台和数据系统的运行状态。
负责数据平台的日常运维工作，包括系统升级故障排查、性能优化等。
任职要求：
1、计算机科学、信息技术或相关领域本科及以上学历；
2、掌握阿里云的DataWorks工具、MaxComputer；数据库Hologres等各种服务知识点，比如数据集成、建表、建过程、调度配置等；
3、掌握一种或多种SQL语言的高级知识(如HQL,MySQL SQL,PostgreSQL等),能够对数据进行基础查询、聚合查询、高级查询等；
4、掌握Python、Java、Scala等一种或多种语言的基本语法、变量、数据类型、流程控制、函数等基础知识；
5、熟练掌握至少一种大数据处理框架(如Hadoop、Spark等)和流处理技术(如KafkaStreams、Flink等)；
6、熟悉关系型数据库和非关系型数据库的设计和优化；
7、对新技术保持高度敏感性，愿意不断学习和探索新的数据处理和分析技术