岗位职责：

1、负责制定数据处理和业务个性化规范。

2、负责数据采集与清洗，从各种数据源收集数据，并进行清洗和预处理，以确保数据的质量和可用性，使用数据采集工具和清洗工具进行数据的提取、去重、修正错误。

3、负责数据仓库搭建与管理，设计和实施数据仓库，制定ETL（提取、转换、加载）相关的设计方案和开发计划。评估数据源的格式、访问方式和数据质量，并制定相应的数据抽取策略，确保数据在传输过程中保持一致性和完整性，并通过合理的设计优化数据存储和访问性能。

4、数据管道设计与维护构建和维护数据管道，确保数据能够高效地从源头传输到目标存储系统。设计和实施数据管道的各个环节，如提取、转换和加载数据，并解决数据管道中的复杂性和可扩展性问题。使用自动化工具和持续监控来优化数据流和处理流程，确保数据的实时性和准确性。

5、负责针对的业务数据抽取和DW、DM建模，负责ETL链路的开发与数据处理。

6、负责数据仓库数据标准、元数据管理的规划设计。

7、理解业务需求，负责数据采集、清洗、存储程序以及实时数据计算的开发以及相应优化工作。

8、参与需求分析、并完成需求设计相应文档的编写。

9、优化数据查询算法及数据库性能调优。

任职要求：

1、研究生学历，计算机相关专业。优秀人才可破格录用。

2、五年以上相关大数据开发工作经验，参与过大型数据处理项目，熟悉从数据收集、清洗、转换到存储和分析的整个流程。

3、精通SQL开发， MySQL、PostgreSQL、Oracle等关系型数据库，灵活运用SQL实现海量数据ETL加工处理；能够直接利用NoSQL ,GIS处理数据。

4、熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察Java、Python。

5、精通数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理。

6、精通Hadoop、Kafka、Hive、Spark、Flink等大数据生态组件，熟悉其运行机制和体系结构。

7、有丰富数据清洗、指标开发经验，熟悉数据仓库模型设计与ETL开发经验，掌握维度建模设计方法，具备海量数据处理经验；具备数据仓库模型设计与ETL开发经验，掌握维度建模设计方法。

6、熟悉Linux系统处理命令，能够灵活运用shell做的文本处理和系统操作的优先。

7、具备大数据分析处理、机器学习建模分析的优先。

8、熟悉数据可视化工具，如Tableau、Power BI等，能够将复杂数据转化为直观的图表和报告。

9、逻辑思维能力强，对数据关系敏感，有较强的学习能力和创新思维。有良好的责任感，具备较强的问题分析和团队沟通协作能力。