岗位职责：
1. 负责设计和开发大数据处理系统，包括数据采集、清洗、存储、处理和分析等各个环节。
2. 维护现有的大数据平台，确保系统的稳定性和高可用性。
3. 对大数据处理流程进行性能调优，提升数据处理效率。
4. 参与数据仓库的设计与实现，构建高效的数据模型以支持业务需求。
5. 制定并实施数据质量管理策略，确保数据的准确性和一致性。
6. 持续关注大数据领域的新技术和新工具，评估其适用性并引入到项目中。
7. 编写相关的设计文档和技术文档，保证项目的可维护性和可扩展性。
任职要求:
1、本科以上学历，计算机相关专业。
2、3-5年的大数据开发相关工作经验。
3、熟练掌握Hadoop生态组件，如HDFS、MapReduce、YARN等；
4、熟悉实时计算框架，如Spark、Flink、Storm等。
5、熟练使用SQL，有较强的数据库操作能力，熟悉Hive、HBase、MySQL等数据库。
6、掌握Python或Java等编程语言。；
7、了解数据仓库设计原理及方法论，有ETL工具使用经验者优先，如Kafka、Flume等。
8、具备良好的沟通能力和团队协作精神，强烈的责任心和抗压能力，能够独立解决问题。
有政府项目工作经验优先