岗位职责：
1.根据业务需求开展数据清洗、预处理和特征工程等工作。
2.负责大数据架构的规划设计，参与业务建模及数据化运营平台的搭建、运维，对业务流程与大数据的结合提出建议和解决方案。
3.进行数据探索和可视化分析，挖掘数据中的模式、规则、规律、趋势等。
4.从文献资料或数据库中提取数据规律，并依照业务规则，设计算法生成模拟数据。
5.探索和引入新的数据挖掘和机器学习技术，提高算法的预测准确性和运行效率。
6.完成基于大数据平台的业务项目的开发、实施和维护工作。
任职资格
1.硕士及以上学历，大数据/计算机/数学/统计学等相关专业。
2.熟悉大数据、数据仓库、湖仓一体、分布式架构技术理论，具备大数据整体系统架构设计和实战经验。
3.熟悉大数据组件的开发编译、搭建、维护以及性能优化。
5.精通Hadoop生态，在Hive、Hudi、Kudu、Flink、Spark、Presto等大数据技术方面有相关应用经验，能阅读源码跟踪问题。
6.精通使用相关开发语言(Java/Python/Scala/Shell等)之一。
7.精通掌握Spark、flink任意一种计算框架，掌握MapReduce计算框架原理，并有实际项目开发经验。
8.精通大数据安全组件kerberos、ranger组件搭建及维护、开发。
9.精通数据挖掘、机器学习和统计学等相关理论，熟悉常用的数据挖掘和机器学习工具和框架，如pandas，numpy，matplotlib, scikit-learn等。
10.具有良好的团队合作和沟通能力，能够与团队成员和其他部门合作推进项目。