岗位职责：
1.协助大数据的ETL开发工作，支持复杂逻辑的处理，研发数据产品；
2.协助参与需求分析、数据模型的设计和优化，提升数据质量与计算性能；
3. 持续优化现有的数据处理流程，提高系统的可靠性和可拓展性；
4. 协助系统的设计与开发任务，协作与产品经理、测试、运维人员等进行项目需求讨论和问题解决。
任职资格：
1. 熟悉Hive/Spark/Kafka等组件工作原理，有Spark RDD、Spark SQL开发与相关的优化经验，熟悉Spark graphX优先；
2. 精通SQL，熟练使用Hive/Spark SQL进行大数据处理和分析;
3. 具备较强的问题解决能力，能独立分析与解决复杂的技术难题。