工作职责：
1. 负责创新型产品与平台的大数据处理相关工作，包括数据爬取、数据清洗、数据处理、数据合成等工作；
2. 负责抽象和提炼业务的数据处理需求，设计和沉淀通用的工具和平台；
3. 负责前沿研究中涉及到的数据解决方案的设计、开发和维护；
4. 参与产品设计和需求调研。
任职资格：
1. 第一学历为985/211或同等级别大学计算机相关专业，3年以上算法工作经验；
2. 有良好的学习能力、动手能力、表达能力与团队合作能力；
3. 精通至少一种编程语言，能够编写高效的数据处理和分析代码，熟悉多线程编程、分布式计算、网络通信、内存管理、设计模式；
4. 精通主流大数据处理/分析相关的工具/框架，例如Hadoop系列、Spark、Flink、ClickHouse、Doris等；
5. 精通主流数据库，熟练使用关系型数据库（如MySQL、Oracle）和非关系型数据库（如MongoDB、Redis），熟练掌握相关的数据建模与查询优化；
6. 精通爬虫开发技术（如Scrapy/Selenium/Requests），熟悉XPath、正则表达式等数据解析技术；精通分布式爬虫框架（如Scrapy-Redis、Gerapy）；熟悉反爬对抗策略（代理IP池、请求头模拟、浏览器指纹伪装）。