工作职责：

1.负责各大信息网站、短视频平台等网络媒体的数据爬取工作；

2.设计并开发稳定高效的网络爬虫系统；

3.对爬取的数据进行清洗、去重和初步整理；

4.维护和优化现有爬虫程序，确保数据获取的及时性和准确性；

5.应对网站的反爬虫机制，制定相应的技术解决方案。

教育背景：

1.计算机相关专业本科及以上学历,3年以上工作经验。

知识技能：

1.熟练掌握Python编程语言，熟悉Scrapy、Selenium等爬虫框架；

2.熟悉HTML、CSS、JavaScript，能够分析网页结构；

3.了解常见的反爬虫技术及应对策略；

4.有大型网站爬取经验者优先考虑。

2. 思路清晰、较强的沟通协调能力，具备团队合作精神；