岗位职责:
负责开发维护高效稳定的爬虫系统,使用Python/Java等技术栈(如Scrapy、Selenium、BeautifulSoup)实现多平台数据自动化采集。
岗位要求:
1. 熟练掌握Python和Java,熟练掌握主流开发框架;
2. 掌握运用 HTML、JS、CSS、jquery、Bootstrap、RequireJS 、VUE进行页面开发;
3. 熟练使用至少一种数据库(Oracle、MySQL等)与redis设计与开发,能熟练使用SQL语句并具有优化意识;
4. 掌握爬虫的工作原理,熟悉Scrapy、pyspider等主流爬虫框架框架,能够解决常见反爬问题;
5. 熟练使用SVN/GIT、MAVEN、Eclipse/IDEA、PowerDesigner、PLsql等相关开发管理设计工具;
6. 了解Linux操作系统,掌握常用Shell命令的基本使用,能独立安装部署、配置并使用常用中间件,如缓存、消息队列等;
7. 良好的逻辑思考和独立解决各种问题的能力;严谨踏实,责任心强,善于学习总结,抗压能力强, 具备良好团队合作意识和沟通协调能力。
加分项:
有大型互联网项目或复杂系统中的开发经验。
熟悉Docker、Kubernetes等容器化技术,有实际项目经验。
对Python异步编程有深入理解,有实际项目中使用Asyncio或类似框架的经验。
对深度学习、大模型等新型技术有浓厚兴趣、理解大模型 Agent、MCP 概念。