职位描述
核心职责
数据抓取开发
设计并开发高效、稳定的分布式爬虫系统,针对目标网站进行结构化数据采集。
处理动态页面(如 JavaScript 渲染)、验证码、登录限制等反爬策略。
优化爬虫性能,确保高并发、低延迟的数据抓取。
任职要求
必备技能
有爬取京东,淘宝,拼多多等电商网站的经验
精通 Python,熟悉 Fapder、Scrapy、BeautifulSoup、Selenium、Playwright 等爬虫框架/工具。
熟悉 HTTP/HTTPS 协议,掌握网页解析技术(XPath、CSS Selector、正则表达式)。
熟悉数据库操作(SQL/NoSQL),具备数据清洗和ETL经验。
了解反爬机制(如 IP 封锁、用户行为检测),具备应对经验。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕