职位描述
业务方向:负责电商网站上关于定价、产品选择、优惠券等的信息采集。
主要职责
1、使用Selenium、Playwright或Cypress等工具,开发、增强和维护自动化抓取框架与工作流,以收集大量数据。
2、设计并实施自动化数据收集解决方案,通过整合最佳安全实践和开发复杂技术(包括代理轮换、浏览器指纹识别和会话管理)来实现。
3、对网页应用进行安全评估、漏洞分析和渗透测试,以识别和降低风险。
4、与内部合作,分析并开发自动化数据收集解决方案。
5、构建和维护网页抓取管道,从动态和静态网站中提取、处理和整理数据,并处理诸如验证码和登录流程等复杂场景。
6、维护和增强抓取工具及基础设施,以处理动态、重度使用JavaScript的网站。
7、监控抓取操作的错误、封禁和性能瓶颈;实施自动化恢复和告警机制。
8、确保遵守与网页抓取相关的法律和道德准则。
9、密切关注自动化、应用安全和网页抓取技术领域的最新趋势。
任职资格
1、5年以上相关经验,并具备经证明的安全应用工程技能。
2、在Selenium、Playwright或Cypress等自动化工具方面拥有可靠的专业知识。
3、精通Python、JavaScript或Java等编程语言。
4、扎实理解网页技术:HTML、CSS、JavaScript、HTTP/HTTPS协议、AJAX和REST API。
优先考虑:
1、有云平台(AWS、Azure)和任务调度器(cron、Celery、AWS Lambda)使用经验。
2、熟悉OWASP、NIST或ISO 27001等安全标准。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕