岗位职责
- 负责设计和开发分布式网络爬虫系统，参与公开数据数据爬取相关工具平台的架构设计等工作；
- 建立自动化数据采集、清洗和存储管道，满足业务的数据质量要求；
- 监控并维护爬虫系统，及时处理异常和故障，持续优化系统性能和代码迭代；
- 与产品团队和大数据团队紧密合作，确保数据的准确性和及时性。