数据工程师
6000-12000元
北京 本科
信创园A区-6号楼4层
数据爬取: 编写高效的Python爬虫脚本,从指定的公开网站、API接口、气象数据平台、农业政务网站等渠道,自动化抓取多源异构数据(如气象数据、土壤墒情、遥感影像、作物价格、病虫害情报、学术论文等);
数据清洗与处理: 对爬取到的原始数据进行清洗、去重、格式化、转换和集成,确保数据的准确性和一致性,使其满足作物模型研究的输入要求;
反爬策略应对: 研究并实施合理的策略以应对常见的反爬虫机制(如IP限制、验证码、动态加载等),确保数据采集任务的稳定运行;
文档与协作: 撰写清晰的技术文档,记录爬虫设计思路、数据源结构和数据处理流程,并与研究员保持密切沟通,理解数据需求;
完成领导交办的其他工作。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕