教育背景：

本科及以上学历，计算机科学、软件工程、数据科学等相关专业；

职责

1. 负责设计和开发高效、稳定的网络爬虫系统，精准抓取各类公开网络数据，包括但不限于电商平台商品信息、社交媒体用户动态、行业资讯、学术论文等。​

2. 持续优化爬虫策略和算法，应对网站反爬机制（如验证码、IP 封锁、UA 检测、动态加载等），提高数据抓取的效率、质量和稳定性，降低抓取成本。​

3. 数据清洗处理：承担抓取后原始数据的全流程清洗工作，包括但不限于处理缺失值（通过均值填充、中位数填充、前后值填充或基于业务逻辑的自定义填充方式）、剔除重复数据（结合数据唯一标识或多字段组合去重，如订单号 + 用户 ID、商品 ID+SKU 编码等）、修正异常数据（识别并处理超出合理范围的数值、格式错误的文本信息，如日期格式混乱、手机号位数异常等）、标准化数据格式（统一数据单位、编码格式、字段命名规则，确保不同来源数据的格式一致性），同时能运用正则表达式、数据匹配算法等工具，过滤无效字符（如特殊符号、乱码、无意义占位文本），最终保障数据的准确性、完整性和可用性，为后续的数据存储和分析提供高质量的数据基础。​

4. 搭建和维护数据存储体系，根据数据特点选择合适的存储方案（如关系型数据库 MySQL、PostgreSQL，非关系型数据库 MongoDB、Redis 等），保障数据的安全存储和高效读取。​

5. 监控爬虫系统的运行状态，实时排查和解决爬虫运行过程中出现的各类问题（如程序报错、数据缺失、抓取速度异常等），保障系统 7×24 小时稳定运行。​

6. 与产品、数据分析等相关部门紧密协作，深入理解业务需求，将业务需求转化为技术方案，提供符合需求的数据支持，助力业务决策和产品优化；针对数据清洗环节，需配合数据分析团队明确数据质量标准，根据分析需求调整清洗策略，确保输出数据满足业务分析场景（如用户行为分析、商品销量预测、行业趋势研判等）的要求。​

7. 关注行业前沿技术动态，研究新的爬虫技术、反爬破解方法和数据处理技术（如自动化数据清洗工具、机器学习辅助数据异常检测技术等），并将其应用到实际工作中，不断提升团队的技术水平和工作效率。​

技术技能

1. 熟练掌握 Python 编程语言，理解其基本语法、数据结构和常用算法，能够运用 Python 进行简单的数据处理和脚本编写。

2. 熟悉至少一种主流的爬虫框架，如 Scrapy、Beautiful Soup 等，了解其工作原理和基本使用方法，能够使用框架搭建简单的爬虫项目。

3. 了解 HTTP 协议，熟悉常见的 HTTP 请求方法（GET、POST 等），掌握如何处理 HTTP 响应，包括解析响应内容、处理重定向等。

4. 具备一定的数据库知识，熟悉 MySQL、MongoDB 等常用数据库的基本操作，能够将爬取到的数据存储到数据库中。

能力素质

5. 较强的学习能力和自我驱动力，能够快速掌握新知识和技能，在遇到问题时能够主动查阅资料、尝试解决。

6. 良好的问题解决能力，在爬虫过程中遇到反爬虫机制、数据解析困难等问题时，能够分析问题原因，提出有效的解决方案。

7. 具备一定的逻辑思维能力，能够清晰地理解爬虫任务的需求，设计合理的爬虫策略和数据处理流程。

8. 良好的沟通能力和团队协作精神，能够与团队成员、上级等进行有效的沟通，及时反馈工作进展和问题。

加分项

9. 有实际的爬虫项目经验，能够展示已完成的爬虫项目及成果，如爬取的数据量、数据质量等。

10. 了解自然语言处理相关知识，能够对爬取到的文本数据进行简单的分析和处理，如文本分类、关键词提取等。

11. 熟悉分布式爬虫技术，了解如何利用多台机器进行大规模数据的爬取，提高爬虫效率。

12. 掌握数据可视化工具，如 Matplotlib、Seaborn 等，能够将爬取到的数据进行可视化展示，直观呈现数据特点和规律。

公司的基本情况如下：

产品是什么？

数字化软件产品，目前主推的是智能实验室配方管理软件（PLM），提高客户在配方环节的研发效率。

针对哪些行业的产品？

主要针对精细化工行业客户，比如食品添加剂生产商、化妆品制造商、生物疫苗制造等

产品开发程度怎么样？

产品已经成功部署了约10家企业，自由产品还在持续迭代更新，有较高的客户定制化程度。

公司年营收多少？

该项产品的年营销在500-800万/年

公司规模咋样？

目前30人以内，计划2025年扩展到40-50人；

公司管理风格咋样？领导人好吗？

公司文化开放，年轻人居多，无内耗和内卷，推崇踏实做事儿的风格

公司双休吗？

公司所有假期跟着国家法定走，不排除有项目需求要加班的情况

工资怎么定？

综合薪资：10-20K/月。其中70%为无责底薪、剩下30%为需要通过OKR考核获得。主要考核内容为：工作进度的完成程度，没有拖延和工作态度问题，大概率能够拿到。

年底根据经营情况看是否有13薪

入职即购买社保和公积金；

试用期1-3个月，试用期综合薪资8折；

目前工作日下午2:00开始接受面试，面试地点：四川省成都市青羊区二环路西二段附10号-蓝润摩里中心A座2215室

从美百年办公室大门进来乘坐电梯到21楼，转乘电梯到22楼（出电梯右拐）；如果是走负二楼的货梯或者从1楼走货梯，可以直接到22楼。

如果需要面试，请直接告诉我需要面试的时间就好