岗位职责：
1、运用Python语言开发高效、稳定的数据爬虫程序，从各类招聘网站、行业论坛、社交媒体等公开渠道抓取所需的招聘相关数据，如职位信息、公司信息、薪资待遇、岗位要求等；
2、处理反爬机制，确保爬虫程序的稳定性和数据的完整性，对爬取过程中出现的异常情况进行及时处理和优化；
3、定期维护和更新爬虫程序，以适应网站结构的变化和反爬策略的调整；
4、设计并实现高效的数据处理流程，对爬取到的招聘数据进行清洗、预处理，去除重复、错误和无效的数据，确保数据的质量和一致性；
5、运用 Python 数据分析库（如 Pandas、NumPy、dataset等）对数据进行深入分析，挖掘数据背后的规律和趋势，例如分析不同行业、地区、职位的薪资分布，岗位需求的变化趋势等；
6、运用数据可视化工具（如 Matplotlib、Seaborn等）将分析结果以直观的图表和报表形式展示出来，为公司的决策提供有力的数据支持；
7、具备智能体开发能力，能够设计并实现基于规则或机器学习的智能数据采集与处理流程，提升数据获取与分析的自动化水平；
8、熟悉数据处理流程搭建，能够构建端到端的数据采集、清洗、存储和分析的完整数据管道，确保数据处理过程的高效性和可扩展性；
9、具备复杂数据处理能力，能够应对多源异构数据，进行数据集成、特征工程和数据建模，支持更深入的数据洞察和业务应用。

岗位要求：

1、熟悉Scrapy、BeautifulSoup 等爬虫框架和库，能够独立开发复杂的爬虫程序；
2、熟悉transformer框架，能够应用于自然语言处理任务（如文本分类、实体识别等），提升数据处理和分析的智能化水平；
3、熟悉pytorch/tensorflow，具备深度学习模型开发能力，能够优化数据分析和智能体任务中的模型性能；
4、有智能体开发或自动化流程搭建经验者优先，如使用LangChain、AutoGPT等相关工具；
5、熟悉常用数据处理与流程管理工具（如Apache Airflow、Dagster等），具备数据管道搭建和调度经验者优先。