岗位职责：

1、数据爬取：根据业务需求获取政策法规、行业数据等外部数据；

2、数据清洗与处理：确保数据质量，格式标准化；

3、知识库构建：构建和维护RAG系统的向量数据库；

4、数据管道搭建：自动化数据更新和处理流程；

5、数据质量监控：监控数据质量，及时发现和修复问题。


任职要求:

1、技能要求：

数据爬虫：Python爬虫框架(Scrapy、BeautifulSoup)；

数据处理：Pandas、NumPy等数据处理库；

向量数据库：Pinecone、Weaviate、 Supabase Vector等；

数据清洗：文本处理、数据去重、格式标准化；

SQL和数据库：PostgreSQL、数据建模；

爬虫与数据清洗：Scrapy、BeautifulSoup、Pandas；

数据库管理：Supabase、PostgreSQL；

数据可视化与监控：Grafana、 Metabase。

2、良好的团队沟通能力，能将技术方案转化为业务视角的说明。