岗位职责：
1.负责开发和优化NLP的相关算法，确保技术实现符合项目需求。

2. 理解业务需求，参与算法功能设计及架构设计，参与算法的测试流程，与团队确保算法的质量和行能。

3. 知识库文档分块：选择与制定择合适的分块方法（智能切分、多级切分等），处理含表格和图像的文档，定义 chunk_size 和 chunk_overlap。
4..建立质量评估指标（如语义完整性评分），定期检查并优化算法，确保内容完整性和一致性。

5.根据业务场景定义数据需求，设计标注规则文档，确保标注一致性。提取并清洗原始文本数据，进行OCR识别与版面分析，提取结构化文本。组织团队完成实体标注、意图分类等任务，使用标注工具管理流程，并实施数据增强策略。设计校验脚本检测标注错误，生成数据集说明文档，包含统计指标和样本示例。

任职要求：
1.本科及以上学历，拥有计算机、人工智能、数学、统计学的相关专业，熟悉常见的算法和数据结构，具备较强的算法能力；

2.具备2年以上相关开发经验；

3.熟悉NLP算法的工具和框架，实现相关的算法实现和优化；

4.具备良好的沟通能力、协调和团队和合作能力，较强的解决问题能力和创新思维；