岗位职责
1.整理和预处理多模态语料库和结构化知识源。
2.构建、扩展和维护领域本体 / 知识图谱库。
3.确保数据质量、版本控制和沿袭追踪。
4.搭建强大的 ETL 管道，确保原始源（如网络爬虫、数据库、PDF）被系统地摄取、清理、规范化和格式化，以用于神经训练和符号规则编码。
5.将异构数据集（非结构化文本语料库、结构化事实、用户日志）集中到一个集成存储库中，支持对训练数据和符号事实的高效查询、切片和历史跟踪，启用数据集的版本控制。
6.进行知识图谱构建工作，将领域语义（实体、关系、本体）编码为图形形式，促进文本衍生概念与结构化符号的链接，通过在添加或更新事实时应用模式验证和推理检查，确保知识库的一致性和连贯性。