岗位职责

多模态特征提取模型开发：负责开发多模态特征提取模型，涵盖文本（BERT）、图像（CLIP）、音频（Whisper）等领域，实现高效的数据特征提取与表示。

RAG 检索算法优化：优化 RAG 检索算法，提升行业专家库的准确性与响应速度，确保检索结果的高质量。

模型蒸馏与量化方案设计：设计模型蒸馏与量化方案，支持边缘端轻量化部署，降低模型推理成本。

大模型微调工作参与：参与大模型微调工作，运用 LoRA、QLoRA 等技术提升模型性能，适应特定行业需求。

算法模型集成与系统协作：与后端团队紧密合作，将算法模型集成到系统中，实现端到端的多模态数据处理和应用。

核心技能要求

深度学习框架精通：精通 PyTorch 框架，具备丰富的深度学习项目经验，能够熟练运用 PyTorch 进行模型构建、训练与优化。

多模态融合技术熟悉：熟悉多模态融合技术，如 ViLBERT 等，能够进行高效的多模态数据处理和融合。

模型优化方法掌握：掌握知识蒸馏（DistilBERT）、模型量化（QAT）方法，联邦学习架构，具备实际项目经验。

RAG 技术栈熟练：熟悉 RAG 技术栈，如 LangChain、LlamaIndex，具备大模型微调经验。

数据库使用与管理能力：精通各类数据库的使用和管理，包括关系型数据库（如 MySQL、PostgreSQL）、非关系型数据库（如 MongoDB）、内存数据库（如 Redis）以及图数据库（如 Neo4j）。

工具链

训练框架：PyTorch Lightning、Hugging Face。

实验管理：MLflow、Weights & Biases。

数据库工具：MySQL、PostgreSQL、MongoDB、Redis、Neo4j。

其他工具：Git、Docker、Jupyter Notebook。