岗位职责

1. 多模态模型研发
• 设计与实现多模态模型架构，支持文本、图像、分子结构、3D空间数据等多种模态的联合建模；
• 深入研究并集成当前主流的多模态模型（如 CLIP、BLIP-2、ImageBind、Kosmos、GIT、CoCa、Flamingo 等）；
• 针对制药数据（分子图谱 + 文本描述 + 生物实验数据）构建专用多模态特征融合模块；
• 针对制造场景（图像 + 传感器数据 + 工艺文档）实现模态间信息对齐与融合。

2. 模型优化与微调
• 基于领域数据进行多模态大模型的微调（LoRA、QLoRA、Adapter等）；
• 研究和实现多模态指令微调（Instruction Tuning）与对齐（Alignment）策略；
• 优化推理性能（量化、蒸馏、稀疏化）以适配不同算力平台（GPU、边缘计算设备）。

3. 数据处理与增强
• 搭建多模态数据处理流水线，包括清洗、标注、增强、模态间配对与对齐；
• 设计自动化 Prompt 生成和数据增强工具，提高多模态任务的泛化能力。

4. 场景落地与平台集成
• 将多模态模型能力集成到公司统一的 AI 平台 API 层；
• 与 AI制药建模专家合作，开发分子结构+文献的联合检索与分析功能；
• 与机器人/视觉团队协作，开发视觉-语言交互接口，支持机器人任务规划。

⸻

任职要求
• 5 年以上深度学习研发经验，至少 2 年多模态大模型相关经验；
• 精通 Transformer 架构，熟悉 ViT、Vision-Language Pretraining、Cross-Modal Attention 等技术；
• 有 CLIP、BLIP-2、ImageBind、Kosmos-2、Q-Former 等模型落地经验；
• 熟悉 PyTorch、DeepSpeed、Hugging Face Transformers 等框架；
• 有领域化大模型微调经验（医疗、制药、工业制造优先）；
• 熟悉分布式训练与推理加速技术（FSDP、Megatron-LM、Tensor Parallel）。