职位详情
脸部(微表情)神经网络算法研究
1.2-1.8万
诗丹德联征(上海)生物科技发展有限公司
上海
不限
硕士
03-03
工作地址

上海浦东新区周浦镇建韵路500号

职位描述
可解决上海落户和住宿。

岗位职责

1. 核心算法研发与优化

负责人脸微表情情绪识别的神经网络算法设计与优化,针对微表情持续时间短(≤0.5秒)、动作幅度小、样本量少的特点,研发高效的时空特征提取模型(如3D CNN、Transformer、光流法结合的网络架构),提升微表情识别的准确率与鲁棒性。例如,通过改进Farneback光流法提取面部运动特征,结合CBAM注意力机制的3D ResNet(ME-ResNet)模型,增强对关键运动区域的聚焦学习能力。

2. 多模态融合与情绪理解

参与多模态(视觉、语音、生理信号)情绪识别系统的开发,融合人脸微表情特征与其他模态信息(如语音语调、心率变异性),提升情绪理解的全面性与准确性。例如,在智能机器人或心理诊疗场景中,结合微表情识别与文本情感分析,实现更精准的用户情绪状态判断。

3. 数据预处理与特征工程

负责微表情数据的预处理与特征提取,包括:

数据采集与清洗:处理自发或诱发式微表情数据集(如CASME II、SMIC、SAMM),去除噪声与无效样本;

人脸检测与对齐:使用MTCNN、Dlib等工具实现人脸精准定位与归一化,减少姿态、光照变化的影响;

特征提取:提取面部关键点(如眼睛、嘴巴周围肌肉)的运动特征(如光流、动作单元AU),或利用深度学习模型(如CNN)自动学习高层语义特征。

4. 模型部署与工程化

将训练好的微表情识别模型部署到目标平台(如机器人端芯片、移动设备、云端服务器),优化模型的推理速度与资源占用。例如,应用动态剪枝、量化感知训练等技术,实现情感大模型在嵌入式环境下的轻量化部署,满足实时性要求(如延迟≤1秒)。

5. 场景验证与迭代优化

设计场景化测试用例(如高噪声环境、多人交互场景、青少年心理问题场景),验证模型在实际应用中的鲁棒性。例如,在情绪管理APP中,测试微表情识别模块在不同光照、角度下的准确性,根据用户反馈迭代优化模型,提升个性化响应能力。

6. 技术预研与前沿探索

跟踪人脸微表情识别领域的前沿技术(如小样本学习、跨文化情感理解、多模态大模型),开展技术预研并输出原型。例如,探索小样本情感迁移学习算法,解决微表情样本量不足的问题;或研究跨文化情感表达差异,优化模型的泛化能力。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请