职位描述
岗位职责
- 参与公司大模型的研发工作，包括模型设计、训练、调优及部署等全流程环节，提升模型性能与效果。
- 运用 Python 等开发语言，搭建和优化大模型训练、推理相关的工具和框架，保障研发效率。
- 负责大模型训练数据的处理工作，包括数据收集、数据清洗、数据标注校验等，确保数据质量满足模型训练需求。
- 设计并实现高效的 ETL（Extract, Transform, Load）数据处理流程，从各类数据源中提取、转换和加载数据，为模型训练提供稳定的数据支撑。
- 分析模型训练过程中的数据问题，优化数据预处理策略，提升数据与模型的适配性。
- 跟踪大模型领域的前沿技术动态和研究成果，将先进技术和方法应用到实际研发工作中，推动技术创新。
- 与数据工程师、软件工程师等团队成员紧密协作，共同解决大模型研发及落地过程中的技术难题。
- 撰写相关的技术文档，包括数据处理方案、模型训练报告、技术白皮书等。
任职资格
- 本科及以上学历，计算机科学、人工智能、机器学习、数据科学等相关专业，3年以上大模型或机器学习算法研发经验。
- 精通 Python 编程语言，熟悉C++、QT、及模型部署，熟悉 TensorFlow、PyTorch 等主流深度学习框架，具备扎实的算法实现能力，
- 具备丰富的数据清洗经验，熟练掌握数据清洗的方法和工具，能够处理大规模、多类型的非结构化及结构化数据。
- 深入理解 ETL 数据处理流程，熟悉 Kafka、Flume、Spark、Hadoop 等 ETL 相关工具和技术，能独立设计和实现高效的 ETL 数据 pipeline。
- 掌握机器学习、深度学习的基本原理和常用算法，对大模型训练、微调、压缩等技术有深入研究或实践经验者优先。
- 具备良好的数学基础，熟悉概率论、数理统计、线性代数等相关知识，能对模型效果进行量化分析和优化。
- 拥有良好的问题分析和解决能力，能够快速定位并解决模型研发和数据处理过程中的技术问题。
- 具备优秀的沟通能力和团队协作精神，有较强的责任心和抗压能力，能积极推动项目进展。
- 发表过相关领域学术论文、拥有大模型相关专利或有成功落地项目经验者优先。
以担保或任何理由索取财物，扣押证照，均涉嫌违法，请提高警惕