职位详情
HPC & Scientific Data Pipeline Engineer
1.9-2.1万·13薪
凯捷中国
北京
5-10年
本科
01-12
工作地址

利星行广场NN

职位描述
核心要求
1. 技术领域经验:
• 5年以上HPC(高性能计算)或基于AWS的大规模科学计算全职项目经验;
• 具备Nextflow等科学数据处理流水线构建经验,熟悉数据溯源、可复现性元数据/质控(QC)、产物管理。
2. 生产环境技能:
• 熟练使用AWS ParallelCluster和Slurm(包括任务阵列/依赖管理、cgroups、资源统计SlurmDBD);
• 掌握Open OnDemand部署、应用打包及身份集成;
• 实战经验:AWS Batch/Lambda实现工作流自动化与事件驱动任务。
3. Python开发能力:
• 代码架构清晰,熟悉打包、测试(pytest)、性能分析;
• 异步/多进程编程、数据处理(NumPy/Pandas)、CLI/服务开发(如FastAPI/Flask)。
4. AWS优化:
• 实例选型(CPU/GPU机型、Spot实例)、任务装箱策略、FSx/Lustre存储优化、镜像构建与缓存调优;
• 核心服务:IAM、VPC、EC2/AMI、S3、ECR、EFS/FSx、CloudWatch/CloudTrail。
加分项
• IaC工具:Terraform管理AWS资源及模块化,Git流程与基础CI/CD;
• 容器化:Docker、Singularity/Apptainer;
• Linux底层:网络、文件系统、性能调优;
• 工作流引擎:与Batch/Slurm集成,缓存与检查点策略;
• 安全实践:最小权限IAM、KMS加密、密钥管理、审计追踪。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请