职位描述
岗位职责
1负责对接多模态数据源,包括但不限于:视频流图像数据关系型数据库文件系统API接口消息队列等,实现数据的高效采集与接入。
2设计并实施数据接入方案,构建稳定可扩展的数据管道,支持海量高频实时数据的接入与处理(日均TB级数据量)。
3使用PythonJava等语言开发数据接入脚本自动化工具及数据预处理模块,提升数据接入效率与质量。
4负责数据接入过程中的异常监控日志分析性能调优及故障排查,保障数据链路的稳定性与可靠性。
5参与企业级数据平台建设,主导或协作完成大型数据接入项目,推动数据资产的标准化与规范化。
任职要求
1计算机软件工程数据科学或相关专业本科及以上学历,2年以上数据接入数据集成或数据开发相关工作经验。
2熟悉多模态数据类型,具备丰富的多源异构数据接入经验,能够独立完成从需求分析到部署上线的全流程工作。
3熟练掌握至少种编程语言:Python/Java/Shell,具备良好的编码习惯和问题解决能力。
4精通主流数据集成工具和技术,如FTP/SFTPHTTP/HTTPSDataXKettleSqoopFlume等,具备实际项目应用经验。
5具备API开发与调用经验,熟悉RESTful架构设计,了解WebSocket等实时通信协议,能高效完成系统间数据交互。
6有主导或深度参与大型企业级数据平台数据接入项目的经验,熟悉数据接入架构设计与性能优化策略。
7具备良好的沟通能力团队协作精神和责任心,能够在快节奏环境中高效交付。
加分项:
1有AI机器人具身智能自动驾驶等领域数据接入经验者优先。
2熟悉大数据生态(MinIOHadoopSparkKafka等)者优先。
3具备数据治理元数据管理相关经验者优先。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕