职位描述
岗位职责:
1.服务器与系统运维:负责Linux服务器的日常维护、部署、监控与性能优化;负责系统上线、备份、日志监控、安全防护及资源分配;管理云服务器(如阿里云、腾讯云、AWS等)的配置与维护;搭建和维护数据采集相关环境(如Python/Java运行环境、数据库、Redis等);监控服务器资源(CPU、内存、磁盘、网络)并及时处理告警;优化自动化运维流程(CI/CD、日志分析、自动备份等)。
2.维护社媒平台数据采集:协助完成海外各主流社交媒体平台(Facebook、X(Twitter)、YouTube、Instagram、VK、微博等)的数据采集与接口接入;维护官方API接口实现数据采集、更新、清洗与结构化存储;维护爬虫程序,在符合平台规则的前提下获取公开数据;优化采集效率与稳定性,确保数据完整性与时效性;处理异常数据、接口报错、封禁问题,提升数据采集系统的健壮性;确保数据完整入库,与数据平台配合,提供高质量的数据支持。
3.其他工作:参与数据平台架构的设计与持续优化;编写技术文档、运维手册;对接开发团队、协助定位与解决生产环境故障;确保数据采集与运维系统的安全合规运行。
4. 准确落实完成领导交办的其他各项工作。
岗位要求:
1.拥护和遵守中华人民共和国宪法和法律,拥护中国共产党领导和社会主义制度。
2.具有大学本科及以上学历和相应学位,计算机、软件工程、安全、数据科学、电子等相关专业优先。
3.具备3年以上数据采集或运维相关经验,有大数据相关工作背景和经历,有社交媒体数据采集经验者优先。
4.具备一定的Java编程语言基础,掌握HTML、Javascript、CSS等前端技能;具有面向数据库的SQL语言编写技能,能管理数据库和数据备份;具备服务器运维与管理能力;了解Python后端框架(Flask、FastAPI)者优先。
5.能够熟练使用Python(requests、BeautifulSoup、Scrapy、Selenium等)进行数据采集;熟悉常见API调用机制(RESTful、OAuth、GraphQL等);具备Linux服务器操作经验,熟悉Shell脚本;掌握常见数据库(MySQL)使用与管理;熟悉Nginx、Docker、Git等常用运维工具;了解网络原理及安全防护(代理、爬虫防封、IP池、访问频控等);有一定的编程规范和文档编写能力。
6.逻辑清晰、责任心强,具备较强的问题分析与解决能力,具备良好的团队协作意识和跨部门沟通能力,能在多任务并行下保持高效与准确。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕