1，Python编程能力和代码架构设计实现能力
2，大数据能力：
2.1 数据结构与算法
2.2 分布式计算和并行处理：分布式计算框架，并行计算，MapReduce 和流式处理，
2.3 数据存储与数据库优化，
2.4 性能分析与调优：性能瓶颈分析，内存管理与优化，I/O 优化
2.5 高效的数据处理框架与工具：大数据处理框架，批处理与流处理优化 数据管道构建与优化
2.6 硬件加速与异构计算：GPU 加速，内存计算
2.7 并发控制与事务处理：事务管理与并发控制，一致性和容错
3，网络爬虫能力
3.1 Python(Scrapy,BeautifulSoul和Ixml,Selenium)
3.2 网页抓取技术
3.3 HTTP 协议与请求管理
3.4 反爬虫机制与规避
3.5 分布式爬虫与性能优化（分布式爬虫，任务调度，并发与任务调度
3.6 数据去重与增量爬取
3.7 异常处理与监控）
4，AI算法能力加分