岗位职责

1.负责大数据全链路核心模块开发，包括数据采集（爬虫、API 对接、日志采集）、清洗、转换、聚合等数据处理流程实现；

2.负责数据接口、数据服务的设计与开发，对接业务系统、数据可视化平台，保障数据传输稳定性与高效性；

3.参与大数据平台的性能优化、故障排查，提升系统吞吐量与稳定性；

4.配合算法团队，实现机器学习模型的数据预处理。

任职要求

1.掌握 Python 基础语法，熟悉面向对象编程思想，具备扎实的代码功底；

2.熟练使用 Pandas、NumPy 等数据处理库，有实际数据清洗、转换、统计分析项目经验；

3.熟悉至少一种大数据框架（Spark/Flink/Hadoop），能独立使用 PySpark/PyFlink 编写分布式计算任务；

4.熟悉 MySQL、PostgreSQL、Redis 等主流数据库，具备数据库查询优化、数据建模基础；

5.了解数据采集技术，有爬虫（Requests/Scrapy）、API 对接、日志采集相关经验优先；