职位描述
任职要求:
1.本科及以上学历,计算机、软件工程、数学或相关专业;
2.3 年以上 Python 开发经验,熟练掌握 Python 生态(如 Pandas、SQLAlchemy、FastAPI/Flask 等);
3.熟悉 Hadoop 生态系统,具备 Hive、Spark(Spark SQL / DataFrame / Structured Streaming)实战经验;
4.熟悉 SQL,具备复杂查询编写与性能优化能力;
5.了解 Linux 环境,能熟练使用 Shell 脚本进行日常运维;
6.具备良好的工程素养,熟悉 Git、CI/CD、代码规范等开发流程。
加分项:
1.设计并开发高效、稳定、可扩展的大数据处理 pipeline,支持 TB 级数据处理; 2.有 doris(或 Doris、ClickHouse 等 MPP 引擎)使用和调优经验;
岗位职责:具备扎实的 Python 开发能力,并熟悉主流大数据技术栈(如 Hive、Spark、doris 等)。负责数据采集、处理、服务化等全链路开发工作,支撑业务决策、智能分析及数据产品落地。
工作职责:
1.使用 Python 构建数据 ETL/ELT 流程,对接各类数据源(数据库、日志、API 等);
2.基于 Hive、Spark(PySpark/Scala)进行离线/实时数据计算与优化;
3.使用 doris 构建高性能 OLAP 查询服务,支持实时分析与 BI 场景;
4.参与数据仓库建模、指标体系建设及数据质量保障;
5.与风险策略模型和数据开发人员紧密协作,协助数据分析和开发工作;
6.持续优化系统性能、资源利用率与运维效率。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕