【岗位职责】
1. 多类型数据源对接：负责对接 API 接口（第三方开放平台、业务系统接口）、服务器日志（Nginx/ELK 等）、关系型 / 非关系型数据库（MySQL、MongoDB、HBase 等）、IoT 设备（传感器、智能硬件）及爬虫（合规场景下网页 / APP 数据采集），完成数据源调研、协议适配与接入落地；
2. 采集脚本与工具开发：基于 Python/Java/Go 等语言开发采集脚本，或配置开源采集工具（如 DataX、Flume、Airbyte、Apache NiFi），实现数据定时 / 实时采集，确保采集逻辑高效、可复用；
3。 采集异常处理与优化：监控采集链路运行状态，快速排查并解决采集中断、数据丢失、格式异常、接口限流等问题；定期分析采集性能（如延迟、成功率），优化采集策略（如增量采集、断点续传、并发控制），提升数据采集稳定性与效率；
4. 文档与协作：编写数据源对接文档、采集脚本说明文档，配合数据清洗、数仓团队同步采集数据格式与进度，确保数据流转顺畅。
【岗位要求】
1. 学历与经验：本科及以上学历，计算机、大数据、软件工程等相关专业；1-3 年数据采集相关工作经验，有多类型数据源（尤其是 IoT 设备、复杂 API、合规爬虫）对接经验者优先；
2. 技术能力：
熟练掌握至少一种编程语言（Python 优先，或 Java/Go），能独立开发采集脚本；
3.熟悉常见数据传输协议（HTTP/HTTPS、MQTT、TCP/IP 等），了解 API 接口认证（Token、OAuth2.0 等）与参数调试；
4. 了解开源采集工具（DataX、Flume、Airbyte 等）的使用与配置，有分布式采集系统经验者加分；
5. 具备基础的数据库操作能力（SQL 查询、数据导出），了解日志解析、数据格式转换（JSON/CSV/Parquet 等）逻辑；
【岗位福利】
1. 有竞争力的薪资体系：固定薪资 + 绩效奖金 + 年终分红，根据能力与贡献提供年度调薪机会，确保付出与回报匹配；
2. 全方位成长支持：提供大数据领域前沿技术培训（如 Flink 进阶、数仓架构设计等），配备资深技术导师一对一指导，支持参加行业技术峰会与认证考试（费用公司承担）；
3. 完善的基础保障：缴纳五险一金、带薪病假、节日福利（春节 / 中秋等节日礼金）；
4. 舒适的工作环境：办公区配备休闲区（咖啡 / 茶 / 零食无限供应）、健身房，定期组织团队建设活动（如技术分享会、户外团建、年度旅游）；
5. 技术驱动的工作氛围：鼓励创新尝试，支持利用 AI 工具优化工作流程，团队内部无繁琐流程，专注技术落地与价值创造。
【其他】
1. 软技能：具备较强的问题排查能力，能快速定位并解决采集过程中的异常；工作严谨负责，有良好的沟通协作能力与文档编写习惯；
2. 拥抱AI： 我们鼓励团队中使用AI 开发工作流和工具，来提升工作效率，如TRAE，chatGPT Gemini Claud
【薪资待遇】：15-25k
【工作时间】：早九晚六，双休
【办公地点】：杭州崇贤创新创业园区9楼