岗位职责

设计与实现多源接入方案（DB/日志/API/文件/消息），含实时CDC与批量抽取。

建设与维护采集Agent、Connector与调度任务，保障高可用与容错。

制定字段映射、编码规范与数据校验规则，保障数据质量与可追溯。

建设可观测性（指标、日志、链路、告警），持续优化时延与稳定性。

推进元数据登记、数据血缘与数据目录更新，完成数据标准化入湖。

编写与维护接入SOP/Runbook，参与变更评审与安全合规。

专业技能

熟悉Kafka、Flink CDC、Logstash、Flume、Debezium、Sqoop等接入组件。

掌握数据格式与协议（JSON/Avro/Parquet、JDBC/HTTP/FTP/消息队列）。

熟练使用调度与编排（Airflow/DolphinScheduler），具备Shell/Python脚本能力。

了解数据质量校验、重试补偿、幂等控制和Exactly-Once语义。

理解数据湖/仓基础（HDFS/对象存储、分区分桶、Iceberg/Delta）。

具备Linux、网络、证书与访问控制的基础运维能力