岗位职责：

1.负责数据的采集、清洗、处理与建模工作，构建高效、可扩展的数据处理流程。

2.设计并实现离线与实时数据管道，满足模型训练、评估与推理的多样化数据需求。

3.对接内部系统和外部数据源，统一数据接口和标准，提升数据获取与管理效率。

4.搭建数据质量监控机制，保障数据的准确性、一致性和可用性，及时处理异常数据问题。

5.与算法工程师、产品经理等团队协作，支持特征工程、标签体系构建与训练数据优化。

6.关注数据平台与工具的技术演进，持续优化数据架构和工程效率。

任职要求：

1.熟练掌握至少一种主流编程语言（如Python、Java或Scala）。

2.熟悉常见数据处理流程，掌握数据清洗、转换、合并、去重等常规操作，理解批处理与流处理的差异与适用场景。

3.具备使用Airflow、DataX、AWS Glue、Flink等工具构建数据流程的经验，理解任务依赖、调度策略与异常容错机制。

4.熟悉关系型数据库（MySQL、PostgreSQL）与大数据查询系统（Hive、Presto、ClickHouse），具备优秀的SQL编写与调优能力。

5.了解Hadoop、Spark、Flink等分布式计算框架，有实际数据处理任务经验者优先。

6.具备数据建模和数据仓库设计能力，能够根据业务需求建立合理的数据结构与指标体系。

7.具备基本的Linux使用和脚本开发能力，了解常见云平台（如阿里云、AWS）中数据相关产品的使用。