主要责任

数据采集与整合:

· 根据业务需求，从开放数据平台、第三方公开接口、授权网站等合规公开数据源采集所需业务数据，构建企业外部数据资源库；

· 设计和实现从多种内部系统（ERP、CRM、电商平台、第三方API、日志系统等）采集、清洗和加载（ETL/ELT）数据的流程与管道；

· 构建和维护数据仓库/数据湖，支持公司各部门的数据需求。

数据治理与质量保障：

· 制定并执行数据标准、数据质量监控与修正机制，确保关键数据的准确性、完整性与一致性；

· 定期对各系统中的业务数据以及系统日志、安全日志进行审查与核对，发现并解决异常数据问题。

数据分析与挖掘:

· 为内部及外部数据进行建模、统计分析和数据挖掘，支持决策制定与业务优化；

· 基于Superset、PowerBI等BI工具搭建可视化仪表盘和数据分析报表，为销售、采购、财务、运营等团队提供数据支持。

系统优化与协作支持：

· 持续优化数据处理性能与架构，提升数据管道的可扩展性和可靠性；

· 与各部门协作，理解业务逻辑，推动数据驱动的工作方式。

AI支持：

· 为公司AI模型与智能化应用提供数据支持，包括数据标注、数据清洗、特征工程、样本构建与数据接口开发。

其他:

完成上级交办的其他任务。

资质要求

1）个人背景

· 本科及以上学历，计算机、数据科学、信息系统、统计等相关专业优先；

· 5 年以上 IT 行业工作经验（优秀者可放宽）；

· 有数据工程/数据开发/数据采集相关工作经验者优先考虑。

2）技术能力

· 熟练掌握Python、SQL等数据处理语言；

· 熟悉常用的ETL/ELT框架与调度工具（如Airflow、Luigi、Prefect等）；

熟悉关系型数据库（MySQL、PostgreSQL等）与非关系型数据库（MongoDB、Redis等），以及· OpenSearch/ElasticSearch搜索引擎；

· 具备数据仓库、数据建模、数据治理等相关经验；

· 熟悉API调用，网页结构化解析等合规数据采集技术；

· 有使用Superset、Power BI等BI可视化工具的经验；

· 熟悉ERP、CRM、电商平台等业务系统的数据结构者优先。

3）综合能力

· 逻辑思维与数据敏感度强，能够快速理解和抽象业务逻辑；

· 良好的问题分析与解决能力，能独立完成数据采集、清洗、建模、分析全流程；

· 具备良好的沟通能力和团队合作精神，能与业务部门高效协作；

· 有数据合规意识，了解数据安全与个人信息保护相关法规；

有较强责任心与主动性，愿意持续学习新技术，不断有意识的提升公司所需的能力