1.数据采集与处理：设计并实现数据采集方案，能运用爬虫技术从公开网络数据源（如行业网站、社交媒体平台等）合规采集数据，同时从多种数据源（如业务系统、日志文件、API 接口、物联网设备等）高效采集数据；对采集到的原始数据进行清洗、转换、集成等处理，去除冗余、错误数据，将数据转化为符合业务需求的格式，为数据分析和挖掘提供高质量的数据支持。
负责数据采集与治理相关工作，确保数据质量和准确性;
2.数据管道开发与优化：开发、部署和维护数据 ETL（抽取、转换、加载）管道，实现数据的自动化流转与处理；结合 RPA 技术优化数据管道中涉及的人工操作环节，提高管道运行的自动化程度；持续监控数据管道的运行状态，及时发现并解决数据传输过程中的问题，优化数据处理效率，提升数据管道的稳定性和可靠性。
3.数据质量管控：建立健全的数据质量管控体系，制定数据质量标准和评估指标；通过数据校验、监控、预警等手段，对数据质量进行全方位管理，及时发现数据质量问题并推动解决，确保数据的准确性、及时性和有效性。