主要工作职责:
1.设计和构建电商数据仓库,整合多源业务数据;
2.开发实时和批量数据管道,确保数据及时更新;
3.负责数据清洗、预处理和特征工程,实现文本向量化,构建和维护向量数据库;
4.保障数据质量和数据安全,优化数据处理性能,支持大规模数据计算;
5.完成领导交办的其他工作。
任职要求:
1.大学本科及以上学历;
2.计算机科学、软件工程、数据科学、统计学、信息管理或相关专业;
3.3年以上数据开发经验,主导或深度参与过数据仓库/数据平台的建设,有电商行业数据中台、数仓建设经验者优先;
4.有处理多源、异构数据的经验,并构建过稳定、可靠的批流一体数据管道;
5.拥有从零开始参与设计和搭建数据仓库的实际经验,熟悉维度建模和数据分层;
6.具备成熟的SQL开发能力,熟悉至少一种消息队列(如Kafka) 在数据管道中的应用;
7.拥有通过API、日志、数据库等多种方式抽取和集成数据的经验,且直接为AI/机器学习项目提供过数据支撑,具备文本数据处理和向量化经验;
8.有较强的数据敏感、逻辑严谨性、耐心与专注力;优秀的问题解决和技术攻关能力;强大的逻辑推理与根因分析能力;有产品与业务意识,责任心和自驱力强和,拥有良好的沟通协作与团队精神;
9.精通办公软件,熟练使用SQL、Python、Java等语言。