1. 数据平台建设:设计和搭建公司大数据平台,保障数据的高效存储和处理。
2. 数据采集:负责数据的采集、清洗、转换和加载,确保数据的准确性和完整性。
3. 数据处理:开发和维护数据处理脚本,实现数据的 ETL 流程和批处理。
4. 数据分析:对业务数据进行分析和挖掘,支持业务团队的数据需求。
5. 优化提升:优化数据处理流程,提高数据处理的效率和稳定性。
任职要求:
教育背景:计算机科学、数据科学、统计学、信息系统等相关专业,本科及以上学历。
专业技能:熟悉 Hadoop 生态系统,包括 HDFS、MapReduce、Hive、HBase、Spark 等;精通 SQL,能熟练编写复杂的查询语句,优化数据库性能;了解 NoSQL 数据库,如 MongoDB、Cassandra 等。
编程能力:熟练使用 Python 或 Java 进行数据处理和脚本开发。数据敏感性:对数据有强烈的敏感度,能够从海量数据中发现问题和机会。
沟通协作:能够理解业务需求,与数据分析师和业务团队紧密合作。