责任描述:
1、负责大数据平台的整体架构设计,确保系统的高性能、高可用性和可扩展性。2、制定技术路线图,规划云端数据中台的技术演进方向。
3、评估和选择适合的大数据技术栈(如Hadoop、Spark、Flink、Kafka等)。
4、设计和实现数据采集、存储、处理和分析的解决方案。
5、设计数据治理策略,确保数据质量、安全性和合规性。
6、优化数据存储和计算性能,解决高并发、高负载场景下的技术问题
任职要求:
1、精通大数据技术栈(如Hadoop、Spark、Flink、Kafka等)。
2、精通数据仓库和数据湖架构设计,了解相关技术(如Hive、HBase、Iceberg等)
3、精通主流数据库(如MySL、PostgreS0L、0racle等),具备SQL优化经验。
4、精通消息队列(如Kafka、RabbitMQ等)和缓存技术(如Redis、Memcached等)