岗位职责:
1、负责数据仓库的设计和实施、数据建模等工作；
2、根据业务需求，开发数据仓库的脚本；
3、基于Hive平台的数据开发等，会HiveSql脚本（必要条件）；
岗位要求:
1、计算机相关专业，5年以上大数据实施或数据平台搭建经验；
2、掌握工业协议（OPC UA、Modbus）和MQTT/Kafka数据接入；
3、熟悉日志采集工具（Flume/Logstash）、API数据拉取（RESTful/WebSocket）；
4、熟练使用分布式存储（HDFS/HBase）、时序数据库（InfluxDB/TDengine）；
5、了解关系型数据库（MySQL/Oracle）及数据湖（Delta Lake/Iceberg）；
6、精通Spark（PySpark/Scala）或Flink进行批流一体化处理；
7、熟悉ETL工具（DataX/NiFi）和数据清洗（异常值处理、数据对齐）；
8、熟悉Hadoop生态（YARN/Hive/ZooKeeper）和云平台（AWS EMR/Azure HDInsight）；
9、有Cloudera/CDH或华为云FI经验者优先；
10、掌握元数据管理（Atlas）、数据血缘（DataHub）、数据质量监控（Griffin）；
11、熟悉数据安全（脱敏/加密）和GDPR合规要求；
12、能使用BI工具（Tableau/Power BI/Superset）或自定义前端（ECharts/D3.js）；
13、具备项目文档编写能力（需求分析、实施交付手册）；