中国设备工程论文文库

中国设备工程论文文库

基于 Hadoop+Spark 民航气象数据分布式存储计算集群的研究与实现

基于 Hadoop+Spark 民航气象数据分布式存储计算集群的研究与实现

时间:2026-09-11 作者:武文斌
【摘要】民航气象数据具有体量大、类型多、实时性要求高等特点,传统存储处理架构面临扩展性差、计算效率低、运维复杂等挑战。本文利用闲置服务器资源,设计并实现了一套基于 Hadoop 和 Spark 的分布式存储计算集群。系统采用 HDFS 实现海量气象数据可靠存储,YARN 进行资源统一调度,Spark 构建并行计算引擎,支持用户提交并发任务。集群创新实现了基于 JMX 的HDFS 实时监控、WebHDFS 代理统一文件访问、快照自动轮转与数据自动归档等关键技术。系统稳定支撑日均 TB 级气象数据存储与处理需求,显著提升了民航气象数据管理效率和服务水平。
关键词:Hadoop;Spark;民航气象;分布式存储;并行计算;集群监控
阅读全文,请下载
 
登录×
 
 
注册×