论文海量卫星遥感数据实时存储和交换技术设计和实现是关于对写作卫星遥感论文范文与课题研究的大学硕士、相关本科毕业论文卫星遥感论文开题报告范文和相关文献综述及职称论文参考文献资料下载有帮助。
摘 要：随着人类对地观测卫星系统的发展,卫星遥感数据量爆炸性增长.海量的遥感数据对当今存储系统存储容量、数据可用性以及I/O性能等方面提出了越来越高的要求.针对需要持久化存储与高速交换的数据,该文设计并实现了一种基于共享文件系统和文件编目消息推送的海量卫星数据实时存储与交换方法.实验测试表明,该方法针对海量卫星遥感数据的实时存储与交换取得了很好的效果.
关键词：海量；遥感数据；消息推送；实时存储；实时存储与交换
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）18-0009-05
1绪论
随着人类对地卫星观测系统的发展,遥感数据逐步呈现多源、多尺度、多时相、全球覆盖和高分辨率特征,数据量呈爆炸性增长,数据存储规模达到TB级甚至PB级,IDC预计,到2020年全球数据量将达到40ZB.如何更加有序、更加高效地存储与管理海量遥感数据,实现遥感信息的快速共享与分发,已经成为空间信息科学领域研究部门、业务应用部门和相关机构重点关心的问题.
同时,气象灾害实时监测预报、天基遥感信息实时侦察监视、军事情报数据实时挖掘等业务应用对海量卫星遥感数据的实时分析和处理提出了更高的要求.上述实时分析处理业务在实现对海量卫星数据高效存储的同时,更需要在多个处理节点间实现海量卫星数据的实时共享和更新.针对此问题,不但需要利用存储系统在存储容量、数据可用性以及I/O性能等方面提供支持,更亟需对海量卫星遥感数据高速实时存储和数据交换机制展开研究.因此,针对需要持久化存储与高速交换的数据,本文拟基于共享文件系统和消息中间件,研究海量卫星数据实时存储与交换机制.
1.1问题背景及分析
在实际业务应用中,卫星7×24小时不断向地面下传数据,地面数据处理系统也必须7×24小时处于实时工作状态.地面数据处理系统接收卫星下传数据后,经过一系列预处理与分析,将接收到的流式数据切分成若干不同大小的小文件,以方便进行数据分析和处理.为了实现对海量、高速、持续卫星数据流的存储管理,并保证卫星数据处理关键业务可重现,以及数据可查、可审计,需要对海量卫星数据进行实时存储.
同时,在卫星遥感数据实时处理业务流程中,当数据生成节点（包括Linux节点和Windows节点）将各种卫星数据高速存入共享文件系统之后,其他数据处理节点（Linux节点和Win-dows节点）和前端业务综合显示节点（Windows工作站）往往需要求对最新写入的数据文件进行实时查询和数据读取操作.对于跨平台进程间的数据传输,直接通过传统的TCP/IP方式进行传输显然由于应用的特殊性以及带宽的限制不能达到很好的效果.所以要求设计一套服务,能够满足跨平台的文件交换,能够进行多类型数据的分发和交换,满足数据处理低延迟要求.海量卫星数据实时存储与交换流程如图1所示.
1.2服务具备特点
海量卫星实时数据存储服务是所有需要进行数据高速写人的实时处理业务应用的基础支撑,为此实时数据存储服务需要具备以下特点：
1）海量数据存储管理能力.随着卫星平台、卫星载荷能力的增长,地面数据分析处理系统每日需要处理的数据量日益庞大,数据量呈TR级增长,如何高效合理的组织如此大量的数据并能为后期提供可靠的数据查询服务,这对数据存储管理能力提出了很高的要求.
2）7×24小时持续运行能力.卫星遥感数据流7×24小时无间断下传,这要求数据实时存储服务需要时刻处于高负荷工作状态；同时,需要面对存储过程中可能出现的数据量突发波峰的状况.这对实时数据存储服务的可用性提出了非常高的要求,需要具备7×24小时不间断、高可靠运行的能力.
3）数据存储低延迟要求.数据实时存储服务需要为数据分析和处理业务提供商性能的数据写人和读取服务,以满足数据写入的低延迟要求.
4）海量小文件快速写入能力.地面数据分析处理系统生成的各级数据产品中包含海量小文件（大小从几百KB至几兆字节不等）,而典型的共享文件系统在应对海量小文件持续写人方面性能低下,所以需要针对海量小文件的持续写人进行优化设计.
5）快速的消息分发能力.数据实时存储与交换系统需要实时的在数据存储端与数据读取端进行数据交换,并且有一定的时延要求.即数据写入节点在完成数据写入之后,需要将数据的文件编目信息和写入完成标志及时通知数据读取节点；同时,数据文件编目信息往往需要在多个数据读取节点之间进行共享,以保证数据的一致性,所以需要使用具备发布/订阅机制的消息中间件实现数据文件编目信息的实时共享和更新.
2海量卫星遥感数据实时存储与交换设计
2.1数据存储模式设计
1）数据存储模式选择
存储系统的存储模式影响着整个海量数据存储系统的性能,为了提供高性能的数据存储能力,应该考虑选择良好的海量数据存储模式.适合海量数据的理想存储模式应该能够提供高性能、可伸缩、跨平台、安全的数据共享能力.为此选择了网络附加存储（NAS）的网络附加存储产品作为目标存储容器.
2）数据库存储选择
数据库管理系統（DBMS）是数据实时存储系统的元数据管理的核心组成.Oracle在数据高性能存储检索领域应用广泛,海量数据实时存储的元数据管理采用Oracle数据库实现.
3）数据写入方式设计
分布式文件系统对于大文件的数据访问操作有较好的支持,能够提供GB级的数据写人带宽和数据读取带宽；但是对于海量小文件的读写支持相对受限.因此,针对海量小文件存储,本文通过多线程、多任务以及分布式文件系统的高带宽来提升海量小文件的写入速度.
4）数据实时存储模块实现形态设计
API（Application Programming Interface,应用程序编程接口）是一类预先定义的函数,可以为上层应用程序提供标准的调用方法和接口,上层应用程序以透明方式对API进行访问.因此,数据实时存储实现形态拟采用API方式进行实现,从而满足地面数据实时分析与处理业务对数据存储的时效性要求.
总结:本论文为免费优秀的关于卫星遥感论文范文资料，可用于相关论文写作参考。
参考文献：
1、 基于遥感数据黄河口湿地变化 摘要：基于1992-2015年12期黄河口地区Landsat TM ETM数据，解译并分析了黄河口湿地的变化情况，以期为进一步识别湿地变化原因和。
2、 可信第三方平台下的云平台数据安全存储 1 引言公有云和私有云是当前的两种重要的云服务模式，公有云具有成本低、效能高等特点，尤其在解决中小企业信息化难题的过程中发挥了重要作用，然而公。
3、 海量教育资源加密压缩存储系统设计 摘 要： 传统存储系统存在存储速率低、性能差，无法做到资源快速共享与获取，为此，提出海量教育资源加密压缩存储系统设计。综合考虑存储系统整个架构与。
4、 一种面向医疗大数据云存储容灾平台和实现 摘 要：为了有效保证医疗大数据的可靠性，本文针对医疗工作中的实际情况，设计开发一个基于RS纠删码的云存储容灾系统，在Hadoop平台架构上实现了。
5、 用卫星遥感观察看不见大气 近年来，雾霾、PM2 5等名词越来越为国内外的人们所熟悉。这也意味着大气污染问题日益严峻并且国际化的趋势日益明显。“区域污染物总量数据能帮助掌握。
6、 卫星遥感在城乡规划建设监测中效益 【摘要】卫星遥感技术的应用，显著提升了广东省城乡规划建设动态监测的生产力，提高了业务水平。本文分析了卫星遥感技术在城乡规划建设动态监测中所创造的。