论文支持通信数据查询分析的分布式计算系统是关于对写作分布式计算论文范文与课题研究的大学硕士、相关本科毕业论文分布式计算论文开题报告范文和相关文献综述及职称论文参考文献资料下载有帮助。
摘 要：本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型；然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台；最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.
关键词：通信数据管理；分布式系统；内存计算；实时数据处理
中图分类号：TP301.4文献标识码：ADOI：10.3969/j.issn.10005641.2014.05.008
收稿日期：201406
基金项目：国家自然科学基金（61103039）；国家自然科学基金重点项目（61232002）；武汉大学重点实验室开放基金（SKLSE20120916）
通信作者：张蓉,女,副教授,硕士生导师,研究方向为Web数库原理.Email： rzhang@sei.ecnu.edu.cn.Distributed computing system for communication data managementCHAO Pingfu1,ZHENG Zhiling1,FANG Junhua1,ZHANG Rong1,2
（1. Software Engineering Institute, East China Normal University, Shanghai200062, China；
2. Institute for Data Science and Engineering, East China Normal University, Shanghai200062, China）
Abstract：In this article, a communication data management platform based on an open sourced resource on clustered system which has the requirement for inmemory data computing is introduced, in order to support realtime processing as well as online queries under the massive data volume efficiently. In particular, we firstly give a brief analysis on popular distributed and inmemory techniques, provide candidate techniques and test for choosing the approprate ones for our task. Then, we design and implement an online communication data processing and query platform. Finally, we use inmemory techniques to optimize our platform performance. The experimental results indicate that the inmemory distributed computing system not only outperforms the diskbased system in both query response time and realtime processing speed, but also improves on resource utilization and data throughput.
Key words：communication data management；distributed system；inmemory computation； realtime data processing
0引言
在信息时代,信息通信与人们的生活密不可分.随着移动通信终端的普及和移动智能设备的发展,移动通信领域不再仅限于远距离通话以及信息通讯等基础业务,还包括互联网访问、智能导航、在线视频会议等一批新兴应用,响应这些应用需要高效的实时数据处理的数据管理平台的支持.
第5期晁平复,等：支持通信数据查询分析的分布式计算系统华东师范大学学报（自然科学版）2014年传统的移动通信过程其本质是为基于远程无线通信网络或有线网络的信号建立数据传输的过程.在通信请求发起以及数据传输的过程中,通信数据需要经过多个无线基站或有线中转站的接收与转发.为了防止数据丢包以及通信掉话等异常情况发生,每个基站会在数据传输的过程中输出大量的监测日志数据.移动运营商通过对日志记录的实时分析可以及时捕获通话异常并分析异常原因,实现对移动网络的故障监控.同时,深入分析与挖掘日志数据,能够获取通信网络中的热点区域、热点用户以及故障集中区域,可以协助优化通信服务质量.目前通信数据管理平台通常需要支持以下几个功能.
（1） 基于计算的存储：支持多源海量数据依据数据集成、计算等数据处理操作,支持海量数据的实时存储.
（2） 高效离线分析、挖掘：提供针对已存储历史数据的离线分析、数据挖掘的能力.
（3） 实时查询：支持用户在线故障查询等实时查询业务.
（4） 基于业务的数据存储自适应：支持容量的横向扩展以及业务功能的快速以适应业务扩展需要.
总结:本论文主要论述了分布式计算论文范文相关的参考文献,对您的论文写作有参考作用。
参考文献：
1、 面向智慧旅游大数据计算系统 摘要：现如今经济技术不断发展，我们已经步入大数据时代。如何做好数据提取和运用，成为现在科研的重点。本文通过结合旅游业的发展特点，以大数据的发展背。
2、 基于移动通信数据的流动人口统计中的Hive优化 摘 要：针对电信大数据在流动人口统计中的处理需求，采用Intel?Hadoop发行版，设计Hive数据仓库并进行优化，重点对性能影响较大的joi。
3、 基于大数据长输管道分布式阴极保护系统 摘 要： 针对传统牺牲阳极的阴极保护系统采用人工定期采集得到电位，需要消耗大量人力财力，且对阴极保护效果不明显的问题，设计基于大数据的长输管道分。
4、 MVC模式下多层分布式软件系统架构设计 摘 要： 为了解决传统基于模式的软件系统架构设计存在复用力度弱以及系统代价高的弊端，设计MVC模式下多层分布式软件系统架构，在分析MVC模式结构。
5、 黑盒子分布式计算框架 摘 要：本文针对电子工程领域中黑盒子优化分析问题，提出一个基于River技术的动态面向服务优化计算框架（DSOCF），旨在分布式并行计算黑盒子，。
6、 基于PVsyst的分布式光伏系统仿真 【摘 要】 随着世界工业化进程的快速发展，能源紧缺与环境污染问题日益突显。本文在分析了光伏发电产业及相关控制技术现状的基础上，综合对比传统的并网。