论文大数据时代的数据挖掘技术分析是关于对不知道怎么写数据挖掘论文范文课题研究的大学硕士、相关本科毕业论文数据挖掘论文开题报告范文和文献综述及职称论文的作为参考文献资料下载。
摘 要：本文通过对大数据的发展、算法分析以及平台设计进行探究,对大数据平台的应用进行了展望,力求为智能化技术的发展提供创新的思路.
关键词：大数据；人工智能；算法设计
DOI：10.16640/j.cnki.37-1222/t.2017.13.133
1 大数据的发展概述
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合.大数据包括海量的数据信息与高强度的数据处理能力,对于传统的数据处理系统来说,大数据处理有着相当多的优势,可以对于大型复杂的数据模块进行高效地分析,包括数据的收集、分析、共享与传输等.大数据可以采用预测的方式进行分析,在用户分析后进行数据提取,将其价值体现出来.
数据集分析可以发现新的联系与信息.科学家在电子科学工作中遇到了很多需要处理海量数据的问题,涉及气象学、基因组学、复杂物理模拟、生物学和环境研究等.
2 大数据技术中的算法分析
2.1 神经网络算法
神经网络系统是由众多的神经元可调的连接权值连接而成,具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点.神经网络是一种计算方法,基于神经单元的大集合,解决由轴突连接的生物神经元的大群集的问题. 每个神经单元与许多其他神经单元连接,并且可以对所连接的神经单元的激活状态影响中实施抑制.每个单独的神经单元可以具有将所有其输入的值组合在一起的求和功能.在每个连接和单元本身上可以存在阈值函数或限制函数,使得信号在传播到其他神经元之前必须超过极限.神经网络已被用于解决使用普通的基于规则的编程难以解决的各种各样的任务,如智能化学习.历史上,神经网络模型的使用向高级人工智能的方向移动,其特征在于包含在具有一些动力系统的认知模型的参数中的知识.
2.2 灰色关联度分析
灰色关联分析方法,是根据因素之间发展趋势的相似或相异程度,来进行归纳和评价,作为衡量因素间关联程度的一种方法.灰色关联度分析使用特定的信息概念.它定义没有信息为黑色的情况以及具有完美信息为白色的情况,这些理想化的情况都不会出现在现实世界的问题中.事实上,这些过渡阶段的情况被描述为灰色.因此,灰色系统意味着其中部分信息是已知的并且部分信息是未知的系统.根据这个定义,信息质量形成从信息的缺乏到完整信息的存在过渡过程.由于不确定性总是存在,灰色分析可以得出一系列关于解决方案的清晰陈述.在一个极端情况下,这种方案无解,在另一个极端情况下,具有完美信息的系统具有独特的解决方案.在中间情况中,灰色系统将给出各种优化的解决方案.灰色分析试图找到最好的解决方案,提供了确定一个好的解决方案的技术来解决现实世界的问题.
3 大数据平台的设计
3.1 平台层
大数据分布式存储系统可以对大规模的结构数据进行存储,通过大型的的存储与管理技术,实现对于数据的高效处理,这个数量级大部分时候在PB级以上,这样才能让科研活动更加合理地进行开展.
3.2 功能层
功能层采用扩展算法进行数据挖掘,采用TB级的数据进行模型建立,实现云计算与分布调度处理,利用负载的均衡技术,使得分布处理能力提升,从而实现高效数据处理.
3.3 服务层
采用基于WEB与Open API的大数据挖掘处理技术,从大数据的环境分析入手,加强端口的管理与流程的优化,从而实现端口的智能配置与数据交换,让大数据的共享变得科学合理简洁.服务层属于高级别管理层次,因此应当加强对输入输出的合理控制,使其可以实现大数据的高效交换.
4 大数据算法的应用分析
4.1 数据挖掘
数据挖掘是发现大数据数据规律的计算过程,涉及人工智能、机器学习、统计和数据库系统结合的方法,它是一个跨学科的计算机科学子领域.数据挖掘過程的总体目标是从数据集中提取信息并将其转换为可以理解的结构以供进一步使用.除了原始数据分析外,它涉及数据库和数据管理方面、数据预处理、模型和推理、复杂性考虑、结构整合处理、可视化和在线更新.数据挖掘是数据库信息分析的过程.目标是从大量数据中提取模式和信息,而不是数据本身的提取.数据挖掘是一个热门的领域,并且经常应用于各种形式的大规模数据或信息处理,主要包括收集、提取、存储、分析和统计以及计算机决策支持系统的应用,包括人工智能、机器学习和商业智能.这些模式然后可以被视为输入数据的一种分类方法,并且可以用于在机器学习和预测分析进一步分析.
4.2 机器学习
机器学习是计算机科学的子领域,它使计算机能够学习而不用明确编程.从模式识别和计算学习理论在人工智能的研究演变而来,机器学习探索学习对数据进行预测算法的研究和构建,这样的算法克服了严格的静态程序指令数据驱动的预测或决策,通过从样本输入来建立一个模型.机器学习在一系列计算任务中使用,比如垃圾邮件过滤、检测网络入侵者或恶意内部人员、光学字符识别、搜索引擎和计算机视觉,这些方面都没有明确的算法表示.机器学习与数学优化有着紧密的联系,它将方法、理论和应用领域传递到现场.机器学习有时与数据挖掘相结合,后者的子领域更侧重于探索性数据分析.
5 总结与展望
大数据技术算法的创新是一条光明而曲折的路,在这条路上会出现很多难题与挑战,这个任务长期而又艰巨,需要结合实际经验,不断地进行总结归纳.为实现自身的长远发展而进行大胆革新,利用创新思维进行现代化建设,从而大踏步地走向智能化的大数据发展目标.
参考文献：
[1]陈晓,赵晶玲.大数据处理中混合型聚类算法的研究与实现[J]. 信息网络安全,2015（04）.
[2]文坤,廖瑛,杨雅君.带有空间机械臂的航天器系统惯性参数辨识[J].飞行器测控学报,2015（04）.
[3]黄冬梅,杜艳玲,贺琪.云存储中海洋大数据迁移算法的研究[J]. 计算机研究与发展,2014（01）.
作者简介：金伟（1989-）,男,安徽六安人,研究生,助教.
总结:该文是关于数据挖掘论文范文，为你的论文写作提供相关论文资料参考。
参考文献：
1、 基于数据挖掘技术的输电工程造价预测模型的建立和实现 摘 要： 针对目前输电工程造价技术指标过多，影响因素比较复杂，导致输电工程造价估算困难，设计概算审查难以达到理想效果的问题。建立基于数据挖掘技术。
2、 数据挖掘技术在高职专业基础课程改革中应用 【摘 要】本文对高职专业基础课程的改革进行了论述，针对目前专业基础课程实施中的困难，将数据挖掘技术引入课程的教育教学改革中，分析专业基础课程与专。
3、 文本和数据挖掘技术（TDM）和著作权保护 摘 要：生活在一个信息化的“大数据”时代下的我们，习惯性得使用互联网包括关键词搜索、资料搜集、数据库检索、馆藏电子图书阅读等基于文本和数据挖掘技。
4、 数据挖掘技术在绩效考核中应用其作用 摘要：本文主要通过数据预处理、评价指标体系、人力资源管理对数据挖掘技术和绩效考核进行了概述，并介绍了决策树分类算法C4 5算法在绩效考核中的应用。
5、 数据挖掘技术在档案管理中应用 [摘 要]信息技术快速发展，数据挖掘技术的出现使信息管理逐渐实现智能化、信息化。数据挖掘技术在档案管理中也发挥着至关重要的作用，其能够使档案管理。
6、 数据挖掘技术在电网资产管理系统中应用 [摘 要] 电网资产管理贯穿了供电企业的诸多生产业务范围，其覆盖范围广、体系种类庞杂、数量庞大等特点。在电网资产信息化管理建设进程中，针对电网“。