论文大数据时代网络爬虫技术在商业银行中应用是关于对写作网络爬虫论文范文与课题研究的大学硕士、相关本科毕业论文python爬虫能做什么论文开题报告范文和相关文献综述及职称论文参考文献资料下载有帮助。
人类社会已经进入大数据时代,传统的信息存储和传播媒介已逐渐为计算机所替代,并呈现出指数增长的趋势,成为21世纪最为重要的经济资源之一.作为掌握大量真实交易数据的商业银行,面对浩如烟海的信息时,如何实现银行内部和外部信息、结构性和非结构性数据的紧密结合,更加准确地识别信息,有效地对信息进行挖掘,将数据价值转化为经济价值,已经成为当前商业银行提升核心竞争力的重要途径之一.网络爬虫技术的快速发展为商业银行提升信息精准获取和有效整合应用能力提供了全新的策略.
网络爬虫技术概述
网络爬虫是Spider（或Robots、Crawler）等词的意译,是一种高效的信息抓取工具,它集成了搜索引擎技术,并通过技术手段进行优化,用以从互联网搜索、抓取并保存任何通过HTML（超文本标记语言）进行标准化的网页信息.其作用机理是：发送请求给互联网特定站点,在建立连接后和该站点交互,获取HTML格式的信息,随后转移到下一个站点,并重复以上流程.通过这种自动化的工作机制,将目标数据保存在本地数据中,以供使用.网络爬虫在访问一个超文本链接时,可以从HTML标签中自动获取指向其他网页的地址信息,因而可以自动实现高效、标准化的信息获取.
随着互联网在人类经济社会中的应用日益广泛,其所涵盖的信息规模呈指数增长,信息的形式和分布具有多样化、全球化特征,传统搜索引擎技术已经无法满足日益精细化、专业化的信息获取和加工需求,正面临着巨大的挑战.网络爬虫自诞生以来,就发展迅猛,并成为信息技术领域的主要研究热点.当前,主流的网络爬虫搜索策略有如下几种.
深度优先搜索策略
早期的爬虫开发采用较多的搜索策略是以深度优先的,即在一个HTML文件中,挑选其中一个超链接标签进行深度搜索,直至遍历这条超链接到最底层时,由逻辑运算判断本层搜索结束,随后退出本层循环,返回上层循环并开始搜索其他的超链接标签,直至初始文件内的超链接被遍历.深度优先搜索策略的优点是可以将一个Web站点的所有信息全部搜索,对嵌套较深的文档集尤其适用；而缺点是在数据结构日益复杂的情况下,站点的纵向层级会无限增加且不同层级之间会出现交叉引用,会发生无限循环的情况,只有强行关闭程序才能退出遍历,而得到的信息由于大量的重复和冗余,质量很难保证.
宽度优先搜索策略
和深度优先搜索策略相对应的是宽度优先搜索策略,其作用机理是从顶层向底层开始循环,先就一级页面中的所有超链接进行搜索,完成一级页面遍历后再开始二级页面的搜索循环,直到底层为止.当某一层中的所有超链接都被选择过,才会基于该层信息检索过程中所获得的下一级超链接（并将其作为种子）开始新的一轮检索,优先处理浅层的链接.这种模式的一个优点是：无论搜索对象的纵向结构层级有多么复杂,都会极大程度上避免死循环；另一个优势则在于,它拥有特定的算法,可以找到两个HTML文件间最短的路径.一般来讲,我们期望爬虫所具有的大多数功能目前均可以采用宽度优先搜索策略较容易的实现,所以它被认为是最优的.但其缺点是：由于大量时间被耗费,宽度优先搜索策略则不太适用于要遍历特定站点和HTML文件深层嵌套的情况.
聚焦搜索策略
和深度优先和宽度优先不同,聚焦搜索策略是根据“匹配优先原则”对数据源进行访问,基于特定的匹配算法,主动选择和需求主题相关的数据文档,并限定优先级,据以指导后续的数据抓取.这类聚焦爬虫针对所访问任何页面中的超链接都会判定一个优先级评分,根据评分情况将该链接插入循环队列,此策略能够帮助爬虫优先跟踪潜在匹配程度更高的页面,直至获取足够数量和质量的目标信息.不难看出,聚焦爬虫搜索策略主要在于优先级评分模型的设计,亦即如何区分链接的价值,不同的评分模型针对同一链接会给出不同的评分,也就直接影响到信息搜集的效率和质量.同样机制下,针对超链接标签的评分模型自然可以扩展到针对HTML页面的评价中,因为每一个网页都是由大量超链接标签所构成的,一般看来,链接价值越高,其所在页面的价值也越高,这就为搜索引擎的搜索专业化和应用广泛化提供了理论和技术支撑.当前,常见的聚焦搜索策略包括基于“巩固学习”和“语境图”两种.
从应用程度来看,当前国内主流搜索平台主要采用的是宽度优先搜索策略,主要是考虑到国内网络系统中信息的纵向价值密度较低,而横向价值密度较高.但是这样会明显地遗漏到一些引用率较小的网络文档,并且宽度优先搜索策略的横向价值富集效应,会导致这些链接量少的信息源被无限制的忽略下去；而在此基础上补充采用线性搜索策略则会缓解这种状况,不断引入更新的数据信息到已有的数据仓库中,通过多轮的价值判断去决定是否继续保存该信息,而不是“简单粗暴”地遗漏下去,将新的信息阻滞在密闭循环之外.
网络爬虫技术发展趋势
近年来,随着网络爬虫技术的持续发展,搜索策略也在不断进行优化.从目前来看,未来网络爬虫的发展主要呈现以下趋势.
网页数据动态化
传统的网络爬虫技术主要局限于对静态页面信息的抓取,模式相对单一,而近年来,随着Web2.0/AJAX等技术成为主流,动态页面由于具有强大的交互能力,成为网络信息传播的主流,并已取代了静态页面成为了主流.AJAX采用了JavaScript驱动的异步（非同步）请求和响应机制,在不经过网页整体刷新的情况下持续进行数据更新,而传统爬虫技术缺乏对JavaScript语义的接口和交互能力,难以触发动态无刷新页面的异步调用机制并解析返回的数据内容,无法保存所需信息.
此外,诸如JQuery等封装了JavaScript的各类前端框架会对DOM结构进行大量调整,甚至网页上的主要动态内容均不必在首次建立请求时就以静态标签的形式从服务器端发送到客户端,而是不断对用户的操作进行回应并通过异步调用的机制动态绘制出来.这种模式一方面极大地优化了用户体验,另一方面很大程度上减轻了服务器的交互负担,但却对习惯了DOM结构（相对不变的静态页面）的爬虫程序提出了巨大挑战.传统爬虫程序主要基于“协议驱动”,而在互联网2.0时代,基于AJAX的动态交互技术环境下,爬虫引擎必须依赖“事件驱动”才有可能获得数据服务器源源不断的数据反馈.而要实现事件驱动,爬虫程序必须解决三项技术问题：第一,JavaScript的交互分析和解释；第二,DOM事件的处理和解释分发；第三,动态DOM内容语义的抽取.
总结:关于免费网络爬虫论文范文在这里免费下载与阅读,为您的网络爬虫相关论文写作提供资料。
参考文献：
1、 大数据时代网络空间安全问题 【 摘 要 】 随着社会经济的发展，信息科学技术也在不断发展，并促进了互联网行业的繁荣，人们进入了大数据时代。大数据时代在为人们带来一定便利的同。
2、 大数据时代网络安全问题与 摘要：随着互联网技术的快速发展，人类已经进入了大数据时代。大数据的应用在给人们的工作、生活带来方便、快捷的同时，也面临了一系列的安全隐患，如个人。
3、 大数据时代信息获取技术 摘要：自人类经过两次工业革命的洗礼以后，解放和提高生产力已经成为科技不断进步追求的重要目标。二十一世纪以来信息技术的不断升级，计算量和计算能力的。
4、 大数据时代网络信息资源利用 [摘要]随着我国信息化建设不断深入，网络信息资源作为信息资源的一种，早已成为了重要的战略资源。文章阐述了大数据时代下网络信息资源的特征，结合网络。
5、 论大数据时代网络版权保护刑法治理 【摘 要】 大数据时代，侵犯网络版权犯罪不断发生，呈现犯罪主体广泛，犯罪客体形式多样； 犯罪手段多样，危害性严重；犯罪目的不明确等特点。刑法在侵。
6、 大数据时代网络隐私基本概念的分析和比较 摘 要 随着大数据时代的到来，网络隐私逐渐得到发展。但是对网络隐私定义的研究非常薄弱。它与传统的隐私权和现代信息的隐私权有关。大量隐私的泄露使得。