大数据云计算的理解精选(九篇)

第1篇：大数据云计算的理解范文

【 关键词 】 云计算；虚拟化；海量数据；存储；管理；服务

【 中图分类号 】 TP393 【 文献标识码 】 A

1 引言

随着互联网的发展，人们对网络的需求越来越多，网络提供给人们的服务也越丰富，而这些网络服务需要海量数据的存储和强大计算能力来满足日益增长的业务需求，云计算的理念就这样应运而生，它是直接产生于企业计算、互联网领域，它更关心如何扩展系统、如何方便IT管理。

2 云计算的概念

云计算是一种动态的易扩展的且通常是通过互联网提供虚拟化资源的计算方式，用户使用相关资源时不需要了解云内部的细节，也不必具有云内部的专业知识。云计算的概念可以从狭义和广义两个方面来看。狭义云计算是一种IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源（包括硬件、平台和软件），提供资源的网络就是“云”，“云”中的资源在使用者看来是可以无限扩展，并且可以随时获取，按需使用，随时扩展，按使用付费，这种特性被人们形象地称为像使用水电一样使用IT基础设施。广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务，这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。

3 云计算的体系结构

云计算的基本原理是利用非本地或远程服务器（集群）的分布式计算机为互联网用户提供服务（计算、存储、软硬件等服务），这使得用户可以将资源切换到需要的应用上，根据需求访问计算机和存储系统的资源。云计算的体系结构如图1所示。

云端用户是提供云用户请求服务的交互界面，也是用户使用云的入口；服务目录是云用户在取得相应权限后可以选择或定制的服务列表；管理系统是提供对用户、资源管理和服务；部署工具是对资源进行智能调度、使用、配置和回收等；资源监控是监控和计量云系统资源的使用情况；服务器集群是虚拟的或物理的服务器，由管理系统管理负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法、采用并行方式上传和下载大容量数据。

4 云计算中的关键技术

按需部署是云计算的核心，要解决按需部署，必须解决资源的动态可重构、监控和自动化部署等，而这些又需要以虚拟化、高性能存储、高效数据处理、高速互联网等技术为基础。所以云计算除了需要仔细研究其体系结构外，还要特别注意研究资源的动态可重构、自动化部署、资源监控、虚拟化、海量数据存储、海量数据管理、编程模式及云平台管理等关键技术。

4.1 虚拟化技术

虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行，它可以扩展硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统等多个方面；通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式；虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等；在云计算实现中，计算系统虚拟化是一切建立在“云”上的服务与应用的基础；虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。

4.2 分布式海量数据存储技术

云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储方式存储数据，用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。冗余的方式通过任务分解和集群，用低配机器替代超级计算机的性能来保证低成本，这种方式保证分布式数据的高可用、高可靠和经济性，云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

4.3 海量数据管理技术

云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据；计算系统中的数据管理技术主要是Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块HBase；由于云数据存储管理形式不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题，同时由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来，目前一些研究在关注为云数据管理提供RDBMS和SQL的接口，如基于Hadoop 子项目HBase和Hive等。另外，在云数据管理方面，如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。

4.4 编程方式

云计算提供了分布式的计算模式，客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map―Reduce，Map―Reduce是一种编程模型和任务调度模型，主要用于数据集的并行运算和并行任务的调度处理，在该模式下，用户只需要自行编写Map函数和Reduce函数即可进行并行计算，其中Map 函数中定义各节点上的分块数据的处理方法，而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。

4.5 云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战，云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

5 结束语

云计算真正实现了按需计算，从而有效地提高了对软硬件资源的利用效率，云计算的出现使高性并行计算不再是科学家和专业人士的专利，普通的用户也能通过云计算享受高性能并行计算所带来的便利，使人人都有机会使用并行机，从而大大提高了工作效率和计算资源的利用率，云计算模式中用户不需要了解服务器在哪里，不用关心内部如何运作，通过高速互联网就可以透明地使用各种资源。

参考文献

[1] 王佳隽，吕智慧，吴杰等.云计算技术发展分析及其应用探讨[J].计算机工程与设计，2010（20）：4404-4408.

[2] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.

[3] 王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013，36（6）：1125-1138.

[4] 张新玲，张东，曹玲玲等.云计算虚拟化平台性能研究[J].软件导刊，2013（11）：1-3.

[5] 吴华芹.基于云计算背景下的数据存储技术[J].计算机光盘软件与应用，2013（7）：28-29.

[6] 宗平，周明.云计算中的数据安全存储和加密模型的设计[J].计算机技术与发展，2013（10）：137-140.

基金项目：

甘肃省教育科学“十二五”规划课题（GS[2013]GHB1097）。

第2篇：大数据云计算的理解范文

关键词 云计算；网络安全；信息安全

中图分类号：TP391 文献标识码：A 文章编号：1671-7597（2014）05-0100-01

2006年，谷歌CEO施密特在搜索引擎大会上首次提出了“云计算”的概念。云计算是分布式计算、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。云计算的出现，可能彻底改变传统的用户以桌面PC为核心的使用习惯，而转移到以WEB为中心，使用网络中提供的处理、存储服务。本文对“云计算”是什么，能做什么，安全性如何以及如何保证安全等问题进行探讨。

1 云计算的概念

云计算，是一种基于Internet的计算方式，通过这种方式，共享的软硬件资源和信息可以按照需求提供给用户使用。所谓的“云”，是指分布在Internet中形形的计算中心，具有超级强大的数据处理能力和近乎无限的存储空间。通过利用“云”，用户不再需要购买高性能的硬件或各种功能的软件，只需将所需的服务通过网络提交给“云”来执行，再通过网络来获得所需的结果。这样既大大提高了用户数据处理的效率，又为用户节省了各种软硬件成本。

大概总结起来，云计算具有以下优点。

1）从理论上为用户提供了无限多的存储空间和无限强大的数据处理能力。

2）为普通用户提供了更加安全可靠的数据存储中心。

3）部署简单、配置方便，通过网络不同计算机程度的用户都能轻松访问、使用。

4）采用虚拟化集群技术，具有高可靠性，不会由于用户设备故障导致正在处理的任务中断。

5）对用户终端设备要求很低，用户不必再配备齐全的软硬件环境。

6）可以轻松实现用户不同设备间的数据共享。

2 云计算的安全

云计算作为一种新兴技术，受到各大IT企业的一致追捧，几乎所有的人都认为云计算将是计算机信息技术发展的必然趋势。云计算的确具有这样那样的优势，为用户节省了成本，提供了方便，提高了效率，但是云计算又由于其特殊的构建方式带来了一系列安全问题也开始被用户日渐重视起来。

本文从云计算的信息和网络两个方面的安全问题进行阐述。

2.1 云计算的信息安全

云计算信息安全问题归根结底就是用户数据的安全问题，用户一旦开始使用云计算，数据的处理和存放都在“云”中，而不再受自己控制。那么用户首先就应该了解使用云计算以后自己的数据将面临哪些安全风险。

1）黑客攻击。自从进入互联网时代，“黑客”就已经是互联网用户无比头疼的问题。在云计算时代，所有用户的数据都存放在云计算服务商那里，一旦服务商的数据中心受到黑客攻击就会导致成千上万用户的数据损失。

2）数据存放位置。由于云计算的特性，用户只知道自己的数据存放在网络中，但是具体是哪里甚至是哪个国家，用户无法获知，即使云计算服务商也未必能马上回答这个问题。那么用户的数据是否受到了法律法规的保护，是否遵循了隐私协议也就无从谈起。

3）数据的备份恢复。云计算服务商的数据中心长期存放大量用户的数据，数据中心是否为这些数据配置了完整的备份恢复策略，是否进行过灾难恢复演练，用户难以得到保证。因为一旦由于某些原因导致用户数据丢失，如果缺乏相应的手段恢复数据，将造成服务商和用户都无法承受的损失。

4）数据的长期可靠性。用户数据都在云计算服务商那里，那么服务商的重要性不言而喻。理想情况下，服务商不会破产或被收购，但是如果发生此类状况，服务商能否保证用户的数据不受影响，用户能及时取回自己的数据并再次使用。

2.2 云计算的网络安全

云计算的基础就是网络（互联网），所有云计算服务都是通过网络来实现，那么网络是否安全直接关系到云计算能否给予用户足够的安全保障。

1）数据网络通信。当数据从用户端传输至云端或从云端至用户端，传输过程需要经过互联网――这一不可控区域。互联网服务是由运营商所提供，云计算服务商对此无能为力，可能出现的一个情况就是，由于互联网中断导致用户无法及时获得服务。而数据在互联网的传输过程中，只要不是采用专门链路的加密传输，对于黑客来说就是透明的。用户数据就面临被监听、篡改、窃取的风险。

2）身份认证。在用户端，在用户未能妥善保管自己的认证信息的时候，攻击者就可能通过盗取用户合法的认证信息从而造成用户数据的损失。在云端，云计算服务商为了保证用户的合法访问必然设有用户认证服务器，如果缺乏有效的保护手段，攻击者可以通过入侵认证服务器窃取用户认证信息，从而导致用户数据受到损失。

3 云计算安全问题的解决

从上文中，可以看出云计算的安全风险始终围绕着三个因素：云计算服务商、用户以及用户数据。那么云计算的安全也应该是从这三方面着手进行解决。

云计算服务商：用户在使用云计算之前，应该先了解有哪些厂商提供了较为成熟的云计算解决方案，它们的云计算服务的侧重点在哪里，同时它们的安全机制怎么样，能不能保证自己的数据安全可靠，会不会出现在需要的时候无法提供服务的情况。也就是说，云计算服务商需要提供较高程度的可用性、可靠性和安全性保障。

用户：用户首先应当清楚自己对云计算的需求是什么，是否有必要使用云计算，只有这样才能找到合适自己的云计算服务商。开始使用云计算之后，也要清楚不是任何问题都可以扔给服务商去解决，应该积极的与服务商沟通合作，共同完成自己数据的安全保证。

用户数据：用户应该清楚云计算是通过互联网（公有云）实现的，在互联网上就没有绝对的安全。通过妥善保管自己的用户账户信息，最好是能够以生物特征（例如指纹、虹膜等）作为辅助，同时对数据加密，就可以很大程度上降低用户数据在传输过程和存放在数据中心时泄露的风险。

4 总结

任何计算机安全问题，当然就包括云计算的安全问题，都需要通过技术与管理两方面结合才能将风险降低到可以接受的范围。从技术上讲，合适的云计算服务商足够提供满足需求的安全技术保障。但在管理上，除了服务商本身的管理制度外，还需要政府制定相关的法律法规进行约束。而就我国目前的情况来看，对于云计算这一新兴事物，法律法规方面还存在很大的欠缺，因此云计算要蓬勃发展还有一段相当长的路要走。

参考文献

第3篇：大数据云计算的理解范文

摘 要： 随着计算机网络技术的快速发展以及相关知识的普及，在市场经济的影响下，用户的数据安全问题已经成为当前网络数据传输以及存储的重要问题之一。“云计算”是近年来应用比较广泛的技术之一，其在应用过程的用户数据安全问题也成为了人们关注的热点。因此，对该问题的研究工作既具有理论价值，又具有重要的实际应用价值。首先对云计算的相关概念进行介绍，然后，对影响云计算用户数据传输和存储的安全问题进行分析，最后，介绍目前一些先进的解决措施。

 

关键词： 云计算； 用户数据； 传输与存储； 数据安全； 存储安全

中图分类号： TN964?34 文献标识码： A 文章编号： 1004?373X（2013）20?0024?03

近年来，作为一种新的计算模式，“云计算”已经成为计算机网络领域广泛关注的热点。其将计算机作为一种效能工具、将软件作为服务模式，利用用户端的性能提升整体计算能力的同时，还加快了系统的计算速度以及灵活度，并实现了低成本、高效率的发展目标[1]。这无疑是为计算机领域带来了一次新的革命。然而，在充分利用其强大的计算功能时，人们也发现了一些系统漏洞和安全问题，例如：用户数据传输与存储的安全问题等。本文对这些问题的影响因素进行分析，并介绍一些先进的应对措施。 

 

1 “云计算”相关概念

云计算（Cloud Computing）是一种基于因特网的计算技术[2]。在云计算的过程中，主要是依靠与本地计算机相连接的其他网内计算机进行运算和存储，既是利用全体网络用户的计算功能解决用户的运算与存储需求。这种软硬件资源共享的计算模式，能够为广大的使用用户提供超出个人能力千万倍的运算服务，而需求用户的使用成本却是相对微弱的多。该技术是网络时代对实现低成本、高效率、资源共享等目标的又一有效途径[3]。

 

2 云计算用户数据安全问题

目前，云计算发展过程中，需要解决很多关键性问题，其中安全问题就是其中之一。并且，随着云计算系统的不断发展，这种问题的严重性呈现出了上升趋势。如果不能有效地加以解决，很可能为云计算的发展带来严重的不良影响，甚至导致系统的“崩溃”。Gartner 2009年云计算调查显示[4]，超过三分之二的被采访企业都认为云计算的主要问题在于用户数据传输和存储等过程中存在安全隐患。具体表现为：

 

（1）用户只要在对云计算充分信任的情况下，才能将自身拥有的各类数据上传到网络中。因此，对于云计算系统的可靠性、稳定性非常重视。

（2）进入系统的用户数据必须保存在完整、高可靠性的存储设备中，并具有高水平的突发事件应多措施，以确保数据完好，所以，对系统的容错性、纠错性等能力要求很高。

（3）确保用户数据完整性的同时，还应该注重数据的安全性。

（4）当数据传输到云端时，必须确保有完善的管理机制进行管理，否则，一旦失去控制，将会造成重大损失。

（5）用户在云计算中所有操作都属于个人隐私，因此，系统在对用户数据进行文件检索、资料处理等程序中，应该提高数据的隐私性，保护用户的权利不被侵犯。

从上面几条安全问题可以发现，主要包括了两方面内容：用户数据信息避免泄露，造成不必要的损失；在用户需求某方面信息时，能够准确、高效的获取。从这两点上来看，系统在安全方面的主要工作就是确保用户数据传输以及存储安全。一般情况下，用户端都会存有一定量的私密数据，例如：银行账户、密码或者私人信件、照片等。在云计算模式中，用户端数据需要传送到系统的服务商中进行数据处理，这就涉及到了下面这几个问题：如何保证用户数据在传输的过程中不被其他人盗取；如何确保服务商得知用户数据时不“监守自盗”；如何在进行数据存储时，确认用户是合法的数据访问者，并保证用户对自己的数据资源拥有随时访问权。

 

3 云计算环境下数据传输存储安全策略

为了更好的确保用户数据在传输与存储过程中的信息安全，目前很多研究者采取了为数据加密的方式确保数据安全。在设计过程中，储存在云中的任何用户数据对于用户来讲都是安全的，对于需要保密的其他用户，这些数据表现出来的是无序化信息状态，其具体内容根本无法获知。下面本文从数据加密的安全性以及处理性能方面对如何实现高性能、高可靠性的数据存储方式，以实现在这种存储方式下，用户数据的传输与存储安全。

 

目前，国内比较常见的数据加密算法主要是对称加密以及非对称加密两种类型[5?6]。相对于非对称加密，对称加密的研究工作比较成熟，并具有加密和解密速度快等优势，在大数据量的传输过程中被广泛应用。但是，在这种加密方法中，数据传输双方的加密和解密密码相同，导致其存在一定的安全隐患。而非对称加密则是将原来相同的密钥分成加密钥和解密钥，这种方式能够有效的确保数据的安全性，并且，建立的密钥体系灵活多样。但是，相对来讲，计算量以及复杂度增加巨大，导致系统的负担较重。加密机制的可靠性主要取决于解密的难度，包括对称密钥加密体制和非对称密钥加密体制，非对称密钥的安全性较高，但加密解密的速度较慢。由于对称加密算法存在采用同一密钥而带来密钥管理困难的固有问题，而且使用成本较高，在分布式网络系统上使用较为困难；非称加密算法因运算量大，而不适用于大数据量的加密和解密。因而本文提出了采用对称加密与非对称加密结合的思路来解决云计算中数据安全存储的问题。

 

3.1 加密处理

当对用户数据开始加密时，用户端需要从密钥库中将接收到的用户数据相对应加密算法公钥提出出来。在加密过程中，生成的对称密钥是在一定的加密算法密钥生成器中随机产生的，其中包括了校检信息的密钥，然后，将这一密钥进行非对称加密。最后，将加密用户信息与包含密钥的密文一同存储在系统的云端。将上述过程重复操作，直到最后一个加密处理过的数据包发送到云端，这一加密过程方算完成。

在实现用户数据加密过程当中，对于那些拥有巨大数据量的用户数据在进行对称加密的同时，还应该对其中的对称加密算法的密钥再进行一次非对称加密，并将密文数据与密钥储存在云存储中心，这样做用户就可以只对非对称加密算法和解密密钥进行保存，而不需要对用户数据进行存储，大量减少了用户数据存储所占用的存储空间，降低了存储成本以及传输成本[7?9]。同时，用户也不会再出现密钥管理困难等问题。

 

第4篇：大数据云计算的理解范文

关键词：云计算；电子商务；安全；对策

全球信息化的发展为云计算技术带来了全新的发展之路，云计算技术现已广泛运用于各大行业，而随着电子商务时代的来临，云计算技术更是成为了各大行业商务经济管理中不可缺少的部分，云计算的出现降低了电子商务系统的运营和管理，并且为其提供了更为便捷的数据存储空间。在云计算技术发展迅速的当下，如何让其为电子商务的系统建设与管理提供更大的便利、带去更高的安全性能等也成为了云计算技术亟待解决的重大问题。

一、云计算

在信息化社会浪潮的推动下，云计算功能也随着应运而生，云计算的研发与应用无疑为人们的日常生活带去了极大的便利，作为新时代下的信息技术产业，云计算不仅推动了计算机技术行业的发展，同时也给电子商务的发展带去了新的变化，就云计算技术在电子商务中的应用范围而言，云计算为不同的系统在一个大规模的系统环境下进行相互的服务，在云计算系统中的所有系统都是通过互联网的方式进行相互协作，用户在进行数据提取时只要根据需求就能够自动获取匹配的资源服务。

云计算通过网络为不同的用户提供服务并适当收取相应费用，云计算服务商则在总系统资源库中进行资源的计算和管理，用户可在系统中进行自由的资源分配或者通过端口获取资源库中的相应服务。云计算中所包含的资源繁杂，主要包括网络、虚拟机、存储与处理等的，其在电子商务界的运用无疑能够有效、快捷实现商务资源的共享与存储，为电子商务的发展带去方便。

二、“云计算”环境下电子商务安全

（一）数据存储安全隐患

在电子商务中，保证数据的安全性是最为重要的，云计算环境下的电子商务数据存储由于在空间中进行大量的高度整合，容易使数据在存储过程中产生安全隐患。云计算环境下的数据安全保障性能主要有对数据进行隔离存储、对数据进行灾难修复等，但由于用户在使用过程中并不能够对数据存储位置进行确切的了解，云计算环境下的电子商务数据所产生的安全隐患也通常是由数据传输隔离、数据故障处理等情况引起。

（二）数据传输安全隐患

企业在通过云计算功能传输内部数据时，主要通过云计算服务商来进行资料的终端接收与处理。按常理而言，企业内部资料集私密数据都由云计算下的相关存储空间进行存储，这些企业数据中心主要执行两大任务，一是保证企业数据在传输过程中的安全性，对于企业数据的传输进行严格筛选并对其进行接收存储，防止数据外泄。二是为企业进行数据查询提供便利，满足企业对于数据访问的要求。

（三） 客户终端安全隐患

大多数企业的数据传输通道主要是浏览器，在传输过程中，浏览器很可能由于性能不稳定而存在大量漏洞，且就现阶段浏览器管理和防护措施而言，浏览器在相关技术相对薄弱的情况下很容易受到恶意软件及病毒的攻击，造成浏览器漏洞，浏览器一旦产生漏洞，客户终端的企业在使用浏览器进行私密数据传输时就很有可能受到漏洞的影响，导致客户端数据被侵入，其数据的安全性得不到保障。

三、“云计算”环境下电子商务安全的对策

（一）云服务商层面上的安全对策

如果云服务商所提供的信息安全部署无法保证客户信息安全的话，客户公司则难以在市场获得稳固的位置，因此，为了满足云计算客户的信息安全部署要求，云服务商就需要对信息的存储和访问加强安全管理，如进行文件加密传输和文件数据相互隔离等方法，通过加强各端口之间的数据隐私安全来保证用户信息的安全性。云电子商务服务商以相关客户的要求为基准，使用Multi-ten-ancy、物理隔离和虚拟化等方案进行数据隔离。

（二）电子商务企业层面上的安全对策

（1）合理选择云计算提供商

企业在对自身数据进行定位与预计后，要确保选择技术过硬、具有健全信息安全保障系统的云计算服务商来进行企业数据的传输和管理。在选择云计算提供商时除了要考虑系统的安全性与操作性外也好考虑到系统的可用性。不同的企业对于云计算系统的要求也不一样，小型电子商务企业主要运用云计算端口实现资源共享，大的电子商务企业则需要选择对于私密文件处理具有良好保障性能的云计算服务。

（2）数据加密处理

在进行数据传输前，电子商务企业应在数据中心内部进行统一加密处理，以确保文件防止数据在传输过程中被窃取后泄露私密文件，在进行加密处理后，即使文件被窃取也不会被查看，有效保障了数据的安全，而存储在云计算数据系统中心的加密数据则拥有着极高的安全性，无论客户端的设备是否出现问题，都无法获取云计算中心的数据，实现有效的安全管理。

（3）实时监控数据

云监控平台为电子商务企业提供相应的实时监控服务，在服务器出现问题时，云监控系统和云计算平台则通过数据的分析将事故报告通过邮件或短信的形式告知相应的网站管理人员，实时保护网站安全。除此之外，云监控系统在获取故障信息后还可根据信息判断网站运行速度，时刻保障电子商务企业在云计算系统中对于数据管理的硬功，极大提高数据管理的安全性。

四、结语

云计算作为信息时代下新技术，已经逐渐成为了人们日常生活和工作中不可或缺的部分，在云计算技术发展的同时，我们也看到了其在运用过程中所出现的一些问题，特别是在电子商务行业的运用，云计算为电子商务数据所进行的传输与存储过程中所带来的安全问题也亟待解决，但只要合理解决“云计算”环境下的电子商务安全问题，其对于电子商务企业的发展就一定能够起到极大的推动作用。（作者单位：新余学院数学与计算机科学学院）

参考文献：

第5篇：大数据云计算的理解范文

关键词:云计算技术;海量;数据挖掘;模型;效率

前言

最近几年，信息技术的不断发展，使得目前三季度产生的数据量是以前几百年的总和，且处于持续增长的状态。尽管激增的数据量扩展了人们的信息范围，然而无形中也提高了企业或个人从大量数据中挖掘出有价值信息的困难程度。针对该问题，基于云计算的大量数据挖掘技术实现了资源配置和利用的优化，具有虚拟性、实用性等特征，符合数据挖掘快速、准确的要求。由此可见，将云计算技术应用于数据挖掘是目前提高数据利用效率的有效方式。基于此，本文提出的以云计算为基础的海量数据挖掘模型，旨在提供给各企业快速有效的数据挖掘服务，从而减少生产成本和提升生产效率。

1云计算技术

1.1基本概念

至今为止，关于云计算的定义尚未有统一标准，维基百科上关于云计算的介绍如下:云计算是通过网络提供给用户相关服务的新计算模式，主要提供可动态变化的虚拟资源，无需用户掌握基本支持设施的应用和管理。也就是说，云计算是一种新商机，借助价格低、可连接的计算机联网进行任务处理，为各系统提供数据存储、运算或其他功能。就技术面而言，云计算技术起步较早，是虚拟技术的拓展、分布计算技术的发展，是资源统一管理和智能控制的重要表现。和传统计算机技术相比，云计算技术推动了观念创新和方法改进。就商业角度而言，云计算技术的应用目标是提供服务，用户产生需求时会主动购买和应用，适应企业发展和系统升级。通常来讲，云计算技术发展衍生出三种商业契机，包括服务即平台、服务即架构和服务即软件三种。图1所示是云计算商业模式逻辑图。

1.2基于云计算技术的并行运算模型

为了实现对海量数据的并行处理，谷歌公司开发出Ma-pReduce，是一个分布并行运算架构或模型。某个MapReduce可分解成多个Reduce和Map任务，其会将海量数据分解成多个单独运算的Map任务，同时配发到对应计算机进行运算处理，生成一定格式的中间数据，最后由相关Reduce任务对其进行合并反馈运算结果。谷歌公司关于云计算技术的研发比较成功，其五大主要技术有分布式文件系统、大容量分布式数据库、分布式锁机制、集群管理和MapReduce。基于上述主要技术，云计算方能提供大量数据挖掘服务和运算系统。总而言之，云计算平台会将大量数据分解成统一规格的数据模块，并分布存储在云端服务器中，之后通过MapReduce并行运算模型进行数据处理，其是谷歌公司在网络搜索引擎方面的重大突破。尽管通过MapReduce并行运算模型可进行海量数据处理，然而其要求数据结构相同、运算过程简单。关于数据挖掘这类密集型的数据处理技术，可能涉及迭代、近似求解等复杂算法，运算过程比较困难。在这种情况下，以云计算技术为基础的大量数据挖掘受到IT行业的重视，是社会热点问题之一。

2基于云计算技术的海量数据挖掘

2.1数据挖掘

所谓的数据挖掘，是发现数据库中有价值信息的过程，即从大量数据中挖掘出有价值或有意义的信息。就企业角度而言，数据挖掘的目的是从大量数据中发现有利于企业经营管理的信息，而且数据量越大，信息准确性越高。一般而言，海量数据挖掘对网络环境和应用条件要求较高，而云计算技术的应用有效提高了数据挖掘效率。基于云计算的资源管理系统可存储大量数据，并结合数据挖掘要求来合理配发网络资源，提高数据挖掘算法的延伸性，且具有一定的容错性，提高了数据挖掘的可靠性和安全性。

2.2云计算技术在数据挖掘中的应用优势

(1)基于云计算技术的数据挖掘可进行分布式并行处理，提高了数据挖掘的实时性和有效性。并且适合各种规模的企业，降低了中小企业数据应用成本，减少大型企对特殊数据应用软件和设备的依赖性;(2)以云计算技术为基础的海量数据挖掘更便捷、更快速，用户层被隐藏起来了，不需要用户进行数据分类、数据分配和任务控制等操作;(3)云计算实现了数据挖掘的并行处理，可提升传统设备的海量数据处理能力，增加了多个控制节点，具有一定的容错性;(4)以云计算为基础的数据挖掘实现了数据应用技术的共享，满足了不同类型用户的数据挖掘需要。

2.3基于云计算技术的海量数据挖掘模型

云计算技术在海量数据挖掘中的应用体现在云计算提供了并行处理能力和大容量存储能力，有效解决了当前海量数据挖掘的难点。图2所示是关于基于云计算技术的海量数据挖掘模型的结构图。据图，以云计算技术为基础的海量数据挖掘模型包括云服务层、数据运算层和用户层三层。云服务层是最基层，负责存储海量数据和提供分布并行数据处理功能。云计算环境除了要保证数据的实用性之外，还要确保数据的安全可靠性。关于数据的存储，云计算采取分布存储形式，提供了数据副本冗余存储功能，确保在数据遗失等情况下用户的正常运转。当前，比较普遍的云计算数据存储技术有开源的HDFS和非开源的GFS两种。除此之外，云计算数据挖掘实现了数据的并行处理，可在多用户发出指令的情况下，及时回复并提供数据挖掘服务。图2基于云计算技术的海量数据挖掘模型的架构图第二层是数据挖掘运算层，主要负责数据的预处理和挖掘算法的并行处理。数据预处理是对大量无规则的数据进行预先整理，基于云计算的MapReduce并行运算模型只适合同一结构的数据挖掘，常见的数据预处理方法有数据转化、数据分类、数据抽调、数据约束等。对数据进行预处理是提升数据挖掘质量的重要保障，使海量数据挖掘更实时、更快速。用户层是最顶层，直接面向用户，主要负责接收用户请求，同时将数据传递到下一层，并且将数据挖掘的运算结果反馈给用户。除此之外，用户还可通过可视化界面来监督和控制任务进度，并实时查看任务执行结果。基于云计算技术的数据挖掘的流程是:用户在输入模块中发出数据挖掘指令，并传递给系统服务器，服务器自动根据用户的挖掘指令在数据库中调出数据，同时在算法库中调出最优的挖掘算法，对数据进行预处理之后，传递到MapReduce运算模块进行深入数据挖掘，最后将挖掘结果反馈到可视化界面，以便用户查看和了解。

2.4云计算技术应用于数据挖掘的缺陷和应对措施

云计算技术尚处于发展阶段，势必会存在诸多问题或缺陷，以云计算为基础的数据挖掘也存在如下问题:(1)用户需求问题。以云计算技术为基础的数据挖掘势必会成为一种新服务形式，用户需求也会更多样化、个性化;(2)数据容量问题。就数据容量而言，未来可能要处理TB甚至PB容量以上的数据，同时还包括噪音数据、动态数据和高维数据等，某种程度增加了数据挖掘的难度;(3)算法选择问题。数据挖掘效果受算法是否最优和是否并行化等影响显著，算法设计、参数设置等都对数据挖掘结果有直接作用;(4)不确定性问题。数据挖掘过程中不确定因素较多，比如任务需求描述不准确、数据采集和预处理不确定、算法选择不确定等。针对上述问题，可从以下几点入手加强云计算技术在海量数据挖掘中的应用:(1)基本设施的构建。要结合用户具体的个性化要求，同时考虑各行各业的特点，建立合适的云计算数据挖掘系统;(2)虚拟技术为云计算在数据挖掘中的应用提供了重要保障，未来要加强虚拟技术的研发，并推动其成果的最大限度应用，可有效控制网络资源的配发和控制;(3)关于各种云计算产品的研发，要充分结合社会具体需要，引导大众积极参与，从而提高数据挖掘的多样化和个性化;(4)就可信度而言，设计和应用的算法要具备一定的通用性，满足后续调查和检验的要求;(5)关于数据安全性方面，不可用传统加密方式来保证数据安全，而要结合用户的具体需要，在客户端通过合适的加密方式来保证数据安全性。

3结语

第6篇：大数据云计算的理解范文

关键词：云计算；石油物探；IaaS；PaaS；SaaS

中图分类号：TP333

1 云计算

云计算是计算机系统的一种网络应用模式。

云计算是在网格计算、分布式计算、并行计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物，特别是个人计算机性能极大提升后，微机集群推动了计算机在更广泛的行业应用，原来依托大型超级计算机进行的计算机应用能够在微机集群上处理。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。

云计算的三个服务模式――IaaS、PaaS、SaaS：

（1）IaaS（Infrastructure as a Service）：基础设施即服务，也就是将计算机硬件资源通过高可用技术、负载均衡技术、资源管理技术等构成高可靠性的资源池，消费者通过网络可以获得计算机基础设施服务。

（2）PaaS（Platform as a Service）：平台即服务，也就是建立一个面向应用的软件研发平台，将此软件研发平台作为一种服务，提交给用户使用。PaaS需要IaaS提供计算机基础设施服务作支撑。

（3）SaaS（Software as a Service）：软件即服务，也就是将计算机软件资源通过网络，消费者通过网络获得计算机软件服务，用户无需购买软件，而是向提供商租用基于Web的软件。SaaS也需要IaaS提供计算机基础设施服务作支撑。

2 油田物探业

油田物探（地球物理勘探）是通过物理测量的方法认识地下的结构和物性的过程，包括重力勘探、磁力勘探、电法勘探和地震勘探。其中，地震勘探技术利用地震反射波的地质特征和意义确定井位寻找石油，是应用最广泛、技术最全面的，包括地震数据采集、地震资料处理、地震资料解释等方面。

地震数据采集是利用地震采集系统获取地震反射波数据；地震资料处理是对地震采集数据做各种处理提高反射波数据的信噪比、分辨率和保真度，从计算机应用角度，地震资料处理应用主要属于高性能计算应用，需要大量计算机计算资源，地震资料处理作业既有I/O密集型，也有CPU密集型；地震资料解释分为构造解释、地层解释，岩性和烃类检测解释及综合解释，是利用地震反射波的地质特征和意义确定井位寻找石油，地震资料解释应用主要属于交互处理应用。

3 油田勘探云计算方案设计

油田勘探云计算方案分三层：基础设施层、软件平台与数据中心层、应用层，以及自动化云管理和企业门户，共六部分。

3.1 企业门户

企业门户提供了应用软件用户、软件开发用户、企业云管理用户对应用层的访问界面。应用软件用户通过应用门户访问应用层的应用软件系统，进行各种生产工作；软件开发用户通过开发门户访问应用层的开发管理系统，进行各种软件开发工作；云计算管理用户通过管理门户访问应用层的云计算管理系统，进行云计算系统的监控与管理工作。

企业门户对非SaaS的商业软件进行包装，提供软件硬件资源申请、访问、应用等服务功能，以实现SaaS的应用模式，主要功能如下。

（1）资源：对在系统中的应用软件资源进行管理，包括建立、编辑、查询，信息存入资源信息表，根据应用软件资源类型的不同（交互式应用和批处理应用）其对应可用的计算机硬件资源。在系统中只有将资源通过资源管理页面出来后，才能将这些资源授权给系统用户使用。

（2）资源授权：资源审批流程是对用户从应用软件申请使用、授权审批、到获得使用权限整个管理过程，包括申请、审核、授权、环境配置、可使用的软件模块数量、可使用的硬件资源限额、用户的优先级别。

（3）权限管理：权限管理是对通过资源审批流程的用户使用资源全过程的跟踪，权限管理在用户获得的可使用的软件模块数量、可使用的硬件资源限额范围内，根据用户的优先级别给用户分配相应的软硬件资源。

（4）记账：记账是对用户使用的应用软件资源、硬件资源情况进行记录。

（5）作业监控：作业监控的主要功能是对当前运行的作业进行实时监控，可以记录查询当前所有用户何时何地开始运行的何类应用软件，管理员可以在许可证不足的情况下，对那些长期占用许可的作业会话进行挂起，结束的操作，释放出许可，并可以对用户使用情况进行统计。

（6）协同工作：协同工作的主要功能是实现异地多个研究人员可以同时使用同一软件，共同进行同一项目任务，同时相互间可以看到对方的操作，协作完成同一工作。可以提供专家协同工作和专家技术指导等功能。

（7）远程桌面与远程显示服务：远程桌面与远程显示服务是实现非SaaS商业软件云计算应用的一条重要实现途径。远程显示系统由远程接入显示服务器、业务应用服务器、远程用户组成。

（8）资源监视：资源监视是对用于商业应用软件的软硬件资源运行情况进行监控。

（9）数据采集：数据采集是对用于商业应用软件的软硬件资源运行情况进行采集，实现了对资源区域中的应用服务器的系统状态（如CPU、I/O、内存利用率）、软件许可证、作业运行情况等信息的采集，用于资源监视、系统管理、负载平衡、数据统计等工作。

3.2 应用层

应用层不仅给企业用户提供应用软件服务，还提供软件开发的各种管理和支持服务，以及云计算系统的管理服务。

应用软件服务主要包括：地震资料处理、地震资料解释、油藏综合地球物理等石油勘探应用业务。应用软件服务包括自主知识产权的应用和商业应用软件。自主知识产权的应用是通过软件平台开发的基于SaaS的应用软件，不需要企业门户层进行云计算支持与包装，而商业应用软件都是非SaaS的应用软件，需要企业门户层进行云计算支持与包装。

管理服务主要是为系统管理员提供云计算系统管理服务，主要包括：云计算管理服务台、SLM（服务等级管理）、版本管理、变更管理、策略管理、容量管理、用户管理、事故与问题管理、以及云计算系统的监控等。

3.3 自动化云管理

自动化云管理主要实现云计算系统的自动管理，包括对基础设施层、平台层、应用层的管理，同时系统管理员可以通过应用层的管理服务对自动化云管理进行策略调整、监控、事故处理、容量管理、SLM（服务等级管理）、以及新应用的部署等工作。自动化云管理分安全性管理和一般资源管理两部分，安全性管理主要包括：用户的身份验证及权限管理、数据保护、以及系统日志；一般资源管理主要包括：系统事件处理、系统配置管理、系统的自动扩容、资源与作业管理、负载管理、记账、系统的自动部署等工作。

3.4 软件平台

（1）软件平台。软件平台层分为业务逻辑层、中间件层和核心服务层。核心服务层主要提供图形显示引擎、数据管理引擎、模块开发引擎和通讯管理引擎等基础服务。中间件层主要包括图形显示、数据管理、模块开发和作业管理等中间件，图形显示中间件主要完成各种数据显示图形的绘制与输出，例如坐标、层位，变面积，模型三维显示等，并为交互工具提供图形显示功能。数据管理中间件层主要提供各种数据的解析、读写、数据库操作等功能，每一个中间件都能够提供某一类数据的相关操作。模块开发中间件主要完成参数界面自动生成、参数卡传递和模块管理等功能。作业管理中间件主要完成工作流脚本的解析与生成和模块的调用等功能。业务逻辑层主要实现各种地球物理综合勘探业务功能，主要包括常规处理、地震成像、速度分析、速度建模、3DVSP处理、多波处理、井间地震、二维解释、三维解释和属性反演等业务逻辑。

业务逻辑层将为应用层提供各种业务逻辑和云计算服务，中间件层将为软件开发管理提供各种中间件、为云管理提供各类分析报表，核心服务层将为虚拟资源池的资源提供操作系统集成服务。

（2）软件开发管理。软件开发管理是对软件开发全过程的项目管理，主要包括：软件开发过程管理、需求管理、设计管理、文档与源码管理、变更与缺陷管理、集成与测试管理、管理等。通过软件开发管理工具，用户可以根据需要向软件平台层添加各种新的业务逻辑和各种中间件，丰富软件平台的云计算处理功能。软件开发管理工具和软件平台的业务逻辑层共同为云计算应用层提供地球物理云计算服务和软件开发云计算服务，并通过门户层实现对外开放的云计算综合勘探云计算平台。

3.5 数据中心

数据中心为应用层的应用软件提供数据服务，数据服务包括：为应用软件提供原始数据、保存应用软件的成果数据。数据中心不负责应用软件中间成果的保存，应用软件的中间成果有应用软件自己管理。

数据中心还提供数据加载功能，可以将外部数据通过自动或人工方式加载到数据中心。

建立统一的地震数据管理模型，支持地震处理、解释和综合研究，实现数据加载、数据索引、数据转换、数据抽取、数据备份、数据查找和质量检控等功能。

（1）地震数据模型设计：分析研究地球物理业务类型、地震处理业务流程、勘探开发数据库管理机制和异构环境下地震资料海量数据存储特点，确定地震数据分类方法，定义方便、灵活的数据字典，建立统一数据模型，支持地震处理、解释和综合研究。

（2）海量地震数据管理：依据海量数据的高效存储方案和数据关联模式，利用多级索引机制和数据分块抽取算法，实现海量数据的快速抽取功能。实现多工区几何关系算法、数据抽取算法，实现跨工区地震测线的抽取、拼接和共享。

（3）以工区为核心的数据管理：建立以以工区为核心的数据管理、流程管理和处理作业管理体系，跟踪记录工区内的一切活动，包括：数据的创建、修改和访问，处理流程的创建、编辑和管理功能，能够一次提交多个作业，通过参数和作业的运行情况控制作业的运行。

3.6 基础设施层

基础设施层给平台层提供高可靠性的资源，包括物理资源池和虚拟资源池。物理资源池为高性能计算提供资源；虚拟资源池主要为其他应用提供资源。

物理计算机资源（包括集群、服务器、网络、存储等）由自动化云管理动态的分为两部分，一部分直接安装linux操作系统，在此基础上集成高可靠性、负载均衡、灾难恢复系统，形成物理资源池，为地震资料处理应用、油藏地球物理应用等高性能计算提供资源；另一部分通过VMWare进行虚拟化，形成虚拟资源池，由自动化云动态管理，根据需求，安装linux操作系统或Windows操作系统，分别提供给地震资料解释、软件平台、软件开发、软件开发项目管理、数据中心等应用提供资源。

油田勘探云计算方案是在油田勘探领域云计算的具体实现，通过IaaS作支撑，PaaS与SaaS有机结合，实现了以集中部署、统一管理、共享协作的计算机资源为基础的石油勘探专业应用云计算平台，可为石化企业用户提供地震数据处理、地震资料解释等勘探技术应用服务，满足石化石油勘探业务需求。

参考文献：

[1]陈康，郑纬民.云计算系统实例与研究现状[J].Journal of Software，V01.20，No.5，May，2009：1337-1348.

[2]郑湃，崔立真，王海洋，徐猛.云计算环境下面向数据密集型应用的数据布局策略与方法[J].计算机学报，2010，8.

第7篇：大数据云计算的理解范文

关键词： 云计算；云安全；安全保障

云计算利用网络为用户提供硬件和软件方面的服务和应用，开始受到越来越多的关注，一定程度上来讲，云计算是未来网络、计算机服务的主导者。云计算服务是将传统企业的人、事、物全部都搬迁至互联网上面，立志在互联网上打造出一种虚拟化、高效化、安全化的互联网企业模式，以此来形成一种传统模式与互联网模式互相结合的服务平台。

1 云计算的基本原理和特点

云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算在基于互联网的大众参与的计算模式下，以服务的方式利用互联网上某些节点强大的计算资源（包括计算能力、存储能力和交互能力等），将这些资源变成可被广大用户使用的动态可伸缩的虚拟化资源。简单来说就是藉由Internet，把数据处理交由网络进行，由数据中心处理终端的数据，通过数据中心向不同设备的用户提供数据服务。

云计算有如下特点：超大规模的分布式环境——面向大众用户的多样化应用，一个云计算中心的服务器可以超过百万台，如Google云计算服务器；虚拟化——通过计算机的计算能力，提供虚拟服务，一个终端就可以实现需要的一切；高性能高可靠性——通过集群协作，快速处理大量搜索等，且具有数据多副本容错、计算节点同构可互换的特性；通用可扩展——动态伸缩规模，满足各方面需求；按需服务，资源共享——云计算强调用户主导、按需服务、即用即付、各用户协同；终端要求低、廉价——廉价服务器构成众多节点，设备要求低、成本低。

2 云安全问题

云安全问题一直是研究热点，云计算的可控性、可靠性和安全性的缺失，会给用户造成极大的损失。很多计算机安全技术虽然为大众所认可，但仍然免不了安全漏洞、病毒侵害、恶意攻击及信息泄露等安全问题。目前，基于X.509标准的PKI与PMI体系进行数字加密的技术、TLS/SSL技术，动态密码技术，各种防病毒、防钓鱼、防DOS、访问控制、防火墙等安全技术都为云计算所运用。

在ITValue社区针对CIO人群的调查结果中显示，有20%以上的企业已经在开始部署或使用云计算这一服务，有将近30%的企业考虑在近期部署云计算服务平台。诸多CIO在云计算面前无动于衷，是出于对迁移成本、实施周期、技术成熟度和安全性的考虑，也就是云计算的安全问题和集成问题并没有彻底解决。云计算的一些安全事故在去年就发生好多起，如去年4月22日亚马逊云被位于弗吉尼亚州的云计算中心宕机，导致回答服务Quora、新闻服务Reddit与Hootsuite、位置跟踪服务FourSquare和为网络出版商提供游戏工具的BigDoor瘫痪，故障持续了4天，被认为是亚马逊史上最为严重的云计算安全事件。可见，云计算的安全让人质疑是有一定内外在因素的。

美国Gartner公司在其的一份名为《云计算安全风险评估》的报告中，总结了七条云计算安全风险：

另外，云计算是一个虚拟的网络平台，其安全问题也具有独特性质，为此，我们总结出以下几点：

① 所有用户的数据都是存放在外部的数据中心中，需要对这个数据信息进行加密处理来保证其安全，同时，还需要设置一定的认证系统与控制访问系统，方便内部人员进行访问。

② 为了保证数据的安全，在受到毁灭性攻击后可以快速恢复，必须对数据进行储存，因为云计算数据众多且繁杂，因此，必须保证其一致性、完整性，这就需要采用冗余存储的手段进行储存，并采用特定的方法进行审计。

③ 云计算的计算机安全问题要想得到实时保障，必须对其进行加密处理与密匙管理，并且将密匙进行定时的改变。

④ 虚拟化是云计算的3个参考模型（IaaS/PaaS/SaaS）的基本理论基础，是不可或缺的，但是虚拟化同时带来的也有安全问题及虚拟机的安全、管理方面问题。

3 云安全的基本保障措施

云计算在为人们服务的同时，其安全问题也已开始广泛的被人们所的重视，在2010年召开的信息安全国际会议就将云计算安全问题列入了焦点问题之中，CCS也在2009年专门组织了一个关于云计算安全的研讨会，此后的时间里，众多的企业组织与研究团体及标准化组织都先后展开了对其的相关研究，云计算服务已经在世界各地慢慢展开。

要妥善解决安全和风险问题，需要对云计算的评估、实施、管理，维护和解决问题等各个环节充分加以考虑。为了充分利用云计算机遇，应解决各种特定的云安全问题：流程、技

能、技术，以及控制。进入云环境的组织应考虑如下的系列实践点：

1）在采纳云服务之前，针对身份、数据，以及设备，实施功能完善的遵从性程序。2）在评估风险和针对是否采用云计算做决策时，数据分类是一个关键需求。低风险数据可以放心投入云中，而高影响数据则要求更强大的安全保护和隐私控制，在得到完善的处理之后才能放心的投入云中。3）部署模式（私有、社区，以及公用）的选择需以数据分类、安全和隐私需求，以及业务需求为基础，对各个数据分类进行针对性的选取。4）就算全面采纳云计算，组织依然需要强有力的内部团队，以及与云提供商合作，管理安全和遵从性需求。5）透明度、遵从性控制，以及审计能力对于任何云服务提供商的评估工作都是重点因素。6）组织必须为云中承载的应用的开发实施安全开发生命周期方法，并需要用类似的流程评估云提供商的遵从性。7）作为访问管理系统的基础，应使用更强的凭据取代用户名和密码，控制访问管理系统的安全性，以此提高云运行的安全。8）所考虑的问题应为信息生命周期提供所需的控制，无论数据来源如何，都应对信息的访问进行限制，限制已授权的个人，并限制可用的时间框。9）数据的访问控制需要跨越组织边界运作，或需要跨越不同部门、外部供应商、政府机关，以及消费者。因此必须提供能够跨越这些边界的联合访问，哪怕客户并不直接需要管理自己的身份和身份验证。

4 结束语

云计算最重要的外部特征是IT资源服务，内部特征比较突出的是运行模式，支撑这种模式顺利进行的是云安全。云计算中的云安全一般是通过对网络中的客户端软件进行监控，一旦其中的软件行为发生异常就能够及时得知信息，并以此来分辨获取互联网中的木马、恶意程序等最新信息，将其推送到Server终端进行数据自动分析与处理，再将解决方案分发到每一个客户端。目前，云计算发展处于一个关键时期，做好云安全工作，实现信任云目标，是突破瓶颈的有效途径。

参考文献：

第8篇：大数据云计算的理解范文

关键词：大数据；移动云计算；云计算；信息

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）34-0003-02

随着互联网的快速发展，人们逐步感受到了“信息大爆炸”，特别是各种移动通讯和物联网的发展，数以亿计的网络用户随时产生数据。目前全球的数据总量达到了ZB规模，大数据成为人们关注的热点话题，生活中的很多方面都可以和大数据技术进行结合，通过大数据技术来为我们服务。

大数据技术虽然给我们的生活带来了巨大的改变，但是大数据技术要求计算机具有相应的大数据处理能力，为此，云计算的概念产生了。云计算是分布式计算、网络存储、负载均衡等相关技术发展融合的产物。云计算通过网络将庞大的计算机处理任务进行分解，把分解后的较小的计算任务交给众多的网络数据计算服务器，经过网络服务器的分析处理之后把结果重新传回给用户。移动云计算是指通过移动互联网以按需、易扩展的方式获得所需的基础设施、平台、软件或应用等的一种IT资源或信息服务的交付与使用模式。[1]

1 大数据技术

现今的世界是一个数据的世界，我们身边到处都充满着数据，比如打电话的语音数据、发短信的文字数据、微信的聊天数据、报纸、杂志、网络购物等等。这么多的数据实时地影响了我们的工作、生活、学习，甚至社会的发展。根据维基百科的定义，大数据（Big Data）是用于数据集的一个术语，是指大小超出了常用的软件工具在运行时间内可以承受的收集、管理和处理数据能力的数据集。[2]美国IBM公司定义了大数据的3V特点，即规模性（Volume）、多样性（Variety）、高速性（Velocity）。规模性表示大数据涉及的数据量巨大，一方面人们的生活中产生了很多的具体数据，另一方面是互联网通信中移动通信的虚拟数据，这些数据的数据量是非常巨大的。多样性表示大数据中数据类型的复杂多样，其中包括最常见的文本数据、图像数据、语音数据和视频数据，除此之外还有很多其他的结构化、半结构化和非结构化的数据。高速性表示大数据技术必须具有实时性，比如实时路况导航、全球股价波动、一些通信业务的处理等等。

大数据技术的发展越来越成熟，大数据的价值也越来越受到人们的关注，对于数据处理的实时性和有效性要求越来越高。大数据在公共服务、商业智能、科学研究等领域发挥着巨大的作用，影响力越来越大，大数据技术的使用一定会给我们带来巨大的价值。社会中的各行各业可以通过大数据技术来完成各项工作，比如大数据在汽车制造业中的应用，福特汽车的产品开发团队曾经就对汽车行李箱的打开形式进行研究。车后行李箱的打开有两种形式手动式和电动式，如果采用电动式，能自动打开、便捷智能，但是这种方式会影响到车门开启有限的困扰。此前采用定期调查的形式并没有发现这个问题，但后来对社交媒体的关注和分析，发现很多用户在谈论这个问题，这对福特汽车以后的产品设计是非常有帮助的。

数据分析是大数据技术的核心，通过对相关数据的分析产生有价值的信息是大数据技术的关键。通过对数据的分析，可以产生有价值的规律和结果并辅助人们进行更为合理的决策。在大数据分析方面除了传统的技术外，人工智能技术邻域的很多方法被用得越来越多，包括统计分析、机器学习、数据挖掘等。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用信息和知识的过程。统计分析就是基于数学邻域的统计学原理，对数据进行收集、组织和解释的科学。机器学习作为人工智能邻域的重要内容，分为监督学习和无监督学习两大类。[3]常见的方法包括聚类算法、预测算法、回归算法、朴素贝叶斯算法、支持向量机算法等。这些算法往往需要较大的计算资源和较强的计算能力，云计算正好满足了大数据技术在这个方面的需求。

2 移动云计算技术

云计算已经发展成为IT行业的一个热门技术，目前的主要云计算设备和服务都是针对PC机而言的，但是随着无线路由的快速普及以及无线终端设备的大量出现，将云计算运用于移动环境是必然的发展趋势。根据相关的数据统计，全国的移动电话用户累计达到10亿以上，现有的终端计算能力、存储容量都是非常有限的，已经难以满足很多用户的需求，而云计算恰好能给用户提供服务。云计算是一种新型的应用模式，通过网络按需实现软件处理能力、存储资源等。[4]移动云计算正是基于云计算的概念出现的，它结合了移动网络和云计算的概念。移动云计算通过移动的终端用户进行网络互连，并以按需、易扩展的方式获得所需的基础设施、平台等相关的网络资源和信息。

云计算的一个主要优点就是在“云端”提供了大容量的存储空间和高速的计算能力。即使客户端的移动设备本身性能不够，但是只要能进行数据的输入、输出，就可以和云端进行交互，让云端提供计算和处理服务得到客户想要的结果。移动云计算的特点是终端硬件及系统无关性，这是因为终端不进行真正的大量计算和数据的存储，而是通过移动网络把数据和计算任务上传到云端让云端来进行计算和处理。移动云计算还消除了计算的地域性限制，普通的云计算由于终端设备的地理位置固定，给很多的实际应用带来不便，但是移动云计算可以通过移动网络进行数据传输和计算。如果移动网络有足够的带宽，那么移动云计算就能实现实时的数据计算，让客户在终端或者手机上看到最及时的处理结果。

移动云计算中比较成熟的应用有移动云存储。目前，很多公司推出了自己的移动云存储服务，在移动云上可以存放照片、文档、邮件、视频等相关内容。传统的存储方法是客户在存储资料时，都是通过U盘或是硬盘等存储设备。这种存储方式有明显的缺c，当U盘或是硬盘丢失、损坏或是忘记随身携带等，都可能造成想要取出存储资料却取不出来的状况。移动云存储是把资料上传到网络上的移动云存储服务器，只要能上网可以随时随地取出存储资料，不用担心资料的丢失或损坏。基于移动云计算的移动商务是商业发展的新模式。随着移动终端设备的大量使用，很多商务都是在网络上进行操作的，例如购物网站、微信支付等。除此之外移动云计算在医疗、邮件推送、远程教育等方面都有着非常成功的应用。

3 大数据与移动云计算

本地单机的数据处理模式成本越来越高，而且扩展性比较差，并且随着要处理的数据量不断增加特别是对于大数据的应用，相应的处理性能会遇到瓶颈，在这种情况下，出现了云计算技术。云计算具备了较好的弹性，在动态调配资源、支持多用户按需工作等特点正好符合了大数据的应用需求。云计算以其高可靠性、强大的计算能力和海量的存储空间成为解决大数据问题的重要技术，但是云计算不能在动态系统中进行应用，这使得移动云计算成为云计算新的发展方向，特别是移动终端可以方便地通过无线网络上网来使用移动云计算提供的各种服务。

大数据的落脚点在于“数据”，提供了对数据操作的各种方法，包括对数据的采集、分析、挖掘、存储等。移动云计算更多体现在“计算”，看重的是通过互联网产生的计算能力，移动云计算中很多的相关技术正是大数据技术的基础。大数据技术首先要有大量的存储数据，存储数据的传统方法是数据库技术，但是现在的数据量越来越大，已经超过了传统数据库的存储模式，而移动云计算正好给这些数据的存储提供了空间。其次是对大量数据的初步操作包括数据的提取、标注、表达等，移动云计算通过互联网可以把这些任务进行分解，分成许多较小的数据处理任务并分配给网络中的很多移动终端用户，让他们在空闲的时候处理这些任务。最后是对移动云上存储的大量数据进行分析，分析的手段包括数据过滤、数据分类、数据聚类等，移动云计算同样可以像上边那样把任务进行分解并在网络中寻找空闲的处理设备辅助完成这些任务。

基于移釉萍扑慵际豕钩傻拇笫据系统，能够提供大数据处理所需要的相关技术。大数据与移动云计算的结合，将是相得益彰，相互都可以更好地发挥作用。移动云计算为大数据提供强大的存储和计算能力，更加迅速便捷完成大数据的处理任务，而大数据的相关业务能为移动云计算找到更多更好的实际应用。

大数据和移动云计算在气象领域的应用，以前的气象服务信息大多只是将气象的监测数据提供给用户，由用户自己去综合使用，这显然仅仅是气象预报产业中的初级阶段。现在，人们通过移动网络可以及时获得气温、紫外线指数、感冒指数、晨练指数、洗车指数等更精细化的气象信息，并利用大数据分析软件可以获得更多的用户想知道的数据信息，体现出单一数据无法表达的价值和效益。

社交网络是现在人们沟通的主要形式之一，用户通过移动终端使用社交网络，伴随着用户的社交过程会产生大量的数据，通过大数据的分析技术可以发现一个人和另一个人是怎么样联系上的，另外也可以通过两个人的社交关系，找到让他们进行联系的渠道。不管我们在使用微信朋友圈还是微博账户，软件系统经常会提示我们哪个人可能是我们的朋友或者是同学，给你一个加入好友的提示，这就是大数据与移动云计算相结合应用的一个实例。

地图导航古已有之，而发展到今天的电子地图导航更成为人们出行旅游的指南针。用户使用移动终端比如手机、平板电脑通过移动互联网把自己的实时地理位置信息传送到网络上，由此可以进行打车、聚会、餐饮、购物、汽车导航等应用。大数据技术通过分析可以知道在哪些地方，什么样的服务是在这个地理位置上的人最需要的，移动云计算把这样的消息出去后，可以给我们提供最便利的服务。比如在商场附近可能有更多的人需要打车，在人烟稀少的地方可能有更多的人需要方向导航等。

医疗行业具有数据量大、复杂性高等特点，医疗行业被认为是最能让大数据分析技术发扬光大的一个传统领域。移动云计算利用移动终端可以随时采集病人的相关数据信息，比如脉搏、血压、照片等，这些数据随着时间的推移将构成海量的数据。此外，医生对于病人的诊断结果也会保存在移动云存储中，当同样类型的病症再次出现的时候，移动终端可以根据大数据的分析技术给病人提出最合理的治疗建议。这样既节省了医生的人力资源，又节省了病人排队等待的时间，更能在第一时间解决病人的病情。麦肯锡的报告中指出，大数据技术可以帮助美国的医疗行业一年创造3千亿美元的附加价值。

大数据利用了移动云计算的方便性，可以随时随地对数据进行处理并提供了及时的服务，移动云计算通过大数据找到了更好的应用方向。没有大数据对于大量信息的积累，移动云计算的计算能力再强也找不到用武之地，同样如果没有移动云计算的强大计算能力，那么大数据积累的大量信息也毫无价值。

4 总结

如果说大数据是巨大的宝藏，那么移动云计算是开发这个宝藏的最有利的工具。没有移动云计算的强大计算能力，那么大数据中的相关数据就是一堆毫无用处的冗余数据。另一方面移动云计算也正是由于大数据的信息量大，本地单机处理能力有限才发展起来的，没有大数据的信息累积，那么移动云计算也得不到完全的发挥，所以大数据与移动云计算是相辅相成的关系。

参考文献：

[1] 赵华， 王海阔. 移动云计算综述[J]. 电脑知识与技术， 2012（1）.

[2] 何清. 大数据与云计算[J]. 中国安防， 2014（1）.

[3] 张峰军. 大数据技术研究综述[J]. 通信技术， 2014（11）.

第9篇：大数据云计算的理解范文

【关键词】云计算；数字图书馆；信息

云计算（Cloud Computing）是分布式处理（Distributed Computing）、并行外理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。其核心思想是把分散的力量加以联合，提供给每一位成员使用。具体地说，云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。通过云计算，网络服务提供者可以在数秒内处理数以千万计甚至亿计的信息，达到和超级计算机同样强大的网络服务；而用户只需通过浏览器即可获得学习所需要的数据和服务。作为多种技术混合演进的结果。在Amazon、Google、IBM、微软、Yahoo、Sun等IT巨头的推动下，云计算迅速得到发展，基于云计算的服务也逐渐为人们所了解。以云计算为支撑的云服务将对互联网的运作和服务模式产生深刻影响。与数字化、网络化相关的图书馆，在开展资源建设过程中也将与云服务信息相关[1]。

1.云计算

1.1 云计算的定义

目前现有的研究成果对云、云计算的定义并没有达成共识。张渝江认为：云计算（Cloud Computing）是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现；云（Cloud）是指计算机群，每一群包括了几十万台、甚至上百万台计算机，是数据存储和应用服务的中心，主要完成存储和计算的工作；“云”可以随时更新，并且这种更新是透明的；主要的IT厂商，如谷歌（Google）等都已经具有并正在建设“云”。蔡学墉认为：云是网络的象征，其最广义的解释就是“网络计算”。综合各位学者之谈，其实云计算并不是一个概念，它是分布式处理、并行处理和网格计算的发展上提出的一种新型计算模型，是一种新兴的共享基础架构的方法。在云计算中，用户所处理的数据保存在互联网的数据中心里而不是存储在本地计算机内，用户所需的应用程序运行在互联网的大规模服务器集群中而不是运行在用户的个人电脑、手机等终端设备上。云计算服务提供商负责管理和维护数据中心的正常运作，为用户提供足够大的存储空间和足够强的计算能力；而用户只需接入互联网，就可以通过电脑、手机等终端设备在任何地点方便快捷地使用数据和服务，实现低配置设备享受高性能的计算服务。如目前戴尔已推出“云计算解决方案”项目，对外提供数据中心设计、硬件设计及其相关服务。

1.2 云计算的功能

看似高深的云计算理解起来并不难，就是把所有的计算应用和信息资源都用互联网连接起来，供个人和企业用户随时访问、分享，管理和使用相关的应用和资源可以通过全球任何一个服务器和数据中心来获取。真正的云计算平台应该能实现以下3方面的功能：①提供“资源”。包括计算、存储及网络资源，这就需要服务提供者架设规模巨大的全球化的数据库及存储中心，能够实现“海量”的存储、出色的安全性和高度的隐私性和可靠性。此外，它还应是高效、低价、节约能源的。②提供动态的数据服务。数据包括原始数据、半结构化数据和经过处理的结构化数据。一个好的云计算架构一定要有提供大规模数据存储、分享、管理、挖掘、搜索、分析和服务的功能。③是提供云计算平台。包括软件开发API、环境和工具。只有这样的云计算才能真正形成一个有生命力、有黏性、可持续发展的“生态系统”。云计算不应该也不可能一蹴而就，用户理应自主决定最符合其利益的资源部署方式，从而在“云”和“端”之间实现平衡。只有通过云端，云端互动才能最大程度利用云的功能实现最佳的用户体验[2]。

2.云计算对数字图书馆的影响

云计算技术的产生和发展给数字图书馆带来革命性的变革，为数字图书馆带来全新的发展机遇。对数字图书馆的发展产生深远的影响。

2.1 改变现有的数字图书馆模式

根据不同的应用技术、不同的通信协议，目前的数字图书馆资源服务模式主要有两种：基于点播的短信服务（Short Me-ssaging Service，简称SMS）和基于浏览WAP（Wireless Application Protocol，无线应用协议）数字图书馆站点服务。然而这两种模式各有其不足：在SMS模式下，使用者通过定制短信息获得数字图书资源，服务端短信一般都是编辑完成后通过短信平台传递给使用者的，使用者无法与服务端进行实时交流，即使将问题以短信方式回复给服务端，服务端也很难在第一时间进行解答。而且，短信息的发送、接收也受信息堵塞、网络是否通畅等诸多因素的影响。在WAP站点模式下，由于目前建立的WAP站点不多，因此数字图书馆资源十分有限；并且由于WAP协议本身的数据传输速率不高，从而导致使用者获取资源的效率比较低：再者，WAP站点收费比较高，有时甚至超过在个人计算机条件下获取网络资源时所需的费用，因此很难得以普及。数字图书馆现有模式的诸多不足从根本上限制了数字图书馆的发展。云计算技术的出现弥补了这些不足，使得数字图书馆模式发生了深刻变革。在云计算背景下，大量数字图书馆资源将存储于云服务器中，使用者无需再通过短信点播或WAP站点浏览等方式来获取数字图书资源，只需使用移动设备通过浏览器即可接入“云”端存储器自行选择所需资源。而且云计算整合了多方计算机技术和互联网技术，突破了单一WAP协议的限制，加之目前支持HTTP协议的智能手机、PAD的平民化发展，使得使用者可利用低价的移动设备、廉价的网络收费与云服务器进行快速的通信。

2.2 整合最丰富的数字图书资源

互联网最大的优势在于资源的聚合，而云计算的根本出发点就是信息的整合、存储及通过网络服务进行共享，这使得图书馆管理者可以很方便地通过网络不断丰富数字图书资源。在现行的数字图书馆模式下，由于数字图书馆的建设往往都依托于某个特定的机构，如政府机关或高校，因此读者必须通过该机构的认可后才能进入其网站进行资源的搜索，这使得该机构之外的许多读者被拒之门外。而在云计算时代，全世界范围内图书馆的数字图书资源都可能聚合到“云”端的的存储服务器中，图书管理者只需遵守服务端既定的访问规则输入关键词即可获取来到自世界各地的数字图书资源。同时，在使用过程中，使用者和管理者还可以在既定的规则下对既有的内容进行补充和修改，从而不断地完善资源共享库[3]。

2.3 创建自主、多元的虚拟图书社区

互联网技术的进步使其在信息处理和交流协作方面的优势日益显现。为了更广泛的交流协作，以形成共有文化、发展共同兴趣为目标的虚拟社区大量出现并发挥着重要作用。在云计算背景下，这些虚拟社区将得以向更个性化、自由化、多元化的方向发展，因为所有数字图书资源和应用程序都将整合在“云”端，每个使用者都可以利用这些资源和应用程序自由地创建虚拟社区，构建自己的虚拟环境，并根据有共同学习目标或兴趣爱好的其他读者一起交流与协作。由于这些虚拟社区由使用者自主创建，没有特定的管理者，共同的学习目标或兴趣爱好就成为了对使用者秩序约束的唯一准则，因而使用者可以充分发挥其特长，展示其个性，自由地交流。此外，由于虚拟社区是基于网络的，这使得读者群的构成突破了传统图书馆辐射范围的限制，来自世界各地不同文化背景的读者都可以进入虚拟图书社区交流协作、借鉴经验和丰富数字图书资源，实现了多元化的文化知识交流。

2.4 对数字图书馆终端设备的要求大幅降低

目前，数字图书馆终端设备仍然是以个人计算机为主，这是制约数字图书馆发展和普级的重要因素。云计算技术的出现为这一问题提供了很好的解决之法。云计算背景下，所有数据的存储和处理都将在“云”端的计算机群进行，其强大的计算能力不但使处理速度比个人计算机快很多，而且还能完成一些个人计算机无法应付的数据处理任务。由于所有数据的处理都是在“云”端进行，使用者只需通过浏览器便可进行类似于在个人计算机上的一切操作（如一些应用程序的安装和使用等），所有这些操作本身都无需硬件系统的支持，因此对移动设备除了运行浏览器本身所需计算能力以外，再无其它数据处理要求。而这样的要求，普通的手机就可以胜任[4]。正如1989年比尔·盖茨在谈论“计算机科学的过去、现在与未来”时所说的那样：“用户只需要640K的内存就足够了”。[5]从使用者角度来讲，云计算将带来硬件的死亡。而且，现在的PAD正向着电脑和手机融合的方向发展，其内置的操作系统和支持HTTP协议的浏览器将为用户提供更完善的浏览器功能。在通信方面，目前第三代无线移动通信（3G）技术正快速发展，它将带来2Mbps的数据传输速率，能够更好地为移动设备和“云”端的无线通信服务。

3.云计算建设数字图书馆应注意的问题

云计算在数字图书馆建设中有众多的好处，可是作为一种新的技术它也存在一些问题，比如在Garthner的一份名为《云计算安全风险评估》的报告中就指出云计算存在七种风险，即特权用户的接入、可审查性，数据位置、数据隔离、数据恢复、调查支持和长期生存性，所以当我们运用云计算进行图书馆资源建设时应该注意以下几个问题[6]。

3.1 数据位置问题。在现在运行的系统中，许多用户并不清楚自己的数据储存在哪里。用户应当询问服务提供商数据是否存储在专门管辖的位置，以及他们是否遵循当地方隐私协议。所以在建设图书馆这样的公共服务机构的数据库时，可以由国家来主导，成立专门的机构来负责“云”的建立。

3.2 所需的费用问题。因为“云”的建立需要硬件，目前还不清楚使用所有这些云计算应用程序生成的数据有多大困难或者有多昂贵，但是，在目前的世界中，这些应用程序和数据对于用户是非常重要的，所以这也是一个需要解决的问题。

3.3 网络建设问题。由于云计算也是建立在网络的基础上，所以网络的畅通与否就关系到图书馆数字资源能否顺利的利用与共享，这是最基础，也是最关键的问题[7]。

4.结束语

云计算模式的出现，给互联网环境下数字图书馆的发展带来了新的机遇。当然，目前云计算的应用还处在探索阶段，相信随着图书馆界对云计算的关注以及安全技术的广泛应用，我国数字图书馆的发展将进入一个崭新的阶段。

参考文献

[1]孙恒,黄国彬.基于云服务的图书馆建设与服务策略[J].图书馆建设,2009(9)1-6.

[2]杨明芳,袁曦临.云计算环境下的数字图书馆[J].图书馆建设,2009(9)7-9.

[3]施海燕.云计算和移动图书馆[J].图书馆建设,2009(9)10-12.

[4]卢晓娟.云计算与未来图书馆数字信息资源建设[J].四川图书馆学报,2009(2)23-24.

[5]蔡学墉,漫谈云计算[J].程序员,2008(11):50-51.

[6]邓健敏,云计算在数字图书馆建设与服务中的应用[J].科技情报开发与经济,2010(17):21-22.