公务员期刊网 精选范文 数据云存储方案范文

数据云存储方案精选(九篇)

数据云存储方案

第1篇:数据云存储方案范文

关键词:

云存储;重签名;隐私保护;完整性验证;用户可撤销

中图分类号: TP309.7 文献标志码:A

0引言

用户可撤销系统云存储数据的审计问题是云存储数据审计的现实难题。

一开始人们发现将数据存储在云上,用户可以从本地数据存储和维护开销中解放出来享受极大便利;但是外包数据却面临到许多安全挑战[1-4],因此,一系列各种要求在不泄露完整数据知识的前提下确保远端存储数据完整性的审计方案被提出。例如:Juels等[5]提出了一种证据可恢复的POR数据可取回证明(Proofs of Retrievability, POR)审计方案;Ateniese等[6]提出了一种名为PDP数据可证明持有性(Provable Data Possession, PDP)请补充POR和PDP的中文名称和英文全称。的数据持有性证明审计方案;Shacham等[7]利用短签名构造了有效的POR公开审计方案。但是这些方案不考虑用户数据的隐私保护,事实上,用户的数据可能被泄露给一些好奇的敌手,这些缺点将极大地影响这些方案在云计算中的安全性。从保护数据隐私的角度出发,用户可以委托第三方审计者(Third Party Auditor, TPA)来保证他们存储数据的安全,同时他们也不希望这个审计过程由于未经授权的信息泄漏对他们的数据安全造成新的威胁。未授权的数据泄露仍然在于潜在的加密密钥暴露的潜在风险。2009年,Wang等[8]提出了一项保护隐私的云存储数据公开审计方案,方案依托同态认证技术和随机模化技术完成了隐私保护公开认证,并利用双线对标签聚合技术实现了批处理。

自Wang等[8-10]与Zhu等[11]提出了一系列经典的具有保护隐私功能的云存储数据公开审计方案后。人们很快注意到之前几乎所有的审计方案都是固定用户在计算云存储数据的完整性验证标签,即这些审计方案,要求在整个数据管理周期使用云存储服务的都必须是同一个用户。这是因为,云存储服务中数据的完整性验证标签是由用户用自己的私钥签名生成,然后在公共审计过程利用公开信息进行验证。这样的云存储数据审计模式在真实情况下是不现实的。一方面,在一个审计系统中经过一段时间用户的公钥可能更新;另一方面,用户可能只是一个公司的数据管理者,他可能因为各种原因而离职,例如因为高薪而跳槽。因此,出于现实考虑,一个云存储数据审计方案应该支持有效的用户撤销。

Wang等[12]首先引入了共享云存储审计问题,提出了一个基于群签名的用户可撤销的自我审计方案,以及一些基于动态广播重签名方案和双向签名的共享云用户可撤销公开审计方案[13-14]。随后Yuan等[15]使用了一个类似的群签名技术提出了一个公开方案版本。由于都涉及到群签名和广播加密技术,以上的动态可撤销审计方案的效率都不满足实际需求。

2015年Wang等[16]提出了一个高效的用户可撤销公开审计方案Panda。此方案借助重签名技术,将不同用户的数据块签名转换为当前用户签名形式,从而很好地满足了用户动态可撤销系统的云存储数据审计需求,是此类问题当前的最优解决方案,但是文献[16]的方案局限性中,提到云服务器与已撤销用户合谋可能会造成用户私钥的泄露,并在文献[16]中明确提出在下一步工作中希望通过一个多层的重签名方案来解决这个问题。

基于文献[16]的构思,本文提出了一个单向的重签名方案,修改密钥的计算是通过对撤销用户的公钥进行处理得到,不存在私钥泄露的风险。另外本文的用户可撤销云存储数据审计方案支持第三方公共审计,能够更好地支持对云存储数据的日常例行审计工作。最后效率分析与比较表明,方案在通信开销与计算复杂度方面更具有优势。

1基本模型

正文内容基于重签名的用户可撤销云存储数据公共审计方案如图1所示,支持用户可撤销的云存储数据公共审计方案与上述基本云存储审计方案有很大不同,其方案主实体涉及到多个用户。从现实考虑,数据属于公司,而非数据管理者。在某一个时期通常只有一用户对存储数据进行管理;但是某一段时期内却可能有多个用户对存储数据进行管理。即,一段时间后当前用户可能不再适合管理存储在云上的数据,他可能被别一个新的管理者替换。

本文假设,最开始有一个用户代表公司和组织将数据上传到云服务器,这个初始用户可以记作U0,然后公司雇佣数据管理者,显然数据管理者不是终身制的。在一个数据管理者离职前他需要向新的数据管理者移交数据,继承者需要对这些数据进行审计确认,他的前任尽职地完成了他的数据管理工作。假定,将数据存储在云上的数据存储模式是简单而有效的,公司和组织每一个时期只需要一个数据管理者就能很好地完成数据管理任务。按照时间先后对除U0以外的数据管理者排序为U1,U2,…,Um,m为正整数。相应地对应外包存储在云上的数据按照不同管理者的任期被划分为T1,T2,…,Tm周期。在这里,显然每一个用户只有在周期结束时才会向继任者移交数据。(注:对于第一个用户周期来说,用户U1可能就是初始用户U0;但是也可以委托一个新的用户U1来完成数据管理工作,在文中统一分开记录。)

初始用户U0首先将整个数据文件分成n个数据块,并用自己的私钥计算相应的数据存储标签σ,然后他将所有数据和标签都上传到云服务器以完成数据的最初上传。用户U1在T1期间内进行数据管理,并在T1周期结束时被U2所取代,U2也将被U3取代,一直到Uj取代Uj-1, j∈{0,1,…,m}。Uj为当前数据管理者。因为标签和用户相关,一旦用户撤销了,标签也应该作相应的修改。一个直接的方法就是使用当前用户的私钥重新计算这些数据块的标签。然而,这并不是一个可撤销的云存储审计系统,因为这样将带来沉重的通信和计算负担。一个比较理想的方法就是使用重签名技术,将所有存储在云服务器上的数据标签转换成当前用户签名的模式。

最终对于当前用户来说,云服务器上存储的数据mi的标签σ最后都会转化为σ(j)i。考虑到云用户构建一个进行数据无误性检验的云环境是不可行和代价高昂的,因此为了节省进行存储数据周期无误性验证的通信资源,减少在线负担,云用户可以委托第三方审计者(TPA)来执行安全审计任务,因为他是经济并且可以自动运行的;但是,云用户同时希望对TPA保持数据的隐私性。为了方便区分,本文用σ(j)i表示用户Uj用自身的私钥对mi签名生成的数据验证标签。

2基本知识

2.1双线性映射

G1、G2、GT是阶为素数p的循环群,g1是群G1的生成元,g2是群G2的生成元。双线性映射e:G1×G2 GT,满足如下的性质:

1)双线性性。给定元素u∈G1,v∈G2,对任意a,b∈Zp有e(ua,vb)=e(u,v)ab。

2)非退化性。e(g1,g2)≠1。

3)可计算性。存在一个有效的算法,对任何可能的输入都能有效地进行计算e。

4)可交换性。e(u1・u2,v)=e(u1,v)・e(u2,v)。

2.2困难性假设

Computational DiffieHellman(CDH)假设群G是一个阶为素数p的循环群,g是群的生成元,给定两个随机元素ga,gb∈G,输出gab是困难的。

Discrete Logarithm (DL)假设群G是一个阶为素数p的循环群,g是群的生成元,给定一个随机元素gc∈G,输出c是困难的。

2.3重签名算法

为了实现前面基本模型中所描述的支持用户动态可撤销的这一功能,并能持续地保证云服务器上存储数据的完整性,基于文献[17]中的重签名算法,作出了进一步的改进。通过当前用户私钥结合已撤销用户公钥生成新的重签名密钥来保证即使云服务器与已撤销用户合谋也无法影响数据的安全性。新的重签名算法和步骤与文献[17]相似,其中最重要的签名步骤如下。

3支持用户可撤销的云存储数据公共审计方案

3.1Panda方案的问题

下面描述Panda中重签名方案实现签名转移的主体部分。

1)在签名算法Sign中,给定私钥skA=a,数据块m∈Zp身份id,用户uA输出基于数据块m的标签:σ=(H(id)ωm)a∈G1。

2)在修改密钥生成算法ReKey中,通过以下步骤生成一个重签名密钥rkA B:

a)生成一个随机的r∈Zp,并将它发送给用户uA;

b)用户uA计算并发送r/a给用户uB,其中skA=a;

c)用户uB计算并发rb/a给,其中skB=b;

d)恢复出重签名密钥rkA B=b/a∈Zp。

3)在重签名算法中,收到重签名密钥rkA B,后执行重名:

σ′=σrkA B=(H(id)ωm)a・b/a=(H(id)ωm)b。

4)在验证算法Verify中,用户uB通过验证公式:

e(σ′,g)=e(H(id)ωm,pkB)

对数据的完整性进行验证。

从上述过程中,清晰可见重签名密钥rkA B的生成,是基于用户uA与uB之间的私钥传递。虽然在这个过程中生成了一个密钥参数r∈Zp来对传递过程中的私钥进行保护,但是如果恶意云服务器()与已撤销用户uA合谋可以轻易计算出当前审计用户uB的私钥b,因此方案存在用户私钥泄露的风险。

3.2本文方案

在本节提出支持用户可撤销的云存储数据公共审计方案,该方案是基于2.3节的单向重签名技术构造的,如图1所示。方案中定义了一个半可信的第三方审计者(TPA),它将忠实地执行数据完整性的审计,由于它是好奇的,它可能会借助强大的计算设备从验证信息中通过解线性方程组恢复原始数据块信息,因此在方案中采用了随机掩饰码技术解决了这一问题。

4方案证明

4.1方案的正确性

4.2安全性分析

下面首先证明该方案能够抵抗恶意云服务器通过产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。

定理1恶意的云服务器产生伪造的审计证明响应信息Proof来欺骗TPA的审计验证过程在计算上是不可行的。

证明假设存在恶意的云服务器(多项式时间敌手A)以不可忽略的概率ξ产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。下面设置多项式时间算法(挑战者B)通过运行敌手A作为子程序也以不可忽略的概率ξ解决CDH困难性问题。算法B与对手A的信息交互如下。

私钥泄露问题根据上面定理1的证明过程,可以轻易发现即使云服务器与已撤销用户合谋,云服务器也不能够获取当前用户的私钥。这是因为方案中修改密钥的计算是当前用户利用自身的私钥通过对已撤销用户的公钥进行处理得到:ukj j+1=gxj/xj+1。如果云服务与已撤销用户想通过合谋获取当前用户私钥,就必须先以不可忽略的概率解决DL问题,再通过已撤销用户的私钥计算出当前用户私钥。而文献[16]中ukj j+1=xj+1/xj,如果云服务与已撤销用户合谋,那么云服务器很容易就能获取当前用户私钥。

在下面证明方案满足隐私保护性,即定理2。

定理2给定一个来自云服务器的审计证明响应信息Proof,对于好奇的TPA,它试图从中恢复用户数据文件,F={m1,m2,…,mn}中的数据块是不可行的。

证明组合信息μ′=∑i∈Qvimi是关于用户原始数据块的线性组合,一旦这个组合信息发送给TPA,这个好奇的TPA可以通过收集大量的组合信息,并借助强大的计算设备来求解这些线性方程组,从而恢复用户的原始数据块。为了防止TPA读取用户的原始数据块信息, μ′=∑i∈Qvimi需要使用随机掩饰码技术,具体如下:

云服务器利用伪随机函数f计算随机值r=fk3(challengeChallenge)∈Zp,并计算R=ur∈G,最后将μ′=∑i∈Qvimi盲化: μ=μ′+rh(R)∈Zp这样为了让TPA仍能解这些线性方程,TPA必须掌握这个随机值r,进而它必须掌握这个伪随机函数的秘密密钥,事实上,这个秘密密钥只有云服务器知道,因此TPA不可能知道这个随机值r,因此,对于好奇的TPA,它试图从审计证明响应信息恢复用户数据文件是不可行的。

5效率分析

在本章分析方案的通信和计算复杂度。需要注意的是与其他公共审计方案[9,12-13]一样,本文只计算频繁审计活动中通信和计算代价而不计算系统建立时的通信与计算代价。

用Pair表示双线性对操作,Exp表示G上的指数操作,MZ和MG分别表示Zp和G上的乘法操作。n、p、G分别表示{1,2,…,n}、Zp和G的比特长度。挑战中选取的数据块假定是个常量c,挑战中已撤换的用户数量总和也假设是个常量d。

1)通信开销。可以看到本文方案中通信负载主要取决于产生审计证明响应信息的通信过程。其中发送挑战Q={(i,vi)}到云服务器的通信量为c(n+p)。云服务器返回审计证明响应信息Vj=(μ,φ,{ε}∈[1, j],{γ}∈[1, j])的通信量为p+(2d+1)|G|,但是注意到只有在用户Uj发起的第一次审计请求中才需要这样的通信量,否则只需要传送通信量为p+|G|的(μ,φ)就行了,因此最终在一次审计过程中总共的通信开销为cn+(c+1)p+G。

2)计算开销。计算开销包括修改密钥生成、重签名和验证开销3部分,由于本方案支持第三方公开审计,所以只需要考虑修改密钥生成和验证开销两部分。对于用户Uj,在ReKeygen算法只需要计算gxj-1/xj,因此计算代价为Exp。根据上面提到的计算原则,并简化加操作和哈希操作后计算出验证开销为:

(c+1)MZ+MG+(c+3)Exp+2Pair

3)开销比较。如表1所示对比Wang等[16]方案,其通信开销为d・(p+G)+c・(id+n+p)必然大于本方案的cn+(c+1)p+G(两者相减后的值为(d-1)|G|+(d-1)|P|+c|id|,其中id为Panda方案中用户id的规模),其修改计算代价为nExp,比本文方案的计算代价Exp要高。验证开销为:

(c+2d)MZ+dMG+(c+d)Exp+(d+1)Pair,

亦明显高于本文的验证开销。

因此,效率分析表明本文方案在计算代价开销上要优于文献[16]方案。

6结语

本文提出了一个高效的支持用户可撤销的云存储数据公共审计方案。该方案使用了单向的重加密技术,有效地解决了云服务器与已撤销用户的合谋攻击问题。方案支持第三方公开审计,并且安全证明表明其安全性与不可伪造性基于CDH困难问题。经过与文献[16]方案进行的性能比较,结果表明:方案具有更好的效率优势。在下一步的工作中,考虑对方案进一步完善,在方案中加入对添加、删除、修改等用户动态可撤销系统数据动态操作情况下数据完整性验证内容。

参考文献:

[1]

HUBBARD D, SUTTON M. Top threats to cloud computing v1.0 [EB/OL]. [20150910]. https:///topthreats/csathreats.v1.0.pdf.

[2]

YU S, WANG C, REN K, et al. Achieving secure, scalable, and finegrained data access control in cloud computing [C]// INFOCOM’10: Proceedings of the 29th Conference on Information Communications. Piscataway, NJ: IEEE, 2010: 534-542.

[3]

LI M, YU S, REN K, et al. Securing personal health records in cloud computing: patientcentric and finegrained data access control in multiowner settings [C]// SecureComm 2010: Proceedings of the 6th International ICST Conference on Security and Privacy in Communication Networks. Berlin: Springer, 2010: 89-106.

第2篇:数据云存储方案范文

1.1档案信息资源网络存储

随着互联网上档案信息资源类型的日益丰富和数量的大量增加,如何安全有效地存储这些档案信息资源,就成为档案信息资源管理工作者需要面对的实际问题。档案信息资源固然可以有多种类型的存储方式,其中,利用互联网进行网络云存储是最具有优势的存储方式。网络云存储是指通过一定的技术手段和特定载体,将档案信息资源永久存储在云端的虚拟空间中的过程。对于档案信息资源网络存储而言,云存储最大的优势在于,将各自独立单位存储的档案信息资源,通过网络变为云存储系统中的一个组成部分,从而实现多个档案信息资源管理单位所存储的档案信息资源实现云端的网络存储与服务。在档案信息资源管理工作中,如果将大量的档案信息资源与云环境下的网络云存储技术相结合,就可以实现档案信息资源的高速、海量、稳定、安全存储,从而为云环境下档案信息资源的网络化服务提供基础条件。云存储还可以充分节约本地的档案信息资源存储空间,从理论上讲可以利用互联网云环境下无限容量的云存储空间,进行档案信息资源的短期存储、中期存储、长期存储或永久存储。由于云终端是迄今为止最为经济、安全的计算机网络解决方案,档案信息资源数据保存在具有专业安全人员保护的云环境中,黑客常用的传统用户终端攻击会失去威胁。因此,云环境下档案信息资源的集中化管理更容易升级安全保护措施,安全性也更高。

1.2档案信息资源网络存储的意义

在档案信息资源管理机构所建设和拥有的各种不同类型和数量巨大的档案信息资源中,并非所有的档案信息资源都需要予以存储,需要根据其客观利用需求为依据,既要考虑其现实利用的价值,更要兼顾其长远的历史保存价值和参考利用价值。按照档案信息资源管理工作中有关档案信息资源保存期限的规定,档案信息资源的保存期限可分为无限期的永久保存、16一50年的长期保存和15年以下的短期保存3种。而如会计档案信息资源的保存期限则分为永久和定期两大类,其中定期保存包括3年、5年、10年、15年和25年共5个时间档次。对于具有永久保存价值和长期保存价值的档案信息资源,为了便于其内在价值可以得到长期地可持续性地有效挖掘、充分研究和开发利用,实现其价值的保值甚至增值,需要在特别安全的措施下予以存储,而云环境下的网络存储即可达到这一目标。在云环境下档案信息资源的网络存储,既包括永久性、长期性、短期性和临时性不同时间期限的存储,也包括保密性和共享性不同限制级别的存储,还包括本地和外地不同地域范围内的存储。在实际的档案信息资源网络存储过程中,存在着各种不同类型的存储方式,其中就有利用互联网开放存取模式下的网络开放存储方式,这也是几乎零成本的档案信息资源网络存储方式。因此,研究和探讨云环境下档案信息资源网络存储的各种方式具有十分重要的现实意义。

2云环境下档案资源的网络存储方式

2.1利用档案资源网站进行网络存储

对于数量巨大的原始档案信息资源,档案管理部门可直接利用云环境下的档案信息资源网站的服务器,相当于代替该部门进行原始档案信息资源的网络存储。利用这种原始档案资源网站服务器网络存储的最大优势,是可以完全不占用本地计算机的存储空间。其次,由于档案信息资源网站所收录的档案信息资源数据,无论在其更新频率、服务范围、文献类型、文献数量和安全保障等方面,都具有很高的可靠性,所以,档案信息资源的内在质量可以得到充分的保证。另外,档案信息资源网站由于建设专业化程度较强,因此也可以为用户提供更加良好的档案信息资源利用服务。网络存储方式在非云环境下,可能会受到档案信息资源网站稳定性的影响,这样一来,可能会给那些该网站独有的档案信息资源造成无法弥补的损失。而这种情况在云环境下将不复存在,由于所有的档案信息资源都被存储在具有安全保障的网络公共云服务器上,在巨大的网络存储空间中,档案信息资源会越来越丰富。

2.2利用网络硬盘进行网络存储

网络硬盘简称网盘,是一些网络公司推出的网络在线信息资源存储服务,向用户提供包括档案信息资源在内的各种文献信息资源的存储、备份、访问、共享等文件管理功能,使用起来十分方便,相当于设置在网络上的移动硬盘。网络硬盘的原理是网络公司将其网络服务器的硬盘或硬盘阵列中的一部分容量,分享给包括注册用户使用。随着具有网络存储功能服务网站的出现和快速发展,网络硬盘逐渐成为档案信息资源进行网络存储的重要工具。而具有云存储功能的网络硬盘的快速发展,又使得网络硬盘的存储空间容量记录也在不断被刷新。如目前提供初始存储容量最大的网络硬盘是“速度盘”,其初始免费永久开放存储空间的容量为5OOGB,单个文件容量可达ZGB,并可以实现批量巨传存储。再如作为云存储网络硬盘之.的“115网盘”,单个文件容量可达SGB,目前已经存储的信息资源容量已经高达145PB,文件数量达到17亿件的海量数据。因此,网络硬盘成为云存储档案信息资源的重要工具,特别适用于进行大容量和需要永久存储的珍贵或重要的档案信息资源的网络存储。档案管理机构也可以把网络硬盘看作置于网络云端上的移动硬盘,无论是在单位或在其他任何地方,只要可以连接到互联网,就可以管理、下载或巨传档案信息资源到网络硬盘中,而不需要随身携带,更不怕丢失资源。目前,可用于档案信息资源网络存储的网络硬盘网站已有不少,可供用户选择利用。

2.3利用同步盘进行网络同步存储

第3篇:数据云存储方案范文

IT部门忙于跟进业务快速变化的需求,他们通常既要依赖私有云,因为它可信、可控、可靠,又要依速公共云,因为它成本低,容量几乎无限。EMC的这些具有云能力的存储和数据保护解决方案,使客户能够部署可信的存储环境,数据可以自动分级存储到公共云和私有云。

EMC扩展了开箱即用的企业云解决方案,同时了一系列数据保护新功能,为客户提供所需的工具,确保数据无论在何处、无论发生什么情况都能受到保护。

涵盖整个数据中心的新产品和解决方案提供了云的整合:EMC集成了新的、扩展的云功能,涵盖整个存储和数据保护组合,其解决方案可以存储和保护进云、云来和云中的数据。

分级进云/云来的数据。EMC VMAX和VNX存储平台交付了简单、自动的分级,连接私有云和公共云。EMC将进一步扩大VMAX的整合程序,增强其FAST.X分级解决方案,自动从EMC和非EMC存储分级到公共云,使客户能够达到更低的总拥有成本。利用EMC CloudArray技术,只要简单连接VMAX到SAN或网络交换机,客户就可以立即引入云的威力到数据中心,自动分配数据本地部署的目标存储,以及按照自身服务等级目标确定的云存储。

对价格敏感的客户,可以在其基础架构配置中用VNX替换VMAX,增加EMC VPLEX,在更小的范围实现类似的功能。VPLEX云分级延伸智能数据移动服务到云,让VNX无打扰地分级数据进入或读取自公共云和私有云。

不管是集成了云分级的VMAX,还是利用云分级的VNX,现在都可以提供针对私有云和公共云服务商的扩展支持。EMC现在可以支持VMware vCloud Air、Microsoft Azure、Amazon S3和Google云平台,同时提为客户所期待的、企业级存储一样的性能和安心。

■保护进云/云来的数据

CloudBoost 2.0无缝扩展客户现有的EMC数据保护解决方案(包括DPS数据保护套件和Data Domain)到弹性、可伸缩、横向扩展的云存储,让客户可以享有将公共云用作长期数据保留的经济好处。CloudBoost现在具有增强的总体性能、可扩展性和可管理性,使其更容易为客户在本地缓存数据,而后移动到云。CloudBoost提供了比上一代产品高3倍的吞吐率和15倍的数据容量。而且CloudBoost同时实现了数据消重和增量恢复,不需要复杂的云端计算基础架构。

■保护云中数据

EMC所属Spanning 现在具有增强的恢复和安全功能,以及在欧盟的区域部署。面向Salesforce 的Spanning Backup 提供了增强的SaaS数据恢复功能,使其容易为客户快速、方便地恢复丢失或删除的数据。同时,Spanning在欧洲的数据目的地选项,帮助组织机构遵循欧洲的数据法规。

■数据保护即服务

EMC服务提供商,在自家私有云部署数据保护即服务(DPaaS)的EMC客户,都可以受益于DataDomain 操作系统DD OS 5.7的新功能,包括增强的容量管理、安全多租户,以及密集的机架配置。

■简化的数据保护管理

最后,EMC了新一代NetWorker数据保护软件。NetWorker 9引入了新的全局策略引擎,旨在自动化、简化任意位置的数据保护流程。采用这一策略引擎,EMC客户将能够自动地在不同存储分级中移动受保护的数据,需要即时存取的受保护数据存储在本地,冷数据系统化地转移到更经济的云存储。此外,NetWorker 9现在可以集成EMC ProtectPoint,为Microsoft和Linux环境提供集成的、块级别的保护。

第4篇:数据云存储方案范文

网络、存储等这些IT服务,过去在企业内部都是独立存在的。随着IT整合的不断推进,现在这些服务之间的界限越来越模糊了,而它们之间的合作却越来越多。IT部门在这一过程中能够节约成本,提高服务能力,可谓受益匪浅。许多企业都发现,这一切都是在朝着云的方向发展。

SAN适用于存储成本较高、且用途单一的环境。由于数据中心骨干网络通过建立一条数据传输通道来存储数据,而现在的网络速度越来越快,这给IT的整合创造了发展机遇。通过基于iSCSI或FCoE(Fibre Channel over Ethernet)的IP网络,内部存储云变得越来越有吸引力。传统网络连接完全可以满足IP传输(如iSCSI、NFS或CIFS以及FCoE)的需求。

FCoE的出现是为了满足SAN向企业数据中心的拓展。许多数据中心都是用以太网来为SAN提供TCP/IP网络或光纤通道的。有了FCoE,光纤通道就成了与传统网络不同的另一种网络协议。因为FCoE直接运行于以太网络的协议栈中,而iSCSI则运行于TCP/IP。由于FCoE在IP层无法路由,也就不会工作在IP路由的网络上。

新的数据中心网络传输将包含多种协议,包括传统的TCP/IP和新的FCoE,同时继续支持外向型的网络信息和数据通信。

如果企业比较关注存储方面的预算,那么应该在考虑云之前做好相应的考察和准备。

什么是云存储

云存储是将目前正在使用的各式各样的后台技术,包括可扩展的冗余服务器、控制器、存储和软件,融合在一起建立一个存储的“云”。

云存储模型是从地理上互相分离的地点建立一些磁盘池,并将这些磁盘池看做存储的逻辑分区,然后一一复制这些分区,最后通过网络上的全局命名空间安全地将这些合并的存储显示给各个用户。

这些磁盘池具有重复数据删除、精简配置、高可扩展性、数据保护和简单管理等特性。除此之外,磁盘池还应包含带宽较高的通信网络,用来保证云存储的实现。

随着数据量的几何级增长,企业的IT预算不增反降,这给企业带来了巨大的挑战。目前,企业均在拼命地控制数据量、降低成本,而云存储可以帮助解决这些问题。

据统计,在企业的存储环境中,有大约60%到80%的数据已经过时,这些数据都应该存储在如下所示的第3到6层存储设备中。

第一层:经营活动用,高速;

第二层:经营活动用,中等速度;

第三层:SAN/NAS(中、高速度);

第四层:SAN/NAS(中、低速度);

第五层:内容索引存储(CAS);

第六层:虚拟磁带库(VTL)。

在大部分数据中心中,还有数量相当可观的非结构化数据和归档数据,这些数据也非常适合云存储。

内部云和外部云

云存储分为两类:内部的和外部的。外部云(也称公有云)的特征主要是由第三方提供。内部云(也称私有云)有很多与外部云相同的特征,但是服务是由企业自己提供的。

网络延迟是选择内部云还是外部云时必须要考虑的因素。外部云依靠互联网,主要适合第4层到第6层的数据。与其对应的是,内部云由于本地内部互联网的带宽较高,因此可以用于第3层以上的数据存储。

对于大部分IT部门来说,存储需求的弹性是决定内部云存储容量的重要因素。有些厂商可能会预测未来数据量将无限增长,并推销快速扩展能力、容错能力、动态扩展以及容量增长规划等特性,这些其实都是需要慎重考虑的。云不是解决数据无限增长的灵丹妙药,而是需要有效管理的商品。

另外,在实施之前,还需要定义和理解关键性能指标。通常我们认为,不活动数据仅需要占用提供给更高层存储性能的一小部分。不过,电子发现等并行活动除外。

响应时间和终端用户的体验也应当被考虑进来。云解决方案应当能够满足一定的服务等级标准或者操作等级标准。由于数据是通过内部网传输的,现有网络承载能力和潜力也应当作为一项考虑因素,主要是因为网络延迟会带来一些麻烦的问题。想要找到最佳的云解决方案,网络的独立性、数据的重复程度、地理位置的接近程度等统统需要考虑。

任何一种新技术在管理上的简单程度和实施起来的便捷程度都很重要。因为任何企业引进新技术的任务基本上都是由现有的内部员工完成的。

企业需要确定实施云存储的人员需求和职责,以及职责和工作时间的分配。这虽然不是纯技术问题,但考虑这个问题的过程有助于提高现有员工的综合素质。

确定云存储在企业内部是否切实可行还需要严谨的思考。首先,需要对数据中心的数据进行分析,从而确定有多少数据可以转移到云。然后,确定数据如何转移到云。最初的一部分数据应该是简单的拷贝过去的;其他数据可能需要借助某些工具按照事先设定好的策略进行迁移。

另外一个重要的问题是经济方面的可行性。外部云比较适合重视成本控制和拒绝风险的企业;其他企业将在研究了外部云的成本和风险以后选择内部云。

因为外部云的本质是服务,成本与数据存储量和合同时间长短有关。而内部云几乎需要传统内部存储需要的一切成本。

特性和功能

云存储可以仅仅是存储,也可以是计算和存储的结合。在云计算领域,有很多特性和功能,服务器和存储都可以虚拟化,并使用多种不同的网络协议相连接。在纯粹一些的云存储中,存储依靠的是以太网上的HTTP(S)、CIFS/NFS、FCIP/iSCSI或者FCoE协议。在基于块的存储中也可以实施云存储,不过需要在其之上使用某种工具来提供文件系统。

预配置、自动分层、重复数据删除、自动复制以及分布式解决方案等存储特性已经开始变成主流。

实施云需要警惕以下情况:

单个文件过大;

小文件数量过多;

文件的访问频率超过了链接协议的支持范围;

扩展云供应商有时会关闭预读缓存引擎,使终端用户数据恢复很慢。

收益与担忧

云存储的好处有很多,包括能够提高存储、网络等部门之间的协作,提供存储池的自服务访问功能等。云存储可以随着策略的改变自动调整,包括快捷的预配置、存储单元释放以及自动复制等。扩展云的主要问题有:数据的可用性、签名期限、缺乏定位控制、数据没有物理访问路线、网站新组建需要支持扩展云、对额外的带宽需求更高、对数据必须压缩和(或)加密,以及可能的法规遵从风险。

内部云可能出现的问题较少,但是用户仍然对其安全、管理、报警、更新和软硬件刷新等存在顾虑,还有就是内部云的成本也比较高。不过大部分这些顾虑在现有的存储体系下也存在,不是什么新鲜事。

云存储能够为用户快速地提供额外的存储,而不必劳烦存储管理员。将数据从一个平台移动到另一个平台、一个站点移动到另一个站点等都是全自动的,大大减少了存储管理员的工作负担。

用户在固定层实施云存储,比如备份或者存档等,将只需要设置一下策略,现有的工具就能够自动把数据转移到云存储中。

有些用户使用云的目的在于随着季节性波动能够快速增加存储容量,或者需要在数据测试环境中创建一份有用数据的拷贝,这时云会根据用户设置的策略释放一些临时占用空间,并在必要的时候将这些被释放的数据备份或存档。

最后,对于自己管理云存储的用户来说,可以尝试使用一些自动创建策略的解决方案。这些方案可能包括预配置和释放存储功能。

实施云服务的五个阶段有:

1. 集中管理IT,以实现规模经济和成本构成可视化,并有效控制IT服务。

2. 基于关键业务需求提供标准云服务。尝试为消耗大量资源的应用程序支持提供特殊的解决方案。提高质量、减少预配置时间、降低成本和风险的关键在于一致性。标准化是成功进行整合和实现自动化的前提。

3. 虚拟化并整合物理资源。虚拟化和资源整合能够增加资产利用率和存储效率。任何级别的基础设施都可以实施虚拟化;统一的存储、统一的光纤、虚拟化的服务器,由于应用程序和数据均十分灵活,资产利用率得到了提高,资产寿命循环管理得到了简化。资源池使产品市场化速度更快,并大量降低成本。

4. 自动化环境。一旦云服务和云过程实现了标准化,基础设施也实现了虚拟化,自动化就可以随之而来。自动化工具能够提高数据提取能力,简化整个工作流管理,使之更有效率。

5. 自服务和API的委托控制。控制权回到企业/用户手中是云服务模型成功部署的标志。在应用程序整合和拥有自服务能力以后,应用程序管理员和拥有者可以根据需求实现存储的弹性供给,根据企业情况选择不同的性能和数据保护级别,并在应用程序出现异常时自动恢复。不过这也会大大提高对管理员反应能力的要求。要想最大化实现和利用云服务,需要整个组织的协助才能推进各个阶段的顺利进行。

云存储标准

云存储标准可以帮助用户解决日益增长的数据的可访问性、安全性、移动性和成本问题,还可以帮助明确定义与数据所有权、归档、发现和搜索相关的角色和职责。围绕数据存储评估、保证和审计的服务水平协议(SLA)也将得到一致而明确的定义。2009年4月,全球存储工业协会(SNIA)宣布成立了云存储技术工作组(TWG),目前,TWG已拥有140多名成员。

同年6月,该工作组了第一个工作文档《云存储使用情境和参考模型》。根据该文档,TWG在2009年夏天提出了云数据管理接口(CDMI)标准。

2009年9月,工作组了0.8版本的CDMI规范草案,供公众浏览和评价。TWG的成员企业包括Bycast、思科、HDS、NetApp、QLogic、Sun和Xyratex等。这些企业在CDMI草案的过程中做出了卓越的贡献。CDMI 1.0版本的规范目前还处于草案状态。

CDMI规范致力于帮助云用户、服务提供商、开发者和IT硬件/软件厂商简化云存储的各个方面。更准确地说,CDMI定义了应用程序将用于在云中创建、搜索、更新和删除数据组件的功能接口。客户端将可以发现云存储服务的功能,并利用CDMI来管理封装器和其中的数据。此外,通过CDMI接口还可以在封装器和它们的数据组件上设定元数据。CDMI还可以用于行政管理和管理型应用程序,以便管理封装器、账号、安全访问和监视/账单信息,甚至还可以用于其他我们所熟知的协议所访问的存储,比如SAN、NAS、FTP、WebDAV和HTTP/REST。CDMI规范1.0版正在寻求SNIA批准。据悉,TWG成员正在进行一项CDMI参考实施,以便推动在该规范基础上的云存储部署。

第5篇:数据云存储方案范文

关键词:云计算 图书馆 海量数据存储 存储技术 虚拟技术

中图分类号:G250.73 文献标识码:A 文章编号:1003-6938(2010)03-0099-003

Research on the Library Mass Data Storage Based on Cloud Computing

Du Haining (Library of Lishui College, Lishui, Zhejiang,323000)

Abstract:As a result of mixing and evolving of many technologies, the new kind of commercial computation model---cloud computing---has many advantages such as being safe and reliable, capable of mass data storage, as well as easy and convenient to use. Distributed data storage technology and related virtual technology of cloud computing are used by the libraries so as to have a reduction of the storage and maintenance costs besides acquiring the benefits of being reliable and safe in storing the date and convenient in sharingdata between different devices.

Key words:cloud computing; libraries; mass data storage; storage technology; virtual technology

CLC number:G250.73 Document code:A Article ID:1003-6938(2010)03-0099-003

网络时代中,信息爆炸使得信息量呈指数型增加,近几年世界范围内磁盘存储系统的容量仍将以每年近80 %的速度递增。作为信息资源中心的图书馆面临与日俱增的信息资源存储问题,增大图书馆的信息资源存储能力,更大程度的实现信息资源的长效保存和资源共享成为图书馆人思考的一个问题。作为一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,成熟度较高,又有大公司推动,云计算已越来越成为人们热议的焦点话题。在云计算的模式之下,图书馆的海量数据可以存储在通过互联网连接的任何一台电脑或终端设备,并通过网络来高度共享使用,[1 ]能解决困扰图书馆的数据存储和共享等问题。

1 图书馆数字资源存储现状概述

1.1 图书馆数字资源存储方式及比较

目前,国内图书馆数字资源存储方式主要包括DAS(Direct Attached Storage,DAS,直接附加存储)、NAS(Network Attached Storage,NAS,网络附加存储)、SAN(Storage Area Network,存储局域网络)三种。

(1)直接附加存储(DAS)。直接附加存储是指主机与存储设备之间的直接连接,存储设备通过SCSI或ATA作为数据接口的存储方式。[2 ]是目前国内比较成熟的数字资源存储方式,具有标准统一、兼容性好等优点,但面对指数型增长的信息量,DAS存储方式存在可靠性和安全性较低的缺陷。当存储服务器出现故障时,将会导致存储设备中的数据不能被读取。其次,DAS的扩展性差,因为DAS 没有独立的存储操作系统,不能提供跨平台的文件共享功能,各服务器不能共享原有的DAS设备。另外,由于受服务器性能的局限,以及DAS数据存储模式是分散的,各系统下的文件必须分别存储,容易形成信息的孤岛,不利于资源的共享。

(2)网络附加存储(NAS)。网络附加存储是指直接接在网上的存储设备,实际上NAS是一台专用的存储服务器,数据通过网络协议进行传输。[3 ]网络附加存储支持异构服务器间的数据共享,在资源存储的可靠性方面也有所改善,但NAS的数据备份时消耗较多的通信带宽,导致数据传输速度过低,另外NAS不支持数据库服务,因此不适合大型数据库的应用。NAS依然存在扩展性较差的缺陷,由于受到设备容量的限制,新增加的NAS设备与原有的设备不能很好的集成,这就导致NAS对数据的备份恢复实现起来相当困难。除此之外,NAS技术所需投入的成本很高,因此不能得到较为广泛的应用。

(3)存储区域网络(SAN)。存储区域网络是独立于服务器网络之外的高速存储专用网络,其将存储子系统网络化,实现真正的高速共享存储目标。[4 ]SAN是继DAS、NAS之后出现的新兴存储技术,其具有传输速度快,扩展能力强,共享能力高以及可靠性、安全性好的特点,因此SAN成为现在社会主流的存储解决方案。尽管如此,SAN依然存在难以改变的缺陷:由于SAN是在DAS和NAS的基础上发展起来的,其技术必然复杂难懂,技术实现要求也过于苛刻。庞大繁杂的技术要领必然带来软件升级困难和投资成本过高的问题。

1.2 图书馆数字资源存储存在的问题

各种存储技术没有统一技术标准是目前国内数字资源存储存在的首要问题,使存储系统从立项到实施均无据可循,建设效果千差万别,阻碍了计算机与存储设备之间的高速互联,甚至难于实现大容量数据共享的解决方案。其次是数据快速备份和恢复能力的缺乏。现阶段各图书馆的海量数据存储系统或大或小的存在系统不稳定的问题。由于各存储技术不同程度的存在着该技术不能攻克的技术缺陷,任何技术都无法保证存储系统百分百无故障。在这样的情况下,为了保证数据的安全性就必须建立切实有效的数据备份和恢复方案。最后,为了达到图书馆数字化、信息化的要求,各图书馆对海量数据存储系统建设的资金投入不理性。盲目追求现代化主流技术导致图书馆没有清楚的了解自身需求,并且对建成后系统运行维护费用等缺乏理性分析,因此造成所建存储系统后期投入更多或投入大量资金却无法满足自身需求的现象。

1.3 图书馆数字资源存储的需求

随着网络信息服务的发展和数字信息资源的指数增长,人们在追求信息存储系统容量扩增的同时,开始越来越多的关注信息存储在有效性、安全性和存储效率等方面的问题。针对目前社会较高的数字资源存储要求,图书馆作为信息资源中心为用户提供各种信息服务,必然要在数字资源存储上迎合社会发展的需要。

(1)高性能的存储系统。将传统图书馆资源数字化并通过现代化存储技术进行存储的目的在于提高图书馆信息资源的使用效率,在此基础上建立的存储系统、存储服务器必须拥有较高的性能。目前图书馆用户对信息的需求量增加迅速,导致存储系统的访问量较大,这就要求相应的数据流量也比较大。为了加快存储系统的数据相应时间,必须采用高性能、实用性强的存储系统。

(2)可靠完整的存储方案。在实际工作中,各种不可抵抗的自然灾害和人为破坏都有可能造成存储系统的崩溃,为了提高数据存储的安全性,图书馆必须保证数据存储在任何条件下都保持可靠完整性,存储系统或存储设备出现故障时也不会出现数据损坏和丢失的现象。这就需要图书馆的信息存储系统建立一个能应对这些危机的存储方案,如:本机、本地备份,异机、异地备份,甚至是远程容灾系统等,以保证存储数据的安全可靠。[5 ]

(3)高度的扩展性存储接口。由于国内图书馆资金有限,对数字资源存储系统的投资不可能一次性到位,所以存储方案必须考虑高度的扩展性。一方面存储系统必须适应多厂商、多平台和多系统的持续发展,支持异构环境下的多系统多平台服务;另一方面,考虑到图书馆业务的发展必然导致数字资源的增长,因此存储系统的建设必须充分满足数据增长对存储系统扩容的要求。

(4)适度投资的存储原则。图书馆在海量数据存储问题上应该量力而行,根据图书馆的规模及财力选择适合本馆的海量数据存储方案。若存储方案没有考虑图书馆已有数字资源存储设施,而另行开发建立新的存储方案,这样不仅造成重复建设浪费资源,而且增加了许多不必要的资金浪费。因此,如何保护原有存储系统建设,减少海量数据存储的投资成本是构建海量数据存储时要考虑的关键问题。

2 基于云计算的图书馆海量数据存储

2.1 基于云计算的图书馆海量数据存储技术需求

在图书馆海量数据存储中的云计算技术是以计算服务器为核心,动态部署虚拟的硬件服务器。用户可以实现“无处不在”的访问,同时也和Web云上的用户共享流量和计算能力。[6 ]满足实现图书馆海量数据存储和操作需求的云计算关键技术需要:

(1)采用分布式存储进行数据存储实现云计算对图书馆海量数据的存储,并采用冗余存储的方式来保证存储数据的可靠性。通过云计算这两个技术将每个图书馆所有数字资源存储在“云”中,并由“云”来管理和调度这些海量数据,利用分布式的数据存储技术和与之相关的虚拟技术使得整合后的图书馆海量数据更加统一有序,实现图书馆数字资源的完全整合。

(2)为了满足多用户对数据的操作,云计算的数据存储技术必然具有高吞吐率和高传输率的特点;同时云计算要求硬件资源与软件资源能够更好的被共享,且具有良好的伸缩性。这就要求云计算在图书馆海量数据存储系统开发时必须具备多用户技术。此技术主要表现在两方面:其一是基于云计算的海量数据存储系统能够服务于大多数用户,且具有非常容易的伸缩性;其二是该技术提供的附加业务逻辑可以使用户对SAAS平台进行扩展来满足图书馆多用户同时进行数据操作。

(3)云计算环境下对海量数字资源进行实时监控和管理,解决图书馆中的资源种类多、规模大,对资源实时监控和管理困难的问题。从云计算技术的资源调度的粒度来看,虚拟机内部应用的调度是云计算技术中最受人们关注的技术。

2.2 基于云计算的图书馆海量数据存储系统特点

(1)确保了海量数据存储系统的可靠性和数据安全性,用户不必再为数据丢失、系统瘫痪等问题感到困扰。在确保存储系统可靠性的问题上,云计算技术最大限度地降低了服务器的出错概率。云计算模式中海量数据不再是存储于某个图书馆的服务器上,而是存储在“云” 中的上百万台服务器,因此即使“云”中的某台服务器出现故障,在云端会有其他服务器作为替补来代替崩溃的服务器进行工作。显然云计算模式下不会造成数据的损坏和丢失和图书馆海量数据存储系统的瘫痪。

(2)通过云计算,图书馆可以轻松的实现不同设备间的数据共享。图书馆作为信息资源具有向用户传播信息、使用户以最大的限度获取知识和信息。传统模式下,用户在特定的图书馆中只能获得该图书馆提供的资源,即使该图书馆与其他馆之间有共享工程建设,用户获得共享资源的程序也相当繁琐,且非常有限。通过云计算模式,相关图书馆之间可以共同构筑图书馆的共享空间,来自于任何图书馆的数字资源统统存放在“云”中,用户只需将其电子设备连接至互联网,就可以访问和获取所需的任何数据。

(3)基于云计算的图书馆海量数据存储方式提高了信息资源的更新速度。只要是通过云计算技术来开发海量数据存储的图书馆都会经常修改和添加新的信息资源,这种图书馆间互相补充的信息存储使用户可以获取到世界上最新的资料和信息。

(4)云计算的出现使图书馆存储系统的扩展能力得到大大的提高。因为“云”提供无限的空间和计算能力,使得图书馆在社会变迁过程中不必再为海量数据存储系统的扩展问题烦恼。同时也防止了图书馆海量数据存储系统扩展时对原系统的摒弃和对存储系统的重复建设。

(5)各图书馆无论规模大小都存在资金不足的现象,云计算模式的出现大大降低了海量数据存储系统建设和维护成本,而云计算技术可以通过少量的费用让图书馆获得“云”中上百万台服务器提供的服务。云计算对用户端的设备要求很低,图书馆管理员无需担心相关硬件升级的问题,另外在“云”端有专业的工作人员维护硬件,无需图书馆管理员劳神。

3 云计算图书馆海量数据存储的思考

云计算将图书馆海量数据存储带入了新的时代,是图书馆海量数据存储的变革性突破。然而时代在变迁,图书馆及其用户对海量存储系统的要求也在不断地提升,因此无论多么完善的技术都会遇到瓶颈问题,云计算技术当然也不例外。为了使图书馆海量数据存储的云计算技术走的更远,图书馆应该从各个方面找到云计算已经遇到或可能遇到的瓶颈问题,对其进行改进,使其更好的为图书馆和用户服务。首先,在云计算模式下,各个加入云计算模式的图书馆之间可以通过有关的协议共享彼此的信息资源。[7 ]虽然这样丰富了信息资源的内容,但同时也带来了版权纠纷的问题。因此,为了解决版权问题尽快制定合理的解决方案乃当务之急。其次,云安全问题一直是人们心中的疑虑,云中上百万台服务器提供了数据快速备份和恢复机制,但云端的安全性是否也同样值得我们信任呢?为了进一步保证设备和数据的安全,必须严格加强云端安全机制的建立和完善。

云计算为图书馆用户提供了一个更为简单、廉价的资源共享模式。然而任何事物都是机遇与挑战并存,为了使云计算技术更加完善的应用,它就必须迎合了大部分用户的需求,不断解决云计算在应用过程中遇到的各种问题。只有这样才能使云计算的图书馆海量数据存储真正发挥其本身的价值。

参考文献:

[1]黎春兰,邓仲华.论云计算的价值[J].图书与情报,2009,(4):42-46.

[2][3]周敬治,修蔽蔽.数字资源存储系统的构建模式及比较研究[J].情报杂志,2006,(11):106-108.

[4]刘姝.对高校图书馆建设数字资源存储系统的思考[J].大学图书馆学报,2008,(6):75-78.

[5]严庄.图书馆数字资源存储技术方案研究[J].四川文理学院学报,2007,(6):108-110.

[6]周舒,张岚岚.云计算改善数字图书馆用户体验初探[J].图书馆学研究,2009,(4):28-30.

第6篇:数据云存储方案范文

DDN总裁兼联合创始人Paul Bloch认为现在是个好时机,“DDN是内容存储和云时代高可扩展存储方案的先驱,在中国广阔的云计算和高性能计算市场上,未来五年DDN将大有可为”。

金刚钻与瓷器活

虽然在规模上与前三名相比还有很大差距,但Paul Bloch认为,DDN的特长在于技术。它能解决的问题,很多时候竞争对手还难以解决,尤其是在有高吞吐量、高实时性要求的应用领域,技术方面的领先优势决定了DDN日后还将高速成长。

相比传统数据库应用中可预期的结构化数据增长,声音、图像、视频这类非结构化数据的增长速度惊人,云计算、移动互联网和物联网更导致非结构化数据产生的过程将是“爆炸性”的。为了对数据进行智能化分析,相当一部分数据要被长期储存以供灵活调用。“这类应用领域在DDN的市场范围内。”Paul Bloch说,DDN提供的存储系统正是以服务于超大数据量和高带宽应用而著称的。

的确,在HPC和内容核心存储领域,DDN是当之无愧的明星供应商。去年底的HPC Top500榜单显示,前十名中有八套系统采用了DDN存储。“我们刚刚为中科院过程所安装了一套存储系统,DDN产品的读写性能是其他厂商的十倍;中央电视台在2008年奥运会转播以及电视、电影后期制作时,对很多产品都做了测试,最后选定了DDN。”

Paul Bloch介绍说,在美国,DDN的用户有做核武器的,也有研究生命科学的,还包括很多如空中客车、波音、环球影城这样的大公司。“我们的合作伙伴IBM、HP、DELL早已把DDN存储带往全球,为超算中心、云计算中心和一些企业级数据中心服务。”

DDN选择在各地都与合作伙伴联手。比如在中国的HPC市场,DDN与浪潮、曙光都有合作,在富媒体领域,索贝和大洋也都是DDN的合作对象。Paul Bloch对这几年DDN在HPC、富媒体、政府数据安全,包括中国平安城市项目上的业务拓展非常满意。

存储云,我所欲也

在现有产品线中,DDN把产品分为优化应用、阵列平台、文件存储和云存储四大类别,分别面向不同应用。

除了在硬件设计上占地小、耗电低之外,DDN更突出的优势是技术专家以硬件平台搭配不同的文件系统,并拥有众多解决各类复杂应用存储问题的成功案例。“它们帮助用户优化系统,提供更高的价值。”Paul Bloch说。

常规产品的高性能为人称道,在云存储方面,DDN也是先行者。在云时代,存储工程师必须要处理分布在各地数据中心的大量数据,并设计出能让内容在多处实现同步的方案。而传统存储解决方案遭遇的挑战,最主要的原因在于设计初衷就是用于单一位置部署。在云时代,旧机制导致传统方案越来越不能满足要求。在数据量提高到PB级时,内容分发的成本也显得过于高昂。

第7篇:数据云存储方案范文

公司背景:杭州瑞网拥有国内领先自主研发技术,并与浙江大学等高校建立了科研合作关系,拥有一支高素质、高学历的团队,已成为国内少数几家具有自主研发能力并具有广泛用户群体的存储设备厂家。

技术实力:杭州瑞网专注于行业技术创新,坚持以持续自主核心技术的存储产品为客户不断创造价值。产品拥有多项技术专利及软件著作权,并先后通过公安部、中国电信、中国联通、国家保密局等机构相关认证。另外公司与浙江大学联合申请了多个省部级科技重大专项。

企业产品:杭州瑞网拥有完整、全面的产品线和融合存储解决方案。存储产品含有IP存储、FC存储和云存储三条产品线。同时杭州瑞网一直关注云计算、云存储领域,并将云存储视为公司核心技术和重要的发展契机。其中TriNet-Cloud就是杭州瑞网倾力打造的全面完整的云存储解决方案。

该方案采用TriNet NVR集群,实现海量数字/模拟摄像头的接入。前端支持码流高达12Mbps的高清摄像机,支持基于SDK的二次开发;同时内置接受、编码模块,将视频流存放在高性能RAID阵列上;支持业内Onvif标准开发协议;后端支持TriNet-Cloud云存储系统。其核心是将控制通路(元数据)和数据通路(数据读或写)分离,充分分离计算和存储资源。该方案采用业内领先的海量分层云存储功能,确保数据保密稳定。

尤其运用自主研发的云存储系统TS 6000C,采用并行存储节点设计,降低对整体系统的影响。考虑到存储层的高可用性,在本地部署两台TS 6000C并通过物理手段进行防火、防雷等隔离防护。另外结合TriNet HA软件的同步I/O技术,实现ms级两台数据和服务一致。

远端数据通过异步备份技术实现对历史数据的回溯。它同时具有定时备份、差量备份,并可在网络压力较小的环境中,实现全盘数据的镜像从而达到异地灾备中心的目的。杭州瑞网产品在不同级别均实现了数据安全保护。

第8篇:数据云存储方案范文

关键词:云计算;档案云;档案信息化

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2013)20-4746-02

1 云计算的概念

云计算(Cloud Computing)是分布式计算、效用计算、并行计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展相融合的产物。采用云计算技术,用户可以通过互联网随时随地获得自己所需的各项服务,云中的各种资源用户都可以随时获取,按需使用,随时扩展,并按实际使用支付相应的资费。云计算的核心思想是将通过网络连接的各种计算资源统一管理、调度,将其构成一个大规模的计算资源池,向各类用户提供按需服务。

云计算包括三个层次的服务:基础设施即服务(Iaas)、平台即服务(Paas)和软件即服务(SaaS)。

基础设施即服务(Iaas):是指用户通过互联网从厂商提供的计算机基础设施获得服务。为了实现Iaas服务,厂商把网络中多台服务器组成“云端”基础设施,将内存、I/O设备、存储和计算能力等整合成虚拟资源池,为网络中各类用户提供所需的存储资源和虚拟化服务器,而用户则按需租用各种硬件设施。平台即服务(Paas):是指将软件开发平台作为一种服务,以SaaS的模式提供给用户使用,Paas厂商为用户提供应用程序的开发环境、服务器平台和各种相关的软硬件资源。用户可以在该平台上开发自己所需要的各种应用程序,并通过服务器和Internet为其他客户提供服务。软件即服务(SaaS):是指服务厂商把用户所需要的各种应用软件统一部署在自己的服务器上,根据用户所定制的软件类型、数量、以及使用时间的长短来计费,并通过浏览器向客户提供软件、软件的运行环境及其软件的维护和管理。在这种模式下,客户可以通过自己的终端接入互联网,并随时随地使用自己订制的软件,从而节约了大量用于配置硬件、软件资源和系统维护的开销。

2 云计算的关键技术

云计算系统主要采用了编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术等五种关键技术。

编程模型:云计算采用了类似MapReduce的编程模式,以便用户通过编写简单的程序就能实现自身所需的一些特定功能。MapReduce是Google公司开发的基于java、Python、C++的编程模型,是一种简化的分布式编程模型,具有高效的任务调度功能,主要用于大规模数据集(通常是大于1TB)的并行运算。

数据管理技术:云计算系统由大量服务器组成,为大量客户服务,采用分布式存储方式来存储数据,系统使用冗余存储的方式来保证数据的可靠性。在使用过程中,客户与主服务器的信息交换只限于对元数据的操作,所有数据通信都直接和块服务器联系,从而大大提高了系统的效率,有效降低了主服务器负载。云计算系统使用的数据存储系统通常是Google的GFS和Hadoop开发的HDFS。

海量数据存储技术:云计算系统通常需要对海量的分布式数据进行分析、处理,因此数据管理技术必须能高效管理大量数据。现有的数据管理技术主要是Google的BT(BigTable)和Hadoop的开源数据管理模块Hbase。BT(BigTable)是建立在GFS、Scheduler、Lock Service、MapReduce之上的大型分布式数据库系统,它把所有数据看作对象来处理,形成一个巨大的表格,用以分布存储大规模结构化数据,从而有效解决数据的海量存储。

虚拟化技术:使用虚拟化技术可以将软件应用和底层硬件隔离开。它包括将单个资源划分成多个虚拟资源的裂分模式和将多个资源整合成一个虚拟资源的聚合模式。

云计算平台管理技术:云计算平台管理技术能够使大量的服务器协同工作,有效地进行各种业务部署,快速发现并恢复系统故障,通过智能化、自动化手段来实现大规模系统的可靠运营,从而实现对分布在不同地点的服务器的有效管理,保证系统提供不间断服务。

3 云计算在高校数字档案馆建设中的应用

高校档案云是指建立在云计算技术基础上,利用信息化手段,对高校数字档案按信息进行收集、管理,实现档案信息资源共享的超大规模分布式数字网络档案信息系统。它是云计算面向档案领域提供的一种应用服务。它将云计算的优势运用于档案领域,通过互联网为用户提供档案的信息化服务,能够有效地实现数据的安全可靠性、对客户端需求也很低、并且能轻松实现数据的共享。档案云显著的优势能为高校档案的信息化建设提供有效途径,档案云的发展也为高校档案云建设提供了依据。

第一,云计算为高校档案云基础设施建设提供了保障。云计算为用户提供了包括服务器、网络连接和存储设施所需的各种硬件资源和基础软件服务。在云计算服务系统中,云计算机将庞大的计算处理程序拆分成无数个较小的子程序,再交由多部服务器组成的云计算服务系统进行分析处理,并将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大的网络服务。云计算数字化档案管理系统就是由云计算服务提供商将应用软件部署在自己的服务器上,通过浏览器向高校档案馆提供软件平台,并由服务提供商维护和管理系统,提供软件运行、维护的基础硬件设施。高校档案馆根据需求通过互联网向厂商订购应用软件服务,支付一定的租赁服务费用后,即可享受相应的硬件、软件和维护服务。其动态、可伸缩的架构,能满足档案信息化管理的各种应用服务和用户规模不断扩展的需要。通过使用云计算可以大大降低高校档案馆用于升级档案管理服务器软硬件的各种开销,以及用于档案管理系统的管理、维护所需的人力需求。云计算系统为云计算用户提供必要安全可靠的网络连接。云计算环境下数据中心专门的安全实时监测、严格的权限管理、数字加密、传输加密、防篡改、防攻击、防火墙等安全保障服务能有效保障高校档案信息资源的安全性。云存储是指云服务提供商通过集群应用、网格技术或分布式文件系统等功能,将互联网中各种不同的存储设备连接起来并协调工作,实现访问和链接功能。高校档案的信息化建设中电子文件档案日益成倍增加,各种图形、图像、音频、视频等电子文档以及电子文档的备份都需要占用大量的存储空间。云存储拥有的无限量的海量存储空间,可以存储和处理TB级乃至PB级的海量数据,高校档案馆通过租用云存储就能安全有效地实现档案数据的存储和备份。

第二,云计算为高校档案云平台建设服务提供了便利。云计算平台可以分为三类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台、以计算和数据存储处理兼顾的综合云计算平台。包括中间件服务、本地与云端的通信服务和数据库服务。平台通过应用JavaScript、Flash、Silverlight、并行处理、分布式缓存等技术,以友好的方式展示用户所需内容,实现数据的海量处理,提供可扩展的数据库处理能力,有效降低后台服务器压力,提高系统的访问速度。高校档案云用户也可以通过该平台构建自身所需的各种档案业务应用系统,实现档案管理系统的功能扩充,从而满足不同用户的需求。

第三,云计算为用户提供面向终端的各种应用系统。档案云系统将为用户提供各种数字档案馆所需的应用系统,包括档案资源管理系统、档案数字化加工系统、各种常用的办公自动化系统、网站信息资源系统等。档案云应用到高校数字档案馆后,终端用户只需要在自己的终端上通过访问档案云系统提供的应用系统就可以完成相关工作不需要在自己的终端安装部署大量的相关应用软件,从而降低了终端机的软硬件配置成本,也大大提高了终端的运行速度,并为用户提供不间断的高效服务。

第四,云计算使得高校档案可以高效地实现数据共享。通过互联网、移动互联网提供的面向海量信息的处理模式,能更加高效地实现数据的共享,也避免不同高校档案部门之间对同一档案信息资源的重复冗余建设。目前,各高校数字档案馆建设进程飞速发展,档案资源丰富,但共享程度低,档案资源的利用率低,使得开放的档案信息资源没有被充分利用起来,从而无法体现这些重要档案的自身价值,也造成档案资源的严重浪费。同时档案资源与其他公共资源不同,部分未解密档案要求严格的保密、安全性,为了能更加有效地实现档案资源的共享,各高校档案馆可以对本馆馆藏资源进行甄别,将适合公开的资源置于公有云中,以实现档案信息的共享;而那些具有保密级或安全需求的档案资源则放入私有云中,以便为特定的用户提供档案资源的查询利用服务,从而切实有效地保证档案资源的安全与有效利用。

4 小结

随着云计算技术的成熟,档案云应用的深入研究,建立高校档案云并将其应用于高校档案馆,将有效解决高校档案信息化建设中存在的经费、技术和人才需求等各种问题。然而,档案作为一种特殊的共享资源,无论通过加密技术、防火墙、私有云、文件内容过滤等各种技术的应用,还是通过法律法规的约束,其数据的安全问题仍然是有待解决的。

参考文献:

[1] 蔡学美.档案云技术应用于档案信息化建设[J].办公自动化,2012(6):14-17.

第9篇:数据云存储方案范文

存储技术日新月异,在数据存储和文件分享方面,有实体存储、云存储、虚拟存储和软件定义存储及纯闪存阵列,各存储方式都有各自的优缺点,企业需要根据特定的环境来选定合适的存储方案。仔细看来,云存储在企业文件分享上有用武之地,而且适用面比较广。

云存储可以充分利用现有硬件的存储能力,分布计算,提高存储能力,云存储分为公有云存储和私有云存储,对企业客户来说,使用公有云存储最大的顾虑是数据安全,但是私有云存储就能很好的解决这个问题。

实体存储是存储行业的大趋势,主要原因是非结构化数据的飞速增长或传统数据存储的局限性。在选择私有云储存时要考虑云存储的技术实现,选择基于实体存储解决方案的产品。这里以企业云盘为例,介绍企业在文档和数据存储方面的管理。

在技术解决方案上,企业云盘一般分三层,最底层是硬件资源和云管理平台,充分利用公司现有的存储硬件。中间一层是云存储核心部分,实现云存储的数据管理,基于实体存储的设计思路,突破操作系统对文件管理的局限性。商务逻辑为企业用户定制,含企业特有的模块和功能。最上面的一层是应用层,荣之联提供不同终端的软件供用户安装,终端软件和云存储对接,做数据交换。对员工而言,终端软件就是企业云盘。

那站在企业的角度来看,运用企业云盘这种私有云存储能给企业带来怎样的好处了呢?

1.数据更加安全高效:私有云存储是部署在公司的防火墙内,受公司的安全机制管制,还能轻松管理每个员工的读写权限。同时文件分享可以让员工在无VPN的情况下读写文档,公司内部无需安装文件服务器,而且企业云盘拥有去重的功能,对硬件资源的利用更充分,大大减少硬件资源的浪费。还能支持各移动终端进行移动办公,无须担心数据同步问题。

2.文档分享、搜索更快捷:群组概念提供更灵活的分享途径。员工可以创建项目组、兴趣组、部门组、公司组。群组的概念让文件分享更加有针对性。企业文档被集中管理,员工可以在创建的不同层面上做搜索。

3.更优的用户体验:企业云盘和用户的电脑无缝集成。用户无需改变使用习惯就可以充分享受云存储的好处。备份,同步自动在后台进行,优化的算法也充分利用网络带宽。用户也可自设上传下载的速率。同时荣之联创新的分布式部署极大降低对带宽的要求。用户的数据首先是存放到最近的服务器,读写更快捷。

4.审计和版本管理:云盘自带审计和版本管理功能,可以轻松地恢复到以前的版本。

5.API 支持:企业云盘可以部署为云存储。企业内部的应用可以直接调用云存储的API来读写数据。是真正意义上的企业私有实体存储(Object Storage) 。

任何东西都有两面性,企业云盘在给企业带来好处的同时,也存在一些缺陷,而企业云盘最大的缺陷是对带宽的依赖。