数据库技术在大数据的应用

摘要：互联网技术发展非常惊人，大量的数据产生。在云计算高速发展的今天，大数据结合数据库集群技术，提升了数据处理的效率。

关键词：大数据；数据库集群技术；分布集群

一、分布集群数据库在大数据中的应用

目前，许多数据增长率很高的大型数据库系统正被用于改善全球人类活动，如通信、社交网络、交易、银行等，分布集群数据库已成为提高数据访问速度的解决方案之一。为多种类型的用户在多个存储中组织数据访问，分布集群数据库的问题不仅在于如何管理大量的数据，而且在于如何组织分布式存储中的数据模式。智能数据组织是提高检索速度、减少磁盘I/O数量、缩短查询响应时间的最佳方法之一。基于规则的聚类是提供数据库自动聚类和数据存储模式解释的解决方案之一，基于规则的集群通过分析属性和记录上的数据库结构，将数据模式表示为规则。使用不同规则池分区的每个集群，每个规则与内部集群中的规则相似，与外部集群中的规则不同。分布集群数据库是一种有向图结构的进化优化技术，用于数据分类，在紧凑的程序中具有显著的表示能力，这源于节点的可重用性，而节点本身就是图形结构的功能。为了实现基于规则的集群，分布集群数据库可以通过分析记录来处理数据集的规则提取。分布集群数据库的图形结构由三种节点组成：起始节点、判断节点和处理节点。开始节点表示节点转换的开始位置；判断节点表示要在数据库中检查的属性。分布集群数据库规则提取的节点准备包括两个阶段：节点定义和节点排列。节点定义的目的是准备创建规则，节点排列是选择重要的节点，以便高效地提取大量规则。节点排列由以下两个顺序过程执行，第一个过程是查找模板规则，第二个过程是结合第一个过程中创建的模板生成规则。提取模板以获得数据集中经常发生的属性组合。在模板提取过程中，分布集群数据库规则提取中只使用了少数几个属性，它旨在增加获得高支持模板的可能性。与没有模板规则的方法相比，该节点排列方法具有更好的聚类结果，这两个过程中的规则生成都是通过图结构的演化来实现。

二、在线规则更新系统的应用

在线规则更新系统用于通过分析所有记录从数据集中提取规则，在大数据应用中，每个节点都有自己的节点号，描述每个节点号的节点信息。程序大小取决于节点的数量，这会影响程序创建的规则的数量。起始节点表示根据连接顺序执行的判断节点序列的起始点，开始节点的多个位置将允许一个人提取各种规则。判断节点表示数据集的属性，显示属性索引。在大数据应用环节，从每个起始节点开始的节点序列用虚线a、b和c表示，节点序列流动，直到支持判断节点的下一个组合不满足阈值。在节点序列中，如果具有已出现在上一个节点序列，将跳过这些节点。在更新每个集群中的规则时，重要的是要找到与最新数据不匹配的属性。因此，规则更新中要考虑的属性由以下过程确定。当计算集群中每个属性和数据之间的轮廓值时，阈值设置为0.85，只有轮廓值低于0.85的属性。将为规则更新过程中的判断节点的属性选择。一些数据的库存值和权重值低于0.85，因此这些值不包括在国民生产总值的规则更新中。在线规则更新系统中包含用于更新规则的属性，每个集群都具有属性的主要值，这些属性是集群质量的锚定点，进而影响轮廓值。在线规则更新系统应用中，完成主要的规则提取过程，这是一个标准的规则提取，在线规则更新系统考虑到数据集中的所有属性。执行该过程，对初始数据集进行初始集群；改善规则更新过程，仅对轮廓值低于阈值的数据执行。

三、大规模并行处理技术的应用

大规模并行处理技术主要用于编写和调试现代处理器的程序，而不是本地汇编程序，所有的书面代码都是从C/C++语言翻译成一个低级的核心汇编程序。在大数据应用中，会产生很多数据，在数据的分析和计算中，应该结合编程技术，标准语言是面向传统体系结构的，这就是为什么编译器不能使用所有可能的DSP体系结构以最佳效率生成代码的原因。为了获得一个良好的优化代码，有必要直接在低级汇编语言上编写代码。为了简化编写程序的任务，可以在某个处理器上使用面向代码生成器。使用一个专门的汇编代码生成器，使用并行结构化的编程语言可以获得比在C/C++中翻译的应用程序更高效的代码，生成高效的汇编代码，该代码积极利用DSP内核的并行性和其他特性。低级汇编代码是由所有编译器生成的，但是它们与传统的基于文本的语言（如C/C++）一起工作。大数据应用环节，在数据分类和计算中，当两个计算操作在不同的操作单元上执行时，才能在一个dsp核心的vliw命令中并行执行两个计算操作。根据运算执行单元的不同，计算运算可分为op1和op2两种类型。属于不同组使得在一个命令中执行两个操作成为可能。第一种类型包括由算术和逻辑单元执行的操作，第二种类型包括由乘法器、移位器ms执行的操作。在模板中，标记“1”表示第一种类型的标识，标记“2”分别表示第二种类型。如果两个操作具有不同的类型并且没有数据依赖关系，则可以进行并行化，DSP核心的并行性是通过在一个核心中存在多个操作单元来保证的。在大数据计算和分析中，如果有足够多的通用寄存器来执行这两个操作，并且它们可以并行执行，代码就会并行化，提升数据计算的效率。

四、结语

如今，计算机技术发展非常迅速，大数据得到广泛应用。在海量数据产生后，应该结合数据库管理相关技术，提升数据管理的效率。

参考文献

[1]胡世昆.分布式数据库技术在大数据中的应用[J].电子技术与软件工程,2019(01):153.

[2]贾鑫.探析分布式数据库技术在大数据中的应用[J].计算机产品与流通,2017(12):3-4.

[3]陈雪.分布式数据库技术在大数据中的应用[J].科技传播,2016,8(12):108+120.

作者:袁霞 单位：广安职业技术学院