大数据时代的数据挖掘及应用

摘要：结合大数据时代的基本内容，从大数据的特征出发，笔者探讨了数据挖掘的功能及应用，并在此基础上重点分析了大数据的数据挖掘发展应用以及前景，希望能够推动信息社会快速发展。

关键词：大数据；信息时代；数据挖掘；发展前景

1大数据的概念

大数据是数字化时展的必然产物，其并非产品，也无所谓技术范畴内容。对于大数据的理解，不应仅仅理解为非常巨大的数据量，结合战略眼光来看，还应该包括数据的专业化处理方式。根据基维百科的解释，规模巨大到无法用当前软件处理的数据资料量则是大数据，并能在一定的时间内进行管理和处理，有利于实现经营目标。而结合麦肯锡研究所的定义，大数据则可以看作为数据的集合体，并能够在特定时间范围内，没有方法利用传统软件来实现数据管理、存储、采集等操作。在上述定义中，能看到大数据的特点，但具有一定的狭义性。从广义角度来分析，所谓的大数据，不仅包括大数据技术，还涉及整体的大数据科学以及相关的工程内容。在信息化时代，大数据时代则是必然的发展趋势，如何进一步深化对于大数据的理解，并充分利用好相关服务能力，则是体现出未来社会竞争力的必然趋势。

2大数据的特征

在信息化时代，数据可谓无所不在、无处不在，大数据已经超越了“云计算”“物联网”等，已经开辟了崭新的大数据时代，其主要的特征主要表现在以下几个方面。第一，高度流动。相比于传统的数据流动，其流动速度主要涉及数据的获取、存储以及分析并处理有价值数据的速度，而对于大数据来说，考虑到其具有非常庞大的数据数量，其数据流自然具有快速变动的特点，其必将获得高速的数据处理速度，传统的处理方式已经表现出很大的问题，现在已经从TB级上升到PB级。第二，大数据的种类非常多。在信息社会的快速发展过程中，传感器的应用范围越来越广，人们的生活也越来越依赖社交网络、智能设备，从而自然会出现多种类型的数据。当前，在大数据类型中，除了传统的音频、网页、文档、视频以及邮件等，正在出现多种多样的数据类型，其往往包括板结构模式、不具备结构模式等类型。第三，数量巨大。所谓的大数据往往涉及超过10TB规模的数据量，在新时代，随着信息技术的快速发展，这必然是大势所趋。当前，随着集成电路成本不断降低，仪器智能化水平不断上升，出现了大量的存储数据。在不断认识新事物的过程中，各种仪器层出不穷，并通过相应的存储数据来描述事物的部分或者全部。为了能够实现信息传递的即时性，大量的通信工具，特别是在机器影响机器传递方式的情况下，必然会产生大量的数据。第四，低价值密度。在大数据时代，有意义的数据信息所占比例越来越低，不断增加了获取有效信息的难度。比如，对于“4V”来说，不仅意味着巨大的数据量，也必然会产生更加复杂的数据分析结果，难以实现预期的效率。

3数据挖掘的功能及应用

在大数据时代，数据挖掘具有非常明显的意义，是挖掘有用信息的过程，这部分数据往往具有随机、模糊、海量以及非完整的特点。一般来说，对于数据挖掘来讲，主要涉及预测以及描述等方面。在开展数据挖掘的过程中，目标数据的类型则是关注的重点，应该从实际出发，选择合适的数据类型，才能充分发挥好数据挖掘的作用。数据挖掘能进一步体现出数据的价值，因而在很多领域得到了广泛应用[1-2]。

3.1数据挖掘在金融业中的应用

考虑到金融业的的特点，其必将涉及大量的数据信息，通过应用数据挖掘技术，能够发现内在的发展规律，进而能结合实际的组织信息、目标客户情况，掌握金融市场的发展动态。可见，在金融业的数据挖掘过程中，主要包括市场预测、分类账号、数据清理、市场分析以及信誉评估等方面。

3.2数据挖掘在市场中的应用

在市场的发展过程中，充分利用数据挖掘的优势，能够对市场进行准确定位，能进一步掌握消费者群体的需求以及规律性内容，据此制订有利于市场营销的计划。与传统营销模式相比，大数据的数据挖掘能进一步降低企业成本，实现预期的市场目标，获得更高的利润。

3.3大数据挖掘在医学中的应用

部分疾病是由于单一基因所致，部分则是由于多种基因共同影响的结果。在基因研究工作中，为了寻找治疗疾病的方法，特别是当涉及编码序列和非编码序列的区分问题时，则必然涉及大量的实验和演算内容，从而应该充分发挥数据挖掘的优势来解决分类问题。

3.4遥感大数据挖掘的应用

对于遥感大数据进行相应的数据挖掘处理，具体表现形式如下。第一，获取数据，并提出相应的存储方式，结合实际需求从不同传感器上获得多源、海量的遥感数据，并进行数据的预处理，组成有效的数据集。第二，分析处理相应的数据集，通过数学统计学方法进行分类，寻找数据间以及数据类别等相互关系。第三，对于分类后的数据进行数据挖掘，进一步采用多样化的方法探索数据间的隐含信息以及内在联系，利用深度学习、云模型、决策树、神经网络等方式寻找模式关系。第四，进一步对模式以及知识进行可视化处理，便于用户更好地理解，便于后续的分析和利用。

4大数据的数据挖掘发展前景

在大数据时代，数据库技术获得了突飞猛进的发展，并具有数据变换、连接、共享的特点。在此背景下，企业应充分发挥大数据挖掘技术的优势，充分利用多种类型的数据，进一步提升数据的价值。由此可见，结合大数据的特征以及数据挖掘发展特点，大数据的数据挖掘必将拥有广阔的发展前景[3]。

4.1大数据的数据挖掘将成为企业及教育机构的转折点

在当前的企业管理发展中，大数据的数据挖掘技术具有明显的优势，能为企业发展带来更多的经济效益，是企业保持自身竞争力的有效方式，也应该据此重新制定管理模式，进一步在企业管理中发挥大数据的数据挖掘作用，从而才能跟上时展的步伐。同时，大数据也必将影响企业的人力资源管理，对于信息化技术人才会提出更高的要求，只有符合新时代背景下的数据管理人才、数据分析人才以及技术型人才才能帮助企业实现可持续发展。

4.2大数据的数据挖掘将成为信息安全发展的契机

当前，随着信息技术的快速发展，能够进一步提升数据价值，对于社会发展具有积极的意义。但是，数据的安全性问题则是人们关注的重点。对于大数据来说，往往都具有集中存储于云端的特点，难以实现有效的集中管理，并在确定用户的合法性方面存在一定的不足之处，容易出现窃取、非法入侵以及篡改数据的问题。因此，如何保障信息安全问题尤为重要，对于大数据技术和产品也是如此，所以大数据的数据挖掘发展对于信息安全进步具有重要的影响。

4.3大数据的数据挖掘将成为创造价值的核心

相比于传统数据，大数据挖掘则具有广泛的应用范围和较高的商业价值，对于政府以及企业发展至关重要。另外，大数据中还蕴藏着6000多亿美元的个人信息价值，从而大数据的数据挖掘能从多方面创造社会价值。

5结语

新时代，大数据挖掘技术将能够推动经济快速发展，我国应该顺应时展的潮流，积极开展大数据挖掘技术的培训以及教育工作，才能为社会培养更多的大数据人才。

参考文献

[1]覃兵文.大数据的分类挖掘优化技术[J].现代电子技术,2017(24):45.

[2]蒋洁.AI图景下大数据挖掘的风险评估与应对策略[J].现代情报,2018,5.

[3]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报,2014(6):23-26.

作者：印小冬 单位：中国电子科技集团公司第二十八研究所