大数据挖掘与分析关键技术探讨

【摘要】云计算、物联网的快速发展，使大数据的数据量不断增长，大数据挖掘更成为了数据处理的关键技术。本文结合大数据挖掘的关键技术分析，以便推动大数据挖掘技术的发展。

【关键词】大数据挖掘；分析；关键技术

引言：

随着云计算、物联网快速的发展，数据时代的到来促使大数据的数据体量增大，数据类型不断增多。大数据分析主要是结合大数据中有价值的内容进行精准核对，获取更准确生存的知识。

一、大数据的意义与特征

数据时代下，人们的生活中每一处都会存在数据的搜集和数据的调研。大数据是结合当前社会日益增强的数据规模，以主流的软件技术为基准，在合理的时间内对于数据进行必要的挖掘整理和整合。这对于企业的决策、政府的政策和个人选择方面都具有指导性作用。

二、大数据挖掘与分析的关键技术

1、大数据的采集。数据的采集是结合基本的支撑层和智能化的感知层，有效的对于数据进行识别感知和核对。在基础支撑层可以对于数据平台中所提供的数据进行必要的核对，结合数据库和物联网等关键技术，由运营商对于网络数据进行处理，及时的满足客户的需求。在数据整合和数据处理中，不断提升企业自身的运营能力。互联网时代下每天都会有大量的数据信息，这些数据信息不仅会满足客户的需求，还可以针对不同的客户进行定时定点定量的服务，帮助用户带来便利。当前数据的采集中存在的问题主要为数据时代下，单个用户的位置、信息价值量相对来说较低，为了更好的提升整体数据采集的价值，需要收集多元数据。尤其是在网络时代下，聚类和关联的分析，可以帮助数据信息进行必要的采集和整理，通过模拟的分析，在广泛的数据中选取有价值的信息。

2、大数据预处理技术。大数据的预处理是大数据挖掘前期对于数据的清理、集成和归纳的方式。大数据的预处理技术是针对巨量的数据进行必要的数据审核和数据价值分析。通过大数据数量的增加，在一定程度上对于数据进行有效的汇总。结合不断增强的数据量，在媒体数据不断碎片化处理的今天，利用大数据技术可以有效的对于数据进行预处理，分为早期处理、中期处理和晚期处理。早期的处理是利用大数据挖掘技术来获取实时的数据，进行数据的分类和整理；中期的数据处理是人们在非结构化的时代下，对于数据进行有效的预处理，选取数据中核心的数据量；晚期处理根据数据库发现数据中的持续知识和关联数据，有效的整合数据，最后对于数据进行必要的搜索和挖掘。

3、大数据的管理。数据的管理是为了帮助数据信息在复杂的应用系统中，结合多样化的物联网传感设备，将海量的数据以不同的格式进行汇总。物联网系统中的数据是复杂化和格式多样化的，尤其是物联网系统中，针对数据的应用场景和应用服务形式都进行了针对性的归类和总结。因此在对于数据类型和数据业务，无法满足多样化需求的今天，需要设计出必要的数据系统管理框架，对于数据进行必要的管理和核对，同时结合具体的设计系统框架，提升数据信息的扩展。

4、大数据处理和可视化技术。大数据信息有快速处理的特征，在信息数据处理过程中，如果数据信息处理的不及时就会削弱数据信息的价值。在数据处理过程中需要对于数据信息进行实时挖掘在线处理方式，可以有效的保证数据质量的提升和数据效率提升。针对数据的算法和数据的模式进行有效的分析，同时数据的可视化技术，有助于计算机融合和认知能力的提升，通过人机交互技术和可视化技术有效的对于数据进行分析和整合。

5、海量异构数据处理。互联网的快速发展存在了海量异构的数据种类，数据的类型较多，而且数据处理较快，可以在秒级的时间之内对于，数据进行及时的分析。但是处理的数据存在的问题就是降低了数据信息的价值，需要通过大数据技术，对于数据信息进行处理，集成模块和数据库整理模块的整合。利用数据的处理问题，在数据处理过程中安装必要的探测模块，明确对于数据划分在线时间、进行时间和离线时间。对于秒级数据处理技术，需要融入流处理的方式，对于数据进行分析和计算。

结束语:

综上所述.实现对于数据的海量整合和数据挖掘技术的实现，有效的帮助客户整理信息，确保大数据时代下数据挖掘的实效性。

参考文献

[1]陈良臣.大数据挖掘与分析的关键技术研究[J].数字技术与应用,2015,(11):

作者：崔巍 单位：重庆航天职业技术学院