网络安全分析的大数据技术实践解析 

摘要：网络信息技术的迅速发展，使得人们的生活生产变得更为方便，但是面对呈井喷式增长的数据，再加上其复杂程度越来越高，都使得网络安全面临较大威胁，网络安全问题已经引起了人们的广泛重视。本文着眼于大数据技术应用于网络安全分析中的重要性，对其实践应用进行了分析，并探究了大数据技术背景下网络安全平台的建设策略，希望对构建安全网络环境具有帮助作用。

关键词：网络安全分析；大数据技术；重要性；平台建设

0引言

网络化、信息化时代背景下，人们对互联网的依赖程度越来越高，但是网络信息安全问题也变得更为严峻，近些年所发生的网络安全事件屡见不鲜，如2017年老牌信用机构Equifax遭黑客攻击，1.43亿用户信息被盗事件，全球爆发WannaCrypt勒索病毒等。面对愈发复杂的网络环境以及海量增长的数据信息，传统网络安全防护技术已经无法满足实际需求，将大数据技术加以充分应用，构建网络安全平台，能够显著增强网络安全等级，是当下研究的热点。

1大数据技术应用于网络安全分析中的重要性

大数据技术具有有数据量大、种类繁多、速度快、价值密度低等特点，在网络安全分析中有着较高的应用价值，其重要性具体体现在以下几方面。第一，大数据技术可以拓宽数据存储容量，满足海量数据安全分析需求，并且在对多源数据和多阶段组合进行分析时，在保证运算效率的同时，还能确保数据的完整性。第二，大数据技术能够对网络数据进行多层级、多精度分析，理清数据间的复杂关系，找出其中潜在的安全隐患和风险，网络安全分析精度大幅提升。第三，利用大数据分析技术，可以对异构数据进行存储和分析，显著提高了网络安全分析速率，能够在更短时间内发现并解决网络安全问题[1]。第四，传统网络安全平台为结构化数据库，而基于大数据技术的网络安全平台为分布式数据库，具有良好的经济效益，设备成本较低且性能良好，减少了系统维修费用，降低了网络安全平台构建成本。

2网络安全分析的大数据技术实践

将大数据技术应用于网络安全分析方面，可以实现对日志和流量的集中化存储与分析，深层挖掘数据之间的关系，增强了网络安全检测及防防护能力。

2.1数据采集

网络安全分析需要依托全面、完整的信息数据，在应用大数据技术时，应先完成数据采集。对于每秒数百兆的日志信息来讲，可以利用Chukwa等工具对其进行采集；对于全数量数据来讲，可以使用传统数镜向方式对其进行采集[2]。

2.2数据存储

完成数据采集后，需依托数据库对其进行集中存储，在大数据技术的帮助下，数据类型存在差异时，可以采用与其相匹配的方式完成存储，不仅能够保证数据之间的明确分类，又可以方便数据查询。数据类型为即时数据时，可采用列式存储方法，先运用流式计算方式进行分析，然后存储所得结果。数据类型为日志时，为提高数据查询效率，可选用列式存储方法完成存储。另外，当数据经过标准化处理后，需要先对其进行处理，所用方法为分布式计算方法，然后再采用列式存储方法进行存储。

2.3数据查询

将大数据技术应用于网络安全分析中去，就数据查询来讲，可依托MapReduce完成[3]。系统发出查询指令后，在对应的节点位置完成处理，并将多种结果加以整合，然后可以通过检索得到自己所需数据信息。相较于传统网络安全分析平台，这种数据查询方式的指令反应及处理更为迅速，大大提高了查询效率。

2.4数据分析

基于大数据技术的网络安全分析平台，当数据类型不同时，所用分析处理方法也是不一样的。首先，如果数据类型为实时数据时，在对其进行分析和处理时，主要用到了流式计算方式、CEP技术、关联分析算法等，可以及时发现潜在的安全隐患及威胁。其次，如果数据类型为历史数据、统计结果时，在实效性方面要求并不严格，可对其进行离线处理，完成更为深入、全面的分析，所用方法主要为分布式存储与计算，既能够发现其中的风险隐患，又可以找出攻击来源。

2.5复杂数据处理

面对越来越复杂以及关联性越来越强的数据，以大数据技术为依托的网络安全分析平台，也可以更加迅速、精准地对其进行处理，包括多源异构数据、系统安全隐患以及关联性攻击行为等。以网络安全问题中常见的僵尸网络为例，借助大数据技术，不但能够从流量和DNS访问特性出发，而且能进行发散性关联分析，同时结合多方面的数据信息，可对数据进行多维度、深层次、全方位分析，确保了数据处理的有效性。

3大数据技术背景下网络安全平台建设

基于大数据技术所体现出的多方面优势，已经在网络安全分析方面得到了越来越广泛的应用，在构建网络安全平台时，需要科学设计其基础构架，并严格把控关键技术环节，充分发挥其应用价值。

3.1平台构架

以大数据技术为依托，所搭建的网络安全平台分为四个层级，包括数据采集层、数据存储层、数据挖掘分析层、数据呈现层，四个层级功能各不相同，需要分别对其进行分析。首先，数据采集层主要负责采集各种类型数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集。其次，数据存储层的能够实现海量信息的长期保存，并采用结构化、半结构化、非结构化方式对其进行统一存储，使用均衡算法将现实数据均匀分布在分布式文件系统上[4]。另外，网络安全异常的发现及溯源，则是在数据挖掘分析层完成，具体方法包括特征提取、情境分析、关联分析等，可通过检索查询对异常网络行为进行准确定位。最后，数据呈现层则可以通过可视化形式将大数据分析结果呈现出来，通过多种维度展现网络安全状态。

3.2关键技术

构建网络安全平台时，所用到的关键技术主要有数据采集技术、数据存储技术、数据分析技术等。此次研究所用数据采集技术包括Flume、Kafka、Storm等，Flume能够采用分布式方式，对来源不同的数据进行收集和整理，经过处理后将其传输至定制方。Kafka中应用了Zookeeper平台，可实现数据的集群配置管理，能够作为一个高吞吐量的分布式订阅系统应用，平衡数据处理环节的系统负荷。完成数据采集后，采用HDFS分布式文件系统对其进行存储，其容错性和吞吐量都比较高，使用元数据管理节点文件系统对空间命名，数据文件保存至数据节点，基本存储单位为64兆字节的数据块。数据文件会随着元数据节点的增多而减少，两者之间呈反比关系，多个文件同时被访问时，会对系统性能造成影响，而HDFS分布式文件系统的应用可有效避免这种问题。在数据分析环节，该平台所用技术为Hivc，对于非结构化数据的检索，所用语言为HiveQL，与HDFS和HBase匹配性良好。API的封装则是采用Hive完成，使用定制的插件开发和实现各种数据的处理、分析与统计。

4结束语

将大数据技术应用于网络安全分析领域，不仅能够提高分析速率、分析精准度，而且还可以降低技术成本，有着多方面显著优势，是未来网络安全防护的必然发展方向。在实际应用时，应采用层级结构构建网络安全平台，就数据采集、数据存储、数据分析等关键技术环节进行重点把控，以此来改善当前网络安全分析中的缺陷与不足，提高网络安全等级。

参考文献：

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.

[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学，2015.

[3]贾卫.网络安全分析中的大数据技术应用探讨[J].网络安全技术与应用，2016.

[4]万明秀,宋秋莲.网络安全分析中的大数据技术应用探讨[J].无线互联科技，2017.

作者:许茂森 单位:菏泽职业学院