地震前兆台网数据通信技术探析

摘要针对地震前兆数据到云端传输的可靠、稳定和高效问题，研究了前兆数据通信策略中云端的资源动态分配方式以及基于UDP通信协议的传输技术和高效数据压缩技术，实现将数据以尽快速度可靠的传输到云端的数据汇聚平台，为前兆海量数据信息的存储、分析、清理、分割提供通信传输保障。

关键词云平台；前兆台网；传输技术；通信策略

引言

云平台的出现，至今已趋于成熟，数据采集与管理的扁平化是大势所趋，地震前兆数据的产出、处理、分析、存储以及管理也必然走上扁平化道路，即将改变目前逐级汇集的管理模式，实现数据的可靠高效传输，达到仪器到云端直接对接的要求。地震前兆观测数据可以利用这种新的基于互联网的计算方式和资源应用平台，通过网络将庞大复杂的数据交由多部服务器组成的巨大系统平台进行统一计算、分析和存储。把分布在全国各地的地震前兆观测仪器接入目前相对成熟的云计算和云存储平台，实现分别采用“模拟”、“九五”和“十五”等标准的异构设备统一接入到云架构管理平台，从而将当前多节点数据存储[1]，多级汇集、分发的组网模式，改为中心存储、单级采集管理模式。这一数据生产管理模式的实现必须建立在数据通信系统的可靠、稳定和高效的基础之上。台网数据源，即仪器数据传输到云端的分布式网络环境，尤其是对跨区域传输中如何保证网络的稳定性、传输效率和数据的一致性提出了非常高的要求。本文针对如上问题设计了高性能云传输技术方案，克服网络带宽有限、状态不够稳定等问题，实现对大容量数据高效传输，并最大限度地提升网络带宽利用率。

1数据传输方案设计

把前兆数据采集扁平化，集中于云端管理，确保数据传输的一致性、可靠性和高效性是系统实现的关键所在，针对该问题本文对数据传输部分进行了设计。在该设计中将高性能云传输分为数据传输引擎、资源索引服务、文件处理组件和用户应用终端4个组成部分。数据传输引擎基于UDP用户数据报协议，利用数据压缩技术降低数据传输占用带宽，同时改进UDP传输协议，提高数据传输效率和可靠性；文件处理组件和资源索引服务基于文件系统，提供数据的校验、存储及检索功能，保持数据的一致性；用户应用终端针对数据传输、索引服务、文件处理等底层功能组件的运行状态进行监控，完成系统资源的动态分配。从数据通信传输系统设计可看出，确保数据传输的高效可靠，包含了云端资源动态分配、基于UDP协议的可靠通信和数据压缩技术等关键技术部分。

2资源动态分配模块设计

从前兆台网数据传输的工作流程来看，首先前兆数据需要通过终端接入网络，向云端提出数据传输需求，然后云端接受请求后分配基础设施资源，如内存、CPU、网络带宽等，最后完成数据通信任务。在数据通信过程中，通过资源动态分配，实现可用资源的最大化利用。。整个云端实际上在一个虚拟系统的管理下，再细分为多个虚拟系统（虚拟机），每个虚拟机作为一个工作节点，虚拟机的系统资源多少是可动态分配的。每个虚拟机占用的核心资源是动态分配的，系统通过监控管理功能模块对应用层和接口层的资源消耗进行动态监控，当各个前兆节点向中心云端发送数据请求时，虚拟机所要求的物理资源随之变化。虚拟机根据请求对象的优先级以及当前虚拟机的资源分配情况，重新评估物理资源的可用性，并进行再次分配，达到动态分配的效果，实现分配满足性能要求的最小资源量，从而提高资源利用率和满足功能执行需要。中心云端接到数据通信请求后按照任务类型，预先定义任务执行完成所需要的内存（估算），如：采集分钟值数据需要2MB内存，采集秒数据需要20MB内存等；对当前CPU使用情况进行分析，并对完成通信任务所需资源进行评估，以及对当前带宽容量进行检测，根据资源情况，对当前通信请求进行有效资源分配，在分配任务的时候首先将正在运行的任务所需的内存数减掉，然后再分配任务。每分配一个任务都要在可用内存数的基础上将任务所需内存减掉，如果减掉后的结果大于设计预留内存数，则分配任务运行，否则，等待下一轮分配。

3可靠UDP协议数据通信设计

一般情况下，实现可靠数据传递的方法主要采用传输控制TCP协议。但是，TCP协议有一个根本的速度瓶颈，这个瓶颈随着传输延迟和网络丢包率的增加而变得愈发明显。速度瓶颈的形成和TCP控制数据流量速率的机制密切相关。TCP协议的数据分片和基于分片的确认方式，要占用一些通信带宽，降低了以太网上的有效荷载；同时TCP是基于点对点连接方式的，不能充分利用以太网络对突发传输的支持[2-3]。用户数据报协议（UDP）是ISO参考模型中的一种无连接的传输层协议，提供面向操作的简单非可靠信息传送服务。传统UDP协议通信效率高、可靠性较差，不适合对可靠性要求较高的应用环境。随着网络传输的快速发展，一种基于UDP协议的简单可靠传输协议可以在保证高效性的基础上提高通信双方传输的可靠性。拥塞控制机制将速率控制和流量控制两者结合起来：前者通过调整包的发送间隔来控制包的发送速率；后者则通过限制可以发送的包的最大序号来调整发送方一次可以发送的数据。我国地震前兆观测数据通过专有线路网络传输，而专有线路网络的带宽和误码率等网络参数都位于可控范围，且占用网络带宽的应用也比较确定，因此，网络状况较为简单，当出现网络拥塞时，按照特定的算法平缓地降低发送速率，直至拥塞消除，同时能兼顾带宽利用率。。采用UDP协议完成数据传输，但在传输端和发送端需要进行传输控制信息交互，确认数据的一致性，从而保障数据传输的可靠性。同时该设计相对TCP协议从多个方面提高了数据的传输效率：①UDP协议无需数据分片，将数据接收和确认分开，无需等待确认，数据接收方定期发送方报告数据包的接收情况，包括接收到的和未接收到的包的序号；②由于确认数据的发送速率保持恒定，从而确保“确认”的开销为常量，因此，带宽越大，报文确认的开销占比越小；③UDP协议的无连接方式，省去了连接维护负担，可充分利用以太网络支持突发传输。

4通信传输压缩技术设计

数据压缩是一门通信原理和计算机科学都会涉及到的学科。通过数据压缩技术缩小传输数据的体量，降低带宽的占用，同时减小硬件输入输出的压力。目前我国地震前兆观测台网全网3000多套观测仪器，分布在全国各地，平均每天每套仪器产出原始数据按1MB计算，每天全台网产出原始数据量约3GB，而数据采集的时间比较集中，数据传输的瞬时流量是当前网络很难满足的；同时对数据库和硬盘读写能力也将造成较大的压力。采用数据压缩技术可同时降低网络和输入输出压力。本文针对当前前兆数据的特点，对所需传输的数据信息进行二级压缩，即专业数据压缩与工具压缩相结合，。熵编码是利用数据的统计信息进行压缩的无语义数据流无损编码，能实现数据的无损压缩，因此，能保障数据压缩的安全与效率[4]。由于地震前兆观测地电、地磁、重力、形变和地下流体各学科数据具有非常强的日变规律，故采用基于统计的熵编码是较为理想的选择，因此，分别采用熵编码香农-范诺（Shannon-Fano）编码、哈夫曼（Huffman）编码、算术编码（arithmeticcoding）、行程编码（RLE）和LZW编码来实现。然后再对压缩后的数据采用通用压缩工具ZIP进行二次压缩。应用测试实验结果显示，前兆观测数据平均实现12:1的压缩比，扣除压缩、解压缩的性能递减，总体提升传输性能3倍左右。

5结束语

本文针对前兆台网数据上云端的需求，结合当前网络技术基础进行了前兆台网数据传输方案设计，并对其实现的关键技术，如设计云平台资源的动态分配实现系统资源的负载均衡管理；针对TCP协议传输速率瓶颈设计可靠的UDP传输方案，在提高数据传输效率的同时保证了可靠性；在分析前兆数据规律的基础上选择合适的压缩算法组合，对数据实现了压缩比高于12:1的无损压缩，将有助于降低带宽要求。这3个关键技术问题的解决，为仪器数据与云端的直接对接和地震前兆数据管理的扁平化提供了很好的技术支持，为减少硬件重复投资和精简技术管理人员提供了条件。

参考文献

［1］陈俊，刘高川，李罡风，等.基于Web的地震前兆应用数据库管理系统设计[J].四川地震，2016(4)：41-45赵飞，叶震.UDP协议与TCP协议的对比分析与可靠性改进[J].计算机技术与发展，2006，16(9)：219-221

［2］王继刚，顾国昌，徐立峰，等.可靠UDP数据传输协议的研究与设计[J].计算机工程与应用，2006(15)：113-116

［3］杨敬锋，张南峰，李勇，等.基于改进Huffman编码的农机作业数据传输压缩方法[J].农业工程学报，2014，30(13)：153-159［4］

作者：王晨 陈俊 刘金城 赵银刚 裴红云 谢庆 单位：中国地震局地球物理研究所 安徽省地震局 天津市地震局 安丘地震台