油田场站分布式实时数据库设计应用

关键词：信息技术；软件；站库监控系统

1主要研究内容及规模

1.1主要内容

1.1.1实时数据库的分布式技术研发采用Erlang开发语言，使用分布式技术，研发生产数据自动采集、数据过滤存储技术。研究并发体技术，在采集与存储时采用并发体实现分布式计算。需支持多个标准接口，可与PLC，DCS，以及现场各种关系型数据实现数据交换。实现对海量实时数据收集、压缩、存储、检索。根据数据记录特点，对冗余数据，可考虑有损压缩和无损压缩处理。数据缓存技术研究，网络中断建立本地缓存机制。自动根据网络连接情况推动到实时数据库。

1.1.2分布式实时数据采集基于TCP协议的工业PC与PLC的以太网通信。工业PC与PLC通过以太网基于TCP协议通信具有广泛的适用性，工业PC端不受操作系统环境的制约，PLC端也不受PLC品牌的限制，只需通信双方具备以太网通信硬件和支持TCP协议软件环境即可。目前这种条件非常容易满足，同时通信的报文格式和内容也可以根据通信的具体应用自由定义，具有非常大的灵活性。支持四则运算法则及精度处理，从而得到具有物理含义的数值。实现数据采集点规则的配置，能够控制数据采集的频率和采集器的批量启停。

1.1.3实时数据的海量存储有效的利用实时数据的特性，采用先进的数据压缩算法，对大量的实时数据进行原型压缩，同时结合高效的检索策略设计了实时数据库的存储系统。针对不同的应用，数据压缩有多种算法，实时数据库系统不仅要求能够在有限的硬盘空间中存储大量历史数据，而且还要求这些数据能够快速被访问。采用基于时间和空间维度的高效的压缩算法，死区与线性压缩相结合。

1.2研究的技术指标

根据油田实际生产需求，油田站库实时数据信息量越来越大，对数据处理的功能要求也越来越高。这些应用有着与传统应用不同的特征，主要表现在两个方面：一方面，要维护大量共享数据和控制知识；另一方面，其应用活动（任务或事务）有很强的时间性，要求在规定的时刻和（或）一定的时间内完成其处理。

1.2.1研究目标（1）实时正确采集联合站及中转站实时数据。（2）实时海量数据存储，并压缩存储空间。（3）查询实时数据的快速响应。

1.2.2主要技术经济考核指标（1）数据采集正确性不低于99%。（2）实时海量数据存储，实现数据永久保存。（3）查询实时数据的响应速度不应高于5s。

2技术原理

2.1研究现状

随着油田自动化与数字化范围的扩大，企业数据容量很快从TB级扩展到PB级，传统的数据处理与分析技术无法满足百万甚至千万级设备同时在线的性能需求，建立符合油气生产规则的大数据处理云平台以及应用标准成为当务之急：（1）油气大数据云能同时管理海量物联设备，不仅能够满足千万级并发处理要求，而且需要确保数据的实时性响应达到工业级（低于20ms）。（2）油气大数据云通过制定数据行业标准，规范设备接入数据格式，实现设备即插即用，为物联网快速扩展提供基础。目前我国在社交网络、金融等领域，已经相继建设了大数据平台，但是在传统油气工业领域，存在着大数据产品数据格式不统一，诸多新技术应用标准化研究还比较匮乏的问题。为建立油气行业大数据云平台，需要如下几个角度开展研究：（1）大数据采集与存储技术在油气开采领域需要处理的结构化和非结构化数据量巨大、类型多样，主要包括各类数据体、成果文档、图件报表及“四化”（标准化设计、模块化建设、标准化采购、信息化提升）建设实施采集监控、仪表数据等。对于非结构化数据、整体管理比较弱、除部分实时数据，更多数据存储在磁盘上，存在各数据横向间无法联通等应用瓶颈，数据应用间标准缺乏。为了准确地对多个数据源进行数据分析，所有数据集应包含一致的元数据或描述性信息来解释测试数据被保存的原因。元数据模型包括数据结构的定义、全局数据的分片、分布、授权、事务恢复等描述。在底层架构和文件系统上要高于传统技术，能够弹性扩展。以往存储系统和存储区域网络等体系，存储和计算物理设备分类，之间通过网络接口连接，处理数据密集型计算，I/O容易形成瓶颈。通过分布式文件系统将计算和存储在物理上结合在一起，可解决I/O吞吐量制约。大数据对存储另一个技术要点就是数据格式可扩展性，对各种非结构数据进行高效管理需求。（2）大数据管理技术体系大数据管理及处理能力已经成为引领网络时代IT发展的关键；获取大量运行数据并建立对其进行动态高效处理的能力，已经成为产业竞争力的体现。从数据库（DB）到大数据（BD），看似是简单技术演进，其实还是有本质差别，有些地方颠覆了传统数据管理方式。大数据管理系统需建立类似于传统数据管理评测基准。具体有用于评测、比较不同数据库系统性能的规范，性能指标值能够客观、全面地评测各个数据库系统的性能差距。大数据价值完整体现需要多种技术协同。因此，伴随着油田下一步智能化建设需要，首先应结合目前业界已有的云技术和大数据分类方法、通过油田大数据现状进行分析、梳理油田大数据的种类和数量、界定大数据采集范围、大数据处理及管理技术规范制定。针对不同类型数据采取不同策略。参考工业大数据白皮书，结合油气生产需要制定规范如下标准。1）基础标准。如：术语、架构、平台标准等；2）数据表示标准、如编码规范、元数据规范；3）数据处理标准、采集标准、处理阶段相关标准规范

2.2数据采集引擎设计原理

2.2.1对接协议根据PLC设备型号进行数据格式解析，建立见解析规则，可与PLC直接配置连接，可轻松接入各类自动化数据、设备管理信息。

2.2.2采集引擎支持分布式采集，使用Erlang并发特性，即每个PLC使用一个单独的进程根据PLC点表规则去采集数据，每个进程之间无共享数据，每个进程都是一个单独的个体，一个PLC出现问题，并不影响其他PLC的数据采集。充分利用服务器的多核处理器和多服务器进行分布式的采集。保证读取数据的高效性、稳定性、容错性。

3经济和社会效益分析

3.1经济效益分析

在油田领域，由于存在不同时期的系统，存在多个系统，形成“信息孤岛”，从而使得企业内部各部门间协作效率低，如何保证在既有系统上设计一种简便、有效、安全的异构数据（实时数据到关系数据）交换方案，成为亟待解决的问题。在油田网络管理、过程控制及智能设备不断升级基础上，本系统对扩展原有系统数据应用，提高数据有效收集、存储、应用具有一定创新性解决方案和思路，随着现代数据库技术的发展和实时库应用认识的进一步深入。基于目前方案的实时数据库系统以其灵活性和开发性的价格必将有着更广阔的应用，也能够基于实时数据应用门槛的降低提高数据的应用价值，能够给油气生产带来更多的信息，从而为油田生产潜力的挖掘提供更强有力的支撑，带来更大的经济效益。

3.2社会效益评价

一方面，通过实时数据的有效采集通道的建立，节省了油气生产现场数据采集与设备维护人员的投入，不断改善一线工作人员的工作环境，提升其工作满意度和工作热情；另一方面，通过实时数据的永久保存和应用分析，能够实时掌握油气生产各工艺环节的生产状态，及时发现油气生产中的各类问题，提前介入，在保证正常生产的前提下，降低生产故障发生的概率，为油田周边生态环境提供了一道保障，为打造油田生态系统奠定了良好基础。

4结论及认识

4.1结论

（1）按照研究内容要求，按时保质保量完成了实时数据库的设计、数据采集协议的解析与采集设备的接入、数据应用与数据对外服务接口的开发，并且经过四次正式的部署测试，达到了正式上线运行和验收的要求。（2）建立了异构数据库交互规范、可视化点表管理机制，采用了Erlang分布式编程、数据编解码算法处理等先进技术，能够确保实时数据的永久存储与系统应用平台的高效率。（3）该系统平台的搭建，能够大幅降低操控人员对数据库业务知识的掌握要求，提高多应用访问实时数据的便捷性、数据流转的实时性与安全性、油田数据的利用率，提升对历史数据的全方位分析能力，实现生产全生命周期管理。

4.2建议

该系统正式上线运行后，能够对所有PLC采集的数据进行自动采集存储，但站库采集对象的梳理不是特别明确，建议对站库静态数据进行梳理，从而确保实时数据结构的合理性。

参考文献：

[1]赵致格.数据库系统与应用[M].北京：高等教育出版社，1994.

[2]李晶晶.分布式数据库在管理信息系统中的应用[D].武汉：武汉理工大学，2004.

作者：张馨元 单位：安达市庆新油田开发有限责任公司