公务员期刊网 精选范文 数据分析的前景范文

数据分析的前景精选(九篇)

时间:2023-05-31 23:30:47

数据分析的前景

第1篇:数据分析的前景范文

【关键词】电子商务  ;移动电子商务  ;移动电子商务运营模式

一、移动电子商务运营模式及特征

移动电子商务(M-Electronic Commerce)是近几年随着无线移动通迅技术发展,而新兴起来的新型商务模式,它利用无线通讯技术和移动互联网进行数据传递,通过智能手机、PAD和笔记本电脑等移动设备与企业电子商务平台网连接来完成商务交易过程的新型商务模式。

传统电脑平台电子商务运营模式。传统的电子商务运营模式以B2C、B2B和C2C为典型模式,以B2C网上商场模式为例,其运营模式如图1所示:

图1 B2C网上商场运营模式

移动电子商务运营模式。移动电子商务的运营模式是由移动电子商务交易参与者不同面产生不同的运营模式,具体有内容提供商运营模式、移动运营商主导模式、服务提供商运营模式、WAP移动门户网关运营模式。下面以内容提供商移动电子商务为例说明其具体运营模式,如图2所示。

图2

移动电子商务运营模式区别于传统电脑平台电子商务运营模式的特征。移动电子商务是用户通过移动终端设备浏览商品,这样就能十分方便广大移动商务用户,进而撼动传统电脑平台电子商务的交易规模。区别于传统电脑平台电子商务业务,移动电子商务模式具有如下的特征:移动电子商务突破传统电脑平台时间和空间限制,极大地推动了电子商务销售规模。移动电子商务由于用户是通过移动终端设备浏览和选购商品,这样就打破传统电子商务用户只能坐在电脑前固定时间购物时空限制,用户能够在象旅游乘车等任意时间任意地点通过移动商务设备实现网络购物。移动电子商务由于用户使用的是移动终端商务设备,交易更加方便、快捷,能够极大提高电子商务交易效率。移动电子商务由于用户通过移动终端设备浏览和选购商品,而不是只能坐在电脑面前完成交易,这样就使电子商务从传统单一固定电脑平台端变为随时随地能方便用户购物的移动贴身服务,从而能极大地提高电子商务的交易效率。移动电子商务由于使用移动终端设备使条码扫描功能更为简单,比价功能更为方便。移动电子商务用户只要通过扫描在传统超市中正在关注的商品条形码,就可以通过移动设备收索该产品商场超市和超市商品报价,所以,移动电子商务通过扫描商品条形码而实现商品的比价功能更方便实用。

二、移动电子商务运营模式面临的问题

移动电子商务是电子商务时代新兴的交易模式,各商家在风起云涌发展移动电子商务之时,也象日韩和欧美国家的移动电子商务发展一样面临着诸多挑战和难题。

移动电子商务运营模式的竞争优势。移动电子商务网络不稳定连接不畅,服务内容不够丰富。我国的移动无线网络由于发展时间短,经常会出现网络不稳定和连接不畅的问题,严重影响移动电子商务交易正常进行和消费者信心。移动终端设备屏幕格式多样化和操作系统版本不统一,造成移动电子商务软件平台更新难度加大。移动终端设备屏幕格式多样化和操作系统版本不统一,支付系统不统一,这些都给移动电子商务平台软件开发设置的一道道障碍。由于不同的移动终端设备屏幕格式和操作系统版本功能不一,这就使移动运营商搭建移动电子商务网站和商家更新移动电子商务软件带来相当大的难度。

三、大力发展我国移动电子商务的相关对策

加大无线网络的建设和覆盖力度,通力改进移动电子商务的服务内容和搜索服务功能。针对我国依托无线网络的移动电子商务,经常会出现网络不稳定和连接不畅的问题,应该加大无线网络的建设和覆盖力度;同时移动运营商和商家应通力协作,增加移动商务服务内容;真正把移动电子商务设计成界面友好,操作简单,搜索快捷的电子商务平台。

尽快制定移动电子商务终端设备屏幕格式和操作系统的规范标准,使移动电子商务终端设备的屏幕格式和操作系统尽可能标准化。

对移动电子商务所有交易环节设置比平台电子商务更为严格安全防范措施。与传统电脑平台电子商务对比,移动电子商务由于采用无线通讯技术,因此可能会遭致更多诸如终端假冒、无线数据、交易拥堵等安全风险,为确保移动电子商务数据安全传输,就需要采用无线加密技术和无线公开密匙体系,以确保移动电子商务整个交易过程的安全可靠。

四、结语

移动电子商务是我国近几年刚刚兴起的新型商务模式,与传统的电脑平台电子商务相比,移动电子商务的商务环境和运营模式是明显不同的,而我国现有的移动电子商务在发展中面临着没有国家统一标准,因此,必须尽快制定移动电子商务产业相关法规,使移动电子商务监管有法可依;增强移动电子商务网络的稳定性和可靠性,并加大对移动加密技术的投入,真正发挥出移动电子商务产业蓬勃发展的优势,使其真正能够成为我国新的经济增长平台。

参考文献:

第2篇:数据分析的前景范文

关键词:企业景气指数;GDP;相关性分析

中图分类号:F2 文献标识码:A 文章编号:1672-3198(2012)03-0013-03

1 问题的提出

目前我国共有两套企业景气指数,其中一套为中国人民银行测算并的企业景气指数,一套为国家统计局测算并的企业景气指数,本文中讨论的企业景气指数均指后者。

改革开放三十余年来,中国GDP的绝对值由1978年的3,645万亿,增加到2010年的401,202.02万亿,总量是1978年的11.07倍。随着中国经济的快速增长,各种研究经济的方法、预测经济状况的指标也陆续出现,如先行指标、一致性指标等等,但各种指标对经济活动中反映程度不一而定,因此在利用各种指标时不仅要充分了解其与现实经济的一致程度,同时也要充分了解其“先行”时间,这样才能做到正确利用各种指标,发挥其在经济活动中预测作用。

企业景气指数,在经济生活中我们一般会把其当作一个先行指标来应用,国家统计局公布多年以来其对经济形势的预测效果如何,以及其“先行”经济形势的时间具体是多少,尚无明确的界定。本文旨在根据企业景气指数公布以来的历年数据,与GDP同比增长率之间的拟合关系,来分析企业景气指数在宏观经济研究和宏观经济制定中利用价值和“先行”时间,达到更好的了解和利用企业景气指数的目的。

2 企业景气指数预测效果的理论分析

2.1 企业景气调查和企业景气指数简介

企业景气调查是我国借鉴西方国家的成功经验,于20世纪90年代初期开始着手在工业等领域进行的一项调查,并于20世纪90年代末期正式列入国家统计制度。企业景气调查主要运用全面调查和抽样调查的方式,以固定问卷的形式,定期向活跃于生产和经营第一线的企业家提问,调查和搜集企业家对企业生产经营状况和宏观经济的形势做出的判断和预期,并根据企业家对本企业综合生产经营情况的判断和预期编制企业景气指数,用以综合反映企业的生产经营状况。

企业景气指数(下称EBI):又称为景气度,它是对企业景气调查中的定性经济指标通过定量方法加工汇总后得到的定量指标。企业景气指数的数值介于0于200之间,100为景气指数的临界值。当景气指数大于100时,表明经济状况趋于上升或改善,处于景气状态,越接近200状态越好,当景气指数小于100时,表明经济状况趋于下降或恶化,处于不景气状态,越接近0状况越差。

2.2 企业景气指数编制方法简介

在具体调查方面,对大型企业实行全面调查,中型企业实行与单位规模成比例的概率抽样,小型企业采用等距抽样的方法。

在计算景气指数过程中,对不同规模的企业采用不同的加权方法计算:

(1)分别计算大型企业和中小型企业占上报企业总数中的比例;

(2)大型企业依据上年销售收入进行加权,计算出选择上升、持平、下降的企业的比例;

(3)计算中小型企业选择上升、持平、下降企业个数所占企业总数中的比例;

(4)计算出全部样本企业的景气指数。

2.3 企业景气指数预测效果的理论分析

从企业景气调查的方式和企业景气指数计算过程中,可以看出企业景气调查及企业景气指数有以下特点:

(1)样本选取时,综合了不同类别企业的情况,并为其赋予了不同的权重值,充分考虑了不同规模企业的经营状况的差异性;

(2)企业数据的填报人为生产和经营第一线的主要管理者,其对企业的运营的真实情况有充分的了解,另外企业景气指数相关数据的填报不影响企业的实际经济利益,避免了由于利益因素而导致的数据与实际情况扭曲;

(3)企业的管理者往往对其企业的未来趋势非常了解,填报的数据时能充分涵盖企业管理者对企业未来趋势的信息。

从上述企业景气指数调查的方式和具体指数的编制方法中,我们可以看出,企业景气指数是企业景气调查中定型指标的量化描述,是企业家对经济发展环境、企业运营状况、企业发展远景的信心等的看法,具有信息超前性、预测性和可靠性的特点。

3 企业景气指数预测效果的实证检验

在数据的选取上,为了克服GDP的季节性因素影响,笔者在本次研究中选取了GDP季度同比增长率(以下简称GDPR)作为经济状况的代表,同时我们认为在EBI统计时企业管理者会将本季度的情况与去年同季度进行对比。笔者按照国家统计局官方公布的数据,获得自2001年1季度至2011年3季度各季度的GDP同比增长率(GDPR)和企业景气指数(EBI)。为了时间序列数据更加平滑,我们采用取对数的方式来考察变量间的相关性。

为了确定GDPR和EBI之间的相关性关系,以及EBI是否为GDPR的先行指数,领先时间具体是多少,我们分别对lnGDPR和lnEBI、lnGDPR和领先一季度的lnEBI(-1)、lnGDPR和领先二季度的lnEBI(-2)三组数据进行了描述统计和相关性分析。

(1)对表1中的同季度lnGDPR、ln(EBI)使用EViews6.0软件进行描述统计,可以得到如下散点图:

图1 同季度lnGDPR、ln(EBI)描述统计散点图从上图可以看出,上述数据存在一定的正相关趋势,参考了EBI对GDPR的经济预测功能后,将lnGDPR和ln(EBI)两组数据进行相关性分析得到其相关系数为.822300,相关性较好。

(2)对上述数据中的lnGDPR和提前一期的、取对数后的企业景气指数lnEBI(-1)使用EViews6.0软件进行描述统计,我们可以得到如下散点图:

图2 lnGDPR与提前一期ln(EBI)描述统计散点图从上图可以看出,lnGDPR与lnEBI(-1)在趋势上保持了较好的一致趋势,进行相关性分析得到两组数据的相关性系数为.937699,说明EBI对GDP在提前一期的情况下有着很强的相关性。

(3)对上述数据中的lnGDPR和提前二期取对数后的企业景气指数lnEBI(-2)使用EViews6.0软件进行描述统计,我们可以得到如下散点图:

图3 lnGDPR与提前二期ln(EBI)描述统计散点图对两组数据进行相关性分析得到两组数据的相关性系数为.768679,提前两期的EBI和GDPR的相关性并不明显。

通过上述数据的分析结果显示,在通过本期、提前一期、提前两期的对比分析,同季度的企业景气指数与GDP同比增长率之间存在一定的相关性,该季度的企业景气指数且与下一季度的GDP同比增长率相关程度最高,也就是说,提前预测的时间在一个季度左右的效果是在三个中最好的。

4 政策涵义

由本文表述可知,企业景气指数和GDP同比增长率之间确实存在明显的正相关关系,并且企业景气指数与下一季度的GDP同比增长率之间的相关程度最高,这可以说明企业景气指数能够正确反映GDP的走势,并具有一定的预测作用,当期的企业景气指数对下一季度的GDP同比增长率有较强的反映。

鉴于目前国家统计局每个季度都会公布全部行业及各产业大类、以及重点行业的企业景气指数,笔者认为在国内宏观经济研究以及行业研究等工作中,可以参考前一季度的企业景气指数来分析当前经济形势状况,同时也可以通过当季度的企业景气指数预测下一季度的经济走势。

参考文献

[1]孔杰.怎样认识企业景气指数[J].中国统计,2007,(2).

第3篇:数据分析的前景范文

[关键词] GIS ArcMap 空间视域分析 景区规划

近年来随着旅游业的迅猛发展,旅游景区的资源调查、评价、分析、开发、规划和管理中的一些传统方法已不能满足多层次用户的需求[1]。在旅游景区的规划过程中,涉及大量处于不同空间位置对象数据的存储、处理和分析。地理信息系统(Geographical Information System,简称GIS)是一门新兴的交叉学科,是一种具有采集、存储、查询、检索、管理、分析、转换、传输、维护和可视化表达、输出地理空间信息等功能的计算机系统[2],凭借其强大的空间数据处理和分析能力,已在许多领域被大量应用。本文尝试将功能强大的ArcGIS软件体系中的ArcMap应用于旅游景区规划过程中的空间数据建立、三维地形分析以及规划图件编制,并利用三维视域分析进行了景区旅游服务设施的辅助选址。

1 GIS技术在旅游景区规划中的应用优势

1.1 方便的数据采集及海量存储

旅游规划过程中涉及的大量数据,其来源主要有:社会经济信息、遥感资料、地图数据和现场调查资料等。对于遥感和地图数据,可采用GIS本身的功能实现对这些数据的采集与管理,较传统方法具有方便、简洁、快速和自动存储等优势,且GIS系统具有海量存储特点,硬盘容量越大,存储能力越强。旅游规划先期阶段,需存储大量资源数据和开发条件数据作可行性分析。同时,GIS对不同数据采用不同的存储格式,也为数据的方便调用提供条件。另外,在数据更新方面,GIS可实现对目标数据的自动查找和更新,为数据的维护提供方便。

1.2 客观地支持旅游开发评价

旅游开发评价主要包括资源评价和开发条件评价,其中开发条件评价包括交通、客源市场及自然环境等方面。传统的评价方法一般是定性分析,主观性较强。通过GIS系统自身及根据具体应用所开发的一系列模型应用于评价中,可使评价结果更客观和准确。同时,利用GIS技术还可以对旅游基础设施、旅游购物中心、旅游饭店的位置选址及最佳旅游路线选择提供基于空间数据分析的科学依据。

1.3 定量可视、动态的辅助规划

GIS支持对任意评价单元的各种空间分析,如坡度、坡向、单元公路网长度、各类用地面积的测算等,并可将所有评价值加权汇总,使评价分析和规划定量化[3];GIS为旅游资源的分析、评价和规划提供了一个可视化环境。GIS把空间位置信息与有关属性信息建立起逻辑上的关系,大大扩展了空间查询、分析和评价等功能。GIS不但可以显示出规划对象的二维空间分布,且可以通过图形叠加和属性查询功能,透视某一区域某一点的任何图像及其相应的属性,包括文字、音像等多媒体信息;在GIS辅助下,各种规划方案可在计算机上进行模拟显示,从而获得对规划结果的认识;在GIS支持下,如因数据变化需调整时,只需修改相应的数据库或规划目标以及相应的分析、评价与规划模型即可,不必全部重来。对于规划图件的修改也只需修改相应的符号或内容,实现动态规划和信息资料数据的持续利用。

1.4 准确美观、便捷的规划图件编制

传统的旅游规划图件是用手工编制的,其在图件的更新上具有速度慢、美观性差及表现形式单一等缺点。自动化制图是GIS的主要应用功能之一。通过设置投影变换可使规划图件与实际保持相同的数学基础;通过配准可使地图上的点准确定位;利用统一线条和颜色避免手工的不均匀;通过叠加相同地图数据实现数据的共享;GIS自动化制图与修改功能节约大量的人力、物力和财力。总之,应用GIS可进行更为科学、便捷、准确和美观的旅游规划图件的编制。

2 基于ArcMap与空间视域分析的景区规划

2.1 珠石峰景区概况

珠石峰旅游景区地处闽南金三角腹地之内,靠近厦门-汕头高速公路,具有较好的区位条件,如图2所示。珠石峰旅游景区位于长泰县岩溪镇至板里乡的县级公里附近,该公路连通长泰县和华安县,临近省道和鹰厦铁路,距离长泰县城、华安县著名景区仙字潭和二宜楼、漳州市和厦门市均较近,景区旅游通达性较强。景区为南亚热带季风性湿润气候,基岩为玄武岩,以低山丘陵为主,土壤发育深厚,生态环境质量良好。

目前景区附近的岩溪镇至板里乡的县级公里为沙石路面,路况有待改善,公路通向景区的道路为新建的水泥路面。该景区被称为“珠石灵光”,为全县“八景”之一,内有观音寺、石观音、珠石峰、初坑峡谷等景点。目前该旅游区主要接待板里乡及其周边乡镇朝觐观音的居民,同时有少量来自县城、漳州乃至厦门的香火游客。该景区目前拥有停车场、小商店、供水、供电、通讯、道路等简单设施,无污水、废物处理设施和措施,基础设施条件整体较差,无住宿、餐饮等旅游接待服务设施。

珠石峰旅游景区的旅游资源特征主要体现在:旅游资源数量丰富和类型较全、自然旅游资源主体特征突出且级别较高;人文旅游资源以观音文化最为突出;旅游资源空间特征表现在旅游资源分布相对集中,资源平面组合有序、重点突出。

2.2 基于ArcMap的景区空间数据处理

本研究以珠石峰旅游景区为对象,将GIS软件技术应用于景区的旅游规划中。首先根据纸质地图和有关资料进行空间和属性数据的采集与整理,建立景区GIS数据库;然后在GIS数据库的基础上进行数据管理和分析;最后通过ArcMap软件的友好人机交互界面辅助进行旅游资源的评价分析以及结合旅游景区规划文本进行规划图件的编制。其总体技术路线如图1所示。

2.2.1空间数据建库

由扫描仪获得数字化地图的底图时,选用1:5000地形图作为数字化地图的底图。将栅格底图导入ArcMap进行数字化时,要进行配准。配准可以为数字化地图提供空间地理坐标,为规划过程中空间数据分析提供基础,而且还可以纠正地图的变形。数字化过程中不同的地理要素分层存储,如道路、水体、旅游资源、等高线、行政边界等。

2.2.2数字高程模型建立

在景区1:5000等高线基础上,利用ArcGIS软件所提供的表面模型包TIN(不规则三角网模型),通过ArcMap的三维分析模块建立了体现景区的地形起伏和走势的三维地形。TIN数据结构可为分析、显示地形和其他种类的表面建立有效的表面模型,所建立的三维地形能较好的重现实际地形情况,为旅游景区规划中的旅游线路选取、旅游产品设计、旅游服务设施选址、旅游功能区划分及景区交通规划等提供直观和科学的参考依据。

2.3 景区规划空间视域分析应用

空间视域分析是指依据数字高程模型来分析一个或多个观测点的通视度、可视范围和阻挡范围的操作[4]。空间视域分析的基础是视线运算,以研究区域内每个可能的点为目标进行重复运算,其分析结果为二值栅格地图:可视区(visible,属性值为1)和不可视区(not visible,属性值为0)。空间上P、Q两点的可视性基本算法原理如下[5]:

(1)作P、Q两点的剖面,得到剖面线上平面点及高程集合{xi,yi,zi}(i=1,2,…,n);

(2)计算过P、Q两点的直线方程,根据剖面线上的平面坐标(xi,yi),利用直线方程计算纵坐标,设为{Zi}(i=1,2,…,n);

(3)若Zi>zi(i=1,2,…,n),则P、Q可视,否则不可视。

空间视域分析可应用在森林眺望站的选点、居住区和游览地开发区的选址、通信基站选址、公路或河流沿线景点的评价等[6]。空间视域分析是建立在数字高程模型(DEM)的基础上的,对于最常用的不规则三角网(TIN,Triangulated Irregular Network)和规则网格(RSG,Regular Square Grid)模型的DEM来说,其采用的视域算法有所不同。本文在利用等高线建立的数字高程模型TIN基础上,采用射线法,通过ArcMap三维视域分析操作直观地对景区内已有的和规划的服务设施的功能和作用作出较为客观和准确的评价,它的分析结果为在景区内兴建的旅游服务设施的选址和建筑高度的确定提供了科学依据。通过空间视域分析可在一定程度上较好地消除人为因素的干扰,为更科学和更准确的规划提供参考依据。

2.4 景区规划图件可视化输出

旅游景区规划图按规划目的和要求通常包括区位图、资源现状图、资源评价图、功能区分布图、景观图、用地规划图、交通规划图、服务设施规划图以及总体规划图等。旅游规划制图应重点体现旅游规划的设计理念,提供景区发展的主要概念,显示设计内容的空间布局,为景区开发奠定基础[7]。利用GIS技术的自动化制图优势,通过ArcMap软件进行珠石峰景区规划图件的编制。规划图件在图像清晰、色彩丰富、字迹清楚、成图图幅比例可随需要变化、增减设计内容方便灵活等方面取得较好成效,相对于传统的手工制图来讲,体现出强大的生命力。部分规划成果图件如图2~4所示。

3 结语

本研究尝试将GIS技术在地理空间数据的采集、存储、管理、查询、分析、显示和制图等的优势应用于旅游景区的规划,并通过ArcMap软件与GIS空间视域分析取得了较好的成效,为规划过程提供了实用、直观、便捷、科学和综合的支持。今后随着GIS技术的不断发展和应用的进一步深入,并且结合RS和GPS等技术,“3S”技术将会为旅游景区的规划注入新的活力,为其提供更加科学合理和有益的支持。

参考文献:

[1] 杨桂芳,姚长宏,殷鸿福,等. GIS在生态旅游中的应用及展望[J]. 自然杂志,2002,(4):231-233.

[2] 邬伦,刘瑜,张晶,等. 地理信息系统――原理方法和应用[M]. 北京: 北京大学出版社,2001.

[3] 黄非亚, 王晓东. GIS技术在旅游规划中的应用初探[J]. 国土与自然资源研究,2002,(4): 4-5.

[4] 党安荣, 王晓栋, 陈晓峰. ERDAS IMAGINE遥感图像处理方法[M]. 北京: 清华大学出版社,2003.

[5] 朱长青, 史文中. 空间分析建模与原理[M]. 北京: 科学出版社,2006.

第4篇:数据分析的前景范文

【关键词】大数据;冶金;工程项目管理;革新

1引言

冶金工程项目作为一项重要的大型社会项目,具有复杂多样的特点。合理地运用互联网大数据的技术与特点,可以使冶金工程项目在各方面得到加强。本文主要分析了各种因素对冶金工程项目管理的影响和作用,并提出符合大数据背景发展的策略与建议,让冶金项目工程管理在大数据背景下实现最有效,最高效的革新。

2大数据的主要特点

2.1数据体量大

随着科技的逐渐发展,互联网中的信息量在时代的发展中具有爆发式增长的趋势。例如,微博每秒钟就会产生千余GB的数据,支付宝每秒钟也要处理上千笔的交易。人们的信息数据的使用量也在科技的发展中逐渐被满足,而大数据便是为了满足人们与日俱增产生的信息量所产生的技术之一。在目前的科技发展中,互联网中产生的信息数据已经不计其数,以邮件、帖子等形式发出的信息更是多如牛毛。根据数据统计,全球每天产生的数据量高达约3×109GB,标志着随着科学技术与信息技术的不断进步,数据和其相关流量的发展即将到达前所未有的速度,而数据信息的规模也会在发展中继续扩大。

2.2数据种类多

我国的数据信息在发展中逐渐走向多元化的道路,人们获取信息的方式也在逐渐增多。各种信息社交平台在满足人们的需求的同时,对人们的生活方式产生了巨大的影响。在这一过程中,各行各业的发展模式也发生了巨大的改变。其中,冶金行业在信息技术的发展中的改变尤为显著。冶金工作人员根据信息技术对工程项目进行管理,在提高工作效率的同时,使工程项目管理工作更加合理有效[1]。

2.3信息处理速度快

与传统的数据处理相比,大数据处理具有速度快的特点。云计算的诞生使我国信息技术的发展更加蓬勃。云计算的信息保管方式相较于传统数据更加安全保险,使数据的保存更加安全、稳定,在信息传输技术方面也有了巨大的进步,能够让目前情况下的信息技术得到最大效率的发挥。

3利用大数据进行的工程项目管理革新要点

3.1全面数据的收集与应用

在冶金工程项目中,可以使用大数据进行工程项目的管理。其中,各种新科技都可以在冶金工程项目管理中得到应用。项目和企划的管理者都需要在大数据背景下积极掌握各项数据的采集、分析和应用的能力与技术。把握时展中的机遇,合理利用大数据技术促进相关工程项目的发展,让工程项目的发展和管理更加科学化、合理化。在大数据的发展中,具有复杂性、多样性、规模大等特点,因此,冶金工程项目的相关从业人员,需要对收集到的数据进行多元化、动态化的处理,并进行分析与判断,从中筛选出需要的、有利用价值的数据信息。目前,我国工程项目管理方面的大数据采集、利用与分析已经取得了较大的进步,获得了一定的成效,但仍然存在相关问题需要被重视与研究[2]。在工程项目管理中,大数据的收集、分析与整理是从大数据信息中逐一分流、筛选、对比整理而获得的对项目的发展具有一定价值的部分。这些数据信息可以让人们通过分析总结,发现数据中表现出的规律和其中表达的含义,与此同时,为人们在工程项目的管理中提供可以参考和依据的信息,为相关工程项目服务[3]。例如,根据大数据技术,人们可以实现在冶金工程项目中进行隐患排测、冶金工程项目的风险评估,以避免工程进行中可能发生的意外和事故,提高冶金项目的安全指数,确保工程中的财产安全和人身安全。在项目建设前期,大数据技术还能对项目进行预算分析和成本估测,减少不必要的损失,科学地对成本进行把控,实现利益最大化。目前,我国利用大数据进行工程管理项目已经取得了巨大的进步,获得了一定的成绩。可以总结为以下几点:(1)冶金工程项目管理可以利用对大数据的收集、分析和整理,对所需要的数据信息进行分析,获取需要的主要信息,但在虚拟冶炼的数据分析方面还需加强;(2)利用大数据分析,可以在一定程度上节约建造成本,有目标地进行冶金项目工程规划,但在具体的分析规划与实施中,仍需要进一步的研究;(3)工程项目管理在一定程度上已经取得了巨大的进步与创新,但是仍然需要更多的成果向人们证明与展示。

3.2大数据决策与集群智能的应用

在大数据的发展背景下,工程项目管理中对大数据技术的应用加速了工程项目管理从传统的模式到信息科技模式的转型,使工程项目的管理水平得到了巨大的提升,也使施工质量在大数据的作用下更加高效、经济。在我国目前的工程项目发展阶段,使用各种先进的大数据技术可以达到对冶金过程、工厂施工、冶金材料等各方面进行数据运算分析,甚至是实景场地的模拟。但是在实际情况中,由于工期较长且具有不确定性等特点,使所分析的数据中也带有一定的不准确性的特点。而大数据决策中,会有一部分功能受到各种因素的干扰而出现模糊性,使预测结果可能出现一定的偏差,而大数据的决策技术能一定程度上的减少偏差,弥补这些不足之处。在大数据的集群智能系统中,可以通过互联网的形式,实现网络传播的形式,实现人们相互交流学习的目的,将彼此的成果汇总凝结成完整的集体的成果,解决个人不能解决的问题,将个人的能力汇总成集体的能力,这也是大数据的本质作用。但在集体智能系统中,仍然存在问题,怎样定义所谓的集体范围,怎样运用集体智能系统,在现实中都是人们有待解决的问题。

3.3区块链大数据技术的应用

在使用大数据决策或集体智能系统的过程中,必然会面对一个相同的问题,即数据的虚假性。在前期采集的数据中,不可避免地会遇到相当一部分的虚假数据,在后期,有可能因为这些数据的误导,在工程项目预测中与实际情况产生巨大的偏差。这些偏差可能造成的不仅是经济上的巨大损失,还可能造成安全隐患。对工程项目的发展有不利的影响。因此,大数据的区块链是解决这一问题至关重要的技术,它能够避免这一问题的产生,被认为是新阶段时代性的技术创新成果。

4结语

总而言之,在时代的快速发展中,冶金工程应把握时代的机遇,根据大数据的特点,加快模式的改革与创新。其中,应注意掌握与相关工程项目的特点,加以利用,在工程管理中做到数据的全面整理与采集,利用集体智能的大数据技术,结合区块链大数据技术,使冶金项目工程管理在革新中达到更加高效合理的发展。

【参考文献】

【1】刘爽,毛栉睿.大数据背景下工程项目管理的革新要点[J].工程建设与设计,2018(4):230-231.

第5篇:数据分析的前景范文

1.1系统发展概述

近年来,智能型视频监控的技术逐渐成熟,可对现有高速道路及路口监视器所拍摄画面进行影像处理,且可对不同场景下的影像作前景物件侦测,准确地分析个别物件的种类,达到对象分类的目的,以提供更快速的道路及路口视频数据查寻服务。文章提出一套系统,可处理高速摄影机所拍摄的影像,通过使用者输入相关参数来侦测可靠且有效的前景物件,并运用事先建立的知识库通过推论引擎的运作,以稳健地克服前景物件在不同场景所会面临的问题,最后通过特征摘取与辨识系统区分不同种类前景物件,并同时标记出不同层级前景物件。

1.2相关技术分析

基于地方环境与有限的监控设备经费,我国很多地方政府对开放空间监控系统设备的规划与设计未予以统一标准化,造成摄影机取像的分辨率、压缩格式与视频频率等规格不一。此外由于架设时未将摄影机调整到最佳视角,造成拍摄的物体容易被切断或遮蔽。这些外在的因素往往会增加监控系统分析的困难度。目前路口监视系统侦测汽车等前景物件的相关文献,大部份是先建立背景模型然后进行前景物体侦测。有学者借助整体统计特征的梯度密度与密度变异数及四种型态区域Harr-like特征,可侦测不同明暗、颜色、大小与位置的车牌,其梯度密度的概念,可用于侦测车牌可能的区域,做为后续影像处理车牌侦测的依据。Kamatetal提出Hough转换侦测车辆边界与车牌所构成的线,做为知识库分类不同角度车辆的依据。Brown针对数字视频监控提出在任意摄影机视角或场景下,根据对象的椭圆形信息、移动与周期性等特征参数,利用传统分类与正规化分类两种技术进行人与车辆对象分类的方法。

2高速通信监控系统的界面设计

由于本系统定位为辅助系统,是以加快使用者检索影片的速度为前提做系统设计。在进行影像分析前,需要使用者对目前分析的影片作相关参数设定。首先在第一个参数设定接口中。使用者可以选取想要分析的影片,其影像会在对话框中播放一小段,让使用者可以了解影片中是否下雨、是否有开车灯与红绿灯是否存在于画面中,并对这些环境变量做设定。其中系统可由使用者设定的影片拍摄时间知道,所处理的影片是在光线充足的白天或者是只剩下辅助光源的夜间所拍摄的。系统可经由此一时间参数决定前景物件侦测的算法,来达到提高对象的侦测率与降低假警报的发生。开放空间的摄影机在装设时,会因为需求的不同或周围建筑物的限制,造成所录制的场景相当的多样。如果寄望用同一套方法就把所有场景的问题解决,在设计上会有相当大的盲点存在。为了提高系统对不同环境下侦测效果的强韧性与稳定性,使用者可使用第二个设定参数来决定相似场景。这个参数可提供系统了解现在分析的影片是属于预设场景中的哪一类别,即可利用相似的算法做影片分析。目前系统将影片分成三大类,第一种是对象移动方向为单一方向,如高速公路网关;第二种为对象移动方式不一定为单一方向,且对象移动时会有较多的遮蔽现象;第三种则为其它。在使用者接口的第三个设定参数为区域设定,使用者可在影像平面上框选快车道、匝道等区域。经过这个参数的设定可以有效的降低误警报的发生。如果在匝道上侦测到汽车停止现象的出现,由系统知识库可知此事件出现的机率相当小,因此系统会将这项侦测结果屏除。最后一个参数为对象形状与运动方向的设定,在接口上可决定对象移动的主要方向,对象的大小。大型货车、客车是以一个矩形来描述,使用者可决定在这场景下汽车大小的限制。普通小汽车则是利用椭圆形的型态来代表,这样可以更贴切对象的物理形状,同样也可决定小汽车在这场景中大小的限制。当系统侦测到该物体大小超过或低于所设定的值时,则可视为误侦测。将这些设定的时、空参数,结合原来系统设计时的判断规则,可由推论引擎判断出现在画面中的对象为货车、客车或者是汽车。并依照判断的结果,将数据储存于数据库中,以提供后续的检索动作。针对背景相减法所得的前景物件作分析,可避免影像中多个前景物件混合一起评估,以提高分析的准确率。本系统所使用的算法,用于分析背景相减法所得前景物件并判断该物件属于何种物件。该算法主要是应用椭圆形对对象特征的描述,进一步区分货车、客车及小汽车三种物件。再分析对象中直线的分布状况以验证不同的物件。

3实验结果与讨论

3.1实验结果

为了测试所开发的道路监控视频标记系统可行性,所采用的测试数据是直接拍摄真实道路的环境,由系统分析货车、客车及小汽车的出现情况,所处理的影像解晰度为320×240。可由实验结果发现,当货车、客车及小汽车这些物件出现在影像中,我们系统可以侦测其出现的时间点,并标记是何种对象于影像中。有了这些信息可加快相关人员检视影片对象的速度。

3.2讨论

第6篇:数据分析的前景范文

关键词:安全日志;多源异构日志;模糊场景关联分析;聚类分析;疑似度

随着网络应用的迅速发展,安全管理问题日益繁杂。企业单位采用各种网络安全设备,如防火墙、入侵检测系统、病毒木马检测系统、行为审计系统、漏洞扫描器等,节点分散,数量品牌多,产品差异大,各安全设备功能相对独立,告警日志多。例如连续运行的入侵检测系统报警量常常达到G数量级。据统计,其中约有99%以上是无关报警。传统对各种告警日志进行单独分析和处理的方法,由于忽略各种类型日志之间的相关性,使其分析结果无法准确地反映网络系统的安全状况,管理员湮没在大量告警中,很难了解系统的安全威胁状况,无法在海量日志中快速定位有价值的安全威胁,也不能及时采取有效的响应措施。因此,针对这种多源异构告警日志的模糊场景关联分析具有重要的实用价值和研究意义。

近年来,国内外研究人员从不同角度对多源异构日志进行研究,并取得一定的成果。Asif-Iqba等提出了一种异构日志事件过滤的方法,利用聚类算法过滤冗余的日志事件,最后对日志事件进行聚合,从而有利于多源日志事件关联分析;Robiah等提出了一种基于异构日志的入侵报警关联分析方法;文献通过对日志文件的交集进行分析来发现用户的恶意行为,从而提高系统的安全性,但该方法只能对防火墙日志与应用系统日志进行分析;文章提出了一种日志关联分析模型,通过对不同来源的日志文件进行采集、过滤、规范化以及关联分析,重构攻击序列。

以上方法为多源异构日志分析工作提供了可行的解决思路,为日志分析模型及算法奠定了良好的基础,但也普遍存在分析数据源不够广泛、分析技术单一等问题。为此,本文提出了一种包含聚合分析、统计分析和关联分析在内的模糊场景关联分析方法,旨在解决从海量信息安全报警日志中快速准确关联分析出最有威胁攻击行为的问题,辅助管理员对事件进行深度分析和准确处理,实现海量异构安全报警的高效关联分析及处置,以减少网络攻击威胁对信息系统所造成的影响。

1系统架构

本文所使用的模糊场景关联分析是对各类安全设备告警日志数据的深入挖掘和分析,该算法应用在某单位安全运维一体化管控系统的核心关联分析引擎中。模糊场景关联分析算法依靠内存数据库的高效率特点,将格式化后的安全告警日志实时保存在内存中进行周期性快速比对分析,依据攻击源和目的IP地址聚合后攻击行为的次数、类型、攻击手段、事件名称等关键要素进行不同分析,基于越多次数、越多类型、越多攻击手段其作为攻击源和攻击目标的疑似度就越高的基本分析原则,为每个攻击来源和目的IP地址进行实时疑似度统计分析,管理员不再根据安全告警原始日志的接收顺序进行分析处置,而是依据攻击行为疑似度高低优先处理最具安全威胁的攻击者或攻击目标IP地址。

2海量异构安全日志关联分析原理

在面对大量安全告警信息进行关联处理中,传统分析引擎依照顺序规则判定安全报警的生成,按照一个既定的告警事件分析顺序依次判断,最终根据提前明确预定义规则生成安全报警。但在实际关联分析过程中,过于教科书样式的分析规则在现实关联分析中,由于受安全产品的部署和检测效能限制,往往无法保证百分之百地提供真实、有效的安全告警让分析引擎正确执行命中。为了实现针对全网真实环境下部署策略各不相同的安全设备所触发安全告警数据的有效分析,本文设计引入模糊化场景分析规则,其具体设计步骤为:以单一日志分析后的来源和目的IP地址作为关键索引,在一个有效的时间窗口中不断聚合告警日志中每次攻击的来源和目的分别相同的IP地址,在时间窗口中不断累积攻击源和攻击目标IP所对应的安全事件的名称、级别、对端IP这些信息成为关联分析的输入条件。最终基于这些输入数据进行关联分析后,形成一个不断变化的疑似度阈值,当阈值达到提前设置的数值时,算法就趋于认同该来源或者目的IP地址有可能是一个真实的攻击来源或者攻击目标。

3整体架构

为了使模糊场景关联分析算法保持高效的实时比对分析,系统架构采用流式数据处理引擎、内存数据库和传统关系型数据库混合构建完成,将1天24小时即86400秒内采集到的海量日志全部放入内存数据库中进行实时比对分析,流式数据处理引擎负责格式化处理各类实时安全告警日志数据,流式引擎处理格式化后的日志数据放入内存数据库,相对传统关系型数据更适合大量数据的匹配分析。所有分析出来的安全告警数据以及对应原始告警数据日志放入关系型数据库中进行保存。

4技术实现

4.1模糊关联场景分析方法

模糊场景关联分析是对安全运维一体化系统中汇集的安全告警原始日志数据的分析和挖掘。该方法主要是通过模糊关联分析算法,对当前和历史的安全告警和日志数据的计算,发现系统中告警威胁的攻击者和被攻击者疑似度(疑似度的值为0~1之间,用来表示攻击者和被攻击者的疑似程度,越接近1表明攻击者和被攻击者的确定程度越大)。

通过对安全告警产生过程的深入分析,认为有4种安全告警对于疑似度的计算可以产生不同影响。

第1种:未符合聚合策略被忽略的安全告警。由于某些高级持续性威胁(APT)的告警会有意识地调整攻击频率,系统中单一的聚合策略并不能生成告警。

第2种:已处理生成安全事件的安全告警。对于己生成安全事件的告警,这些攻击源和攻击目标是管理员需要持续关注的。

第3种:管理员手动操作忽略的安全告警。由于管理员并不能轻松根据上报的安全告警分析出它们之间的关联关系,所以往往对这些告警采用忽略处理,进而错过彻底发现攻击的最佳时机。

第4种:系统中状态为未处理的安全告警。系统中未处理的安全告警是管理员最关注的。

以上是模糊场景关联分析方法的四大数据来源(见图1)。

对于每一种安全告警中都存在着攻击源和攻击目标,在安全告警事件中,源IP即攻击源,目的IP即攻击目标。模糊场景关联分析方法根据4个数据源计算出每个源IP和目的IP的疑似度(见图2)。

通过对模糊场景关联分析的数据源的分析,每种数据源都是由安全告警组成,每个安全告警又是由多个原始的告警聚合产生,对于安全告警的聚合数量、告警等级是直接影响计算疑似度的2个重要参数(见图3)。

4.2模糊场景算法组成

模糊场景关联分析方法中有4个数据来源、2个维度和2个参数。模糊场景关联分析主要是攻击源和攻击目标疑似度的计算模型(见图4)。

由于4个数据源产生的安全告警的影响是不同的,己处理生成安全事件的安全告警最高,系统中状态为未处理的安全告警次之,由于未符合聚合策略被忽略的安全告警和管理员手动忽略的安全告警均属于忽略状态的告警,所以此类告警影响最低。

其对应在计算方法中的权值也是依次降低。影响划分如下:

己处理生成安全事件的安全告警权重>系统中状态为未处理的安全告警权重>未符合聚合策略被忽略的安全告警和系统运维人员手动忽略的安全告警权重。

数据源的权重Ts范围为1~100,4种数据源的权重如表1所示(表中数据为假设数据)。

对于模糊场景关联分析方法中告警数量,每种数据源提供的数量是不同的,为了避免数据量对计算结果误导性影响,告警数量的权重采用非线性的计算方式获得,具体计算公式如下所示:

Tc=a*th(X/Fn)

Tc表示报警数量的权重,x表示告警数量。a是控制权重的变化趋势,a值越大表明_rc的值越大。th()为双曲正切函数,使用双曲正切函数能保证数量的大小变化对权重值影响不成比例。Fn为调整系数,是一个常量值,更能符合Tc的变化趋势。

模糊场景关联分析方法告警等级权重Td也是计算方法中重要的参数,安全告警一共分为3个等级:高、中、低。告警等级的权重范围为1~10,由于低等级的安全告警对于疑似度的影响较小,系统默认定义低级别安全报警的权值为1。其中安全告警等级的权重如表2所示(表中高中级数据为假设数据)。

事件疑似度是由数据源种类、安全告警数量和安全报警等级决定的,具体计算公式如下所示:

其中,DoubtC表示源IP(或目的IP)为攻击源(或攻击目的)的疑似度。n表示时间范围内参加计算的安全报警数量。Ts表示每种数据源的权重。Tc表示通过安全告警聚合的数量计算出的数量权重。Td代表安全告警等级的权重。Fa为疑似度调整系数,是一个常量值,Fa的设置是将疑似度作整体调整的人性化设计,更能符合用户对于疑似度的感念意识。疑似度计算使用双曲正切函数y=th(X)=(e∧x-e∧(-X))/(e∧x+e∧、(-x)),如图5所示,在双曲正切函数中,不论数值有多大(如:疑似度原值可以是无限大),最终计算出的结果都是在0~1之间的,而其他函数则没有此性质。疑似度计算公式中利用双曲正切函数的分值限制将疑似度值控制在0~100%之间。

模糊场景关联分析算法实例(此数据为测试算法数据):

(1)时间范围10分钟,取源IP为192.168.10.1的10条数据为例。

(2)数量权重计算公式中的Fn值为200,a系数值为10。

(3)安全报警等级权值高中低分别为:Td=6,Td=4,Td=1。

(4)疑似度计算公式中的Fa值为1000。

具体如表3所示。

Doubtc=th(9982.400/1000)=0.7609

则时间范围10分钟,源IP;为192.168.10.1的攻击者疑似度为76.09%。

5应用效果

模糊场景关联分析算法作为安全运维一体化管控系统的核心日志分析处置功能引擎,已经成功部署在某单位并在安全日志关联分析处置中发挥了实际功效价值。该引擎自从上线后,平均每天关联分析接近370万条不同厂家品牌规格的安全日志数据,通过对安全日志分析处置,每天可以稳定针对20~30个重点攻击源和攻击目标IP地址进行高威胁疑似度预警,及时通知管理员进行研判分析处置。管理员可以直接在系统界面中查看相关疑似度统计分析数据以及对应的原始日志主数据,进行运维流程处理。模糊场景关联分析算法应用后,日常安全运维人员不必每天再面对大量滚动更新的安全日志而束手无策,系统成为安全运维团队日常工作的重要支撑工具。

第7篇:数据分析的前景范文

过去采用单一技术手段建立的计算机辅助商业地产投资决策系统大都失败了,现有的投资决策模型是在考虑竞争者能力、项目条件和外部环境等客观风险因素的前提下,运用线性规划、概率论与数理统计、模糊评价等许多方法来量化分析以及决策。这些方法的决策基础是期望效用理论,并且假设前提是投资人完全理性,即每个投资人都会选择期望效用最高的决策方案。然而由于投资人会面临较多复杂的外部风险因素导致认识局限,经常会不理性投资。如面对收益时风险规避,面对损失时风险偏爱等。由卡尼曼(Kahneman)和特沃斯基(Tversky)提出的展望理论是解决这个问题的最佳选择。

二、展望理论

展望理论是行为经济学的重大研究成果之一。此理论是描述性范式的一个决策模型,它假设风险决策过程分为编辑和评价两个过程。在编辑阶段,个体凭借框架(frame)、参照点(reference point)等采集和处理信息,在评价阶段依赖价值函数(value function)和主观概率的权重函数(weighting function)对信息予以判断。

1.价值函数。价值函数是经验型的,它有三个特征,一是大多数人在面临获得时是风险规避的;二是大多数人在面临损失时是风险偏爱的;三是人们对损失比对获得更敏感。因此,人们在面临获得时小心翼翼,不愿冒风险;而在面对失去时很不甘心,容易冒险。人们对损失和获得的敏感程度是不同的,损失时的痛苦感要远远超过获得时的快乐感。如图1所示:

图1 价值函数

价值函数公式,有:

其中,为风险态度系数,越大表示决策者越倾向于冒险,当等于1时为风险中立;θ为损失规避系数,代表风险厌恶程度,若θ>1,则决策者对损失更加敏感。由卡尼曼和特沃斯基的研究,。

2.权重函数。根据卡尼曼和特沃斯基于1992年提出的概率权重函数形式,概率权重公式为:

其中小于1,即小概率时权重大于概率,中、大概率时权重小于概率。依据卡尼曼和特沃斯基的试验测定,取,取此参数设置时概率权重函数曲线呈倒S形,如图2所示:

图2 概率权重函数曲线

由此可知,展望理论将决策者决策时的不理性行为引入到决策过程中,而且将此种不理性行为转化为价值函数和概率权重函数,同时通过调整函数参数来拟合不同决策者的特点。从实际意义上来说,备选方案的前景值是由价值函数和决策权重函数加权构成,人们的风险态度由二者的曲率共同决定,呈现以下的情况:在小概率的收益和大概率的损失时风险追求,在小概率的损失和大概率的收益时表现为风险厌恶。

三、前景理论在商业地产投资决策中的应用

商业地产投资是一项占用大量资金、投资后难逆转的经济活动。因此,必须在财务分析、市场分析的基础上,做好投资的可行性研究。在商业地产投资活动中,投资者会认为通过充分的数据研究后所做的决策是理性的。然而前景理论不同,它的总体观点是:人在风险决策时并不总是理性的,而是系统性地受到偏好和主观价值判断的影响。人们决策时往往更加重视财富的变化量而不是最终量,即从输赢的角度考虑,关心收益和损失的多少。

1.“义联集团”及“义大世界”简介。义联集团是台湾一个企业集团,由林义守创办。旗下有烨联钢铁、联众不锈钢厂、义守大学、义大医院、义大世界、义大职业棒球事业股份有限公司等。义大世界是台湾唯一结合了娱乐、休闲、教育和医疗的综合开发特区。全台首创“品牌直营”Outlet Mall为概念的义大世界购物广场。购物广场另设有“国宾影城”、“冰刀式冰宫”与摩天轮等休闲设施。台湾第三大购物中心,在奥特莱斯购物中心业态排名中独占鳌头。

2.前景理论对“义联集团”投资“义大世界”的完美诠释。在考虑前景理论对商业地产投资决策过程时,首先要恰当的选择参考点,只有综合分析获得理想的参考点才能进行前景值的计算与评价。在做多方案选择时,参考点要保持不变。就商业地产投资方向的选择问题,参考点应以其他投资者曾经的投资经验为依据,同时参照已有经验,通过盈亏平衡分析、敏感性分析、概率分析等工具分析获得具体指标。在前景理论框架下,商业地产投资决策模型如图3所示:

图3 商业地产投资决策模型

本模型中,投资决策者首先基于投资成本进行预算,对投资地点进行评估,为投资决策方案选择确定一个期望中的参考点,以此作为将要进行方案比选的依据。在确定了可行性的方案以后,将展望理论应用于最优方案的选择问题。在编辑阶段,投资决策者可以根据搜集的有关信息、实地考擦情况及前人投资的经验对各个投资方案作出预测,得到各方案投资回报概率分布,并进行相应的综合分析。在评估阶段,投资决策者根据自身情况拟定一个心理预期投资回报率作为参考点,将编辑后的结果利用价值函数和概率权重函数加以分析,求出此投资方案前景效用值,通过计算比较不同方案的前景效用值,得到投资决策的最优方案策略。

“义联集团”做出决策投资“义大世界”方案,首先需要考虑影响投资成本的相关要素。选取以下要素(Ki)指标作为依据:招商引资投入(K1)、主体建筑投入(K2)、附属设施投入(K3)、装饰装修费用投入(K4),其中大部分投入都是集团自有资金。假设可选方案有4个,分别为传统百货业(b1)、百货业+酒店(b2)、购物中心+酒店(b3)、购物中心+酒店+主体乐园(b4),“义联集团”需要选择一个最优的方案作为投资方案。同时根据前人投资商业地产成功的模式以及自身在商业地产投资中的成功经验,选择一个曾经投资获得收益的方案(b0)作为参照标准,即在前景理论中的参考点。

根据要素重要程度,选择合适的计算工具,计算要素Ki的权重为Wi,在运用前景理论时,将所得的权重换为Pi,根据要选择的方案和参照方案的比较获得的差值作为计算前景值所需的Xi,最终依据前景值计算公式:,获得各个备选方案的前景值Vi,然后按照前景值大小进行排序,做出投资方案决策。

“义联集团”选择在高雄偏远又人烟稀少的观音山投资兴建“义大世界”,一度不被外界看好。但由于创办人从小家境贫寒、读书少、年轻时就与肝癌搏斗等特殊经历造就了他在主营的钢铁事业成功后投资创办义守大学、建造了并运营着五星级饭店似的义大医院。这个真实的例子也展现了人们在风险决策时的选择并不总是理性的(仅以数据为依据),而是会系统性地受到自身偏好以及主观价值判断的影响。

第8篇:数据分析的前景范文

【关键词】二维GIS 三维场景 二三维一体化

烟草企业的信息化程度一直走在国内企业的前列,随着地理信息系统(Geographic Information System简称为GIS)技术在烟草行业的逐步应用,诸多烟草企业建立了基于GIS的信息管理系统,它提高了企业规划的效率、减少了重复建设并为企业生产检修提供了新的手段。

二维GIS建立在平面地理信息数据之上,一般使用的地图为工程图,虽然符合目前规划、设计、管理等对地图的使用习惯,但无法反映和表达三维空间的信息,难以为使用者提供一个直观的三维空间场景。相比之下,三维虚拟场景最大优点是增加了z轴上的表现能力,使目标对象在三维空间能够最大程度地真实呈现,三维虚拟场景尽管克服了二维GIS的缺点,但是也存在数据量大、数据获取和处理困难、与二维数据不易顺畅结合以及对各种信息的综合处理与分析。我们通过对二维三维连动交互机制的探索,使二维GIS与三维虚拟场景较好地实现了融合,可以扬长避短、更好地服务于烟草企业。

一、二三维一体化GIS系统构建

(一)基本设计思路和处理流程

烟草企业二三维一体化GIS系统建立在空间数据库、属性数据库和其他应用数据之上;二维部分基于MapGuide,三维部分基于Unity3D;通过中间件技术FDO和ADO访问底层数据。这种二次开发方式使得系统的建立和扩展具有便捷性和稳定性,减少了一个系统从总体开发需要底层引擎开始开发的庞大工作量和维护测试的压力,大大提高了开发效率。系统总体结构图如图1所示:

(二)二维GIS体系环境

二维GIS采用MapGuide作为开发平台,MapGuide是Autodesk公司为满足GIS用户数据需要,开发的Internet网络图形数据产品。它是通过Internet和Intranet实时的、内容丰富而翔实的地图和地理数据的交互式解决方案。MapGuide架构如图2所示:

(三)三维GIS体系环境

三维部分采用Unity3D开发。Unity3D是由Unity Technologies开发的一个让开发者轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型开发工具,它是一个全面整合的专业三维引擎。Unity3D支持多种格式导入,作为一个友善的专业开发工具,引擎脚本编辑支持Javascript、C#、Boo三种脚本语言,可快速开发、并自由的创造丰富多彩,功能强大的交互内容,是三维GIS开发平台中比较好的选择。

二、二维GIS与三维GIS设计

(一)二维GIS设计

二维GIS主要实现地图浏览查询、数据统计、二维地图分析等功能。以MapGuide作为GIS应用程序开发平台,通过调用Web Extensions API开发Web应用程序,在WEB应用程序中调用Web Extensions API以FDO(Feature Data Object )方式访问数据源,如空间数据等;通过调用与ORACLE的数据连接访问属性数据库。

二维部分与三维的主要接口有:

响应二维三维一体化接口:根据三维场景提供的信息,以AJAX异步方式调用二维GIS信息,实现二维信息的同步。反过来可以二维信息通过AJAX异步调用方式调用三维信息实现三维信息的同步。

(二)三维GIS设计

三维GIS主要实现三维场景的展示、信息的查询以及与二维GIS的交互。采用3DMAX建模方法建立三维的基本场景;通过空间坐标和关联的关键字与二维目标对象建立关联关系;开发三维控制功能,实现的三维GIS的应用;开发控制接口实现三维GIS与二维GIS的交互。

三维GIS与二维GIS主要交互接口有:

三维管网调度接口:实现对管网模型的调度。有三种调度方式,即专业控制调度,区域控制调度和距离控制调度。

位置感知控制接口:实现用户在场景的定位感知。通过与生产基地平面图及建筑物室内平面图的坐标匹配,显示用户实际位置。

三、二维三维一体化的实现机制

(一)交互设计

通过映射机制实现二维电子地图和三维虚拟场景的交互。其映射原理如下:

ΔX=X-XOffset

ΔY=Y-YOffset

DIR=360-ORIY

上述公式中,(X,Y)为二维/三维中某点坐标值,(XOffset,YOffset)为二维与三维坐标值差(偏移量),(ΔX,ΔY)为(X,Y)点投影到三维/二维中的坐标。ORIY为三维下摄像机的角度(欧拉角)的Y值,DIR为视点投影到平面上朝向,便于确认三维下摄像机当前角度在二维地图上的投影。

具体实现方式为:选取初始固定位置作为原点,分别取三维GIS平面投影坐标和二维GIS平面坐标,计算二者之间坐标系的偏移量作为常量。在二维GIS中或者三维GIS中依据当前坐标值与偏移量计算出对应的三维GIS坐标值或者二维GIS坐标值。

(二)二维三维一体化交互通信机制

考虑到二维GIS模块和三维GIS模块的高内聚、低耦合的特性,在B/S架构上采用基于AJAX技术的异步式机制来实现二三维连动。二维三维的交互方式是:

1.三维主导二维

三维场景通过参数方式发出命令到前端,前端通过AJAX技术转到服务器处理,服务器根据请求的指令通过计算将结果反馈给二维GIS端,二维GIS根据获取的信息刷新当前地图和导航图。参数结构如表1所示:

2.二维主导三维

二维图在前端上取到坐标、角度以及当前区域后,通过AJAX方式发送到服务器端,服务器端计算三维的坐标等信息,将计算结果反馈给前端,unity3d前端脚本根据结果实现三维的跳转以及实体信息显示等工作。参数结构如表2所示:

四、系统实现的功能

二维GIS与三维场景的交互主要在二维三维连动、三维浏览查询、二维查询统计、二维分析以及其他辅助功能方面, B/S 系统各个功能模块具体描述如下:

⑴三维场景浏览:以指定路线或自由路线进行浏览, 并可控制视点的位置,调整浏览效果等;

⑵管线建筑物信息查询:在三维场景中查询管线或建筑物信息;

⑶信息查询:本区域内管线信息一般查询和条件查询;

⑷管线统计:统计厂区管线数据,分专业、性质来统计长度等属性信息;

⑸选中管线统计:统计当前选中区域的管线信息;

⑹剖面分析:分析一段区域内地下管线位置信息;

⑺管线标高分析:分析所标注管线的标高、坐标等信息并在地图上显示;

⑻缓冲分析:按设定的距离条件,围绕建筑物或管线等实体而形成一定多边形实体缓冲区,实现实体二维空间扩展的信息分析

⑼二维主导跳转:在二维导航图上选择位置实现场景信息的同步跳转;

⑽三维主导跳转:在三维场景上选择目标位置实现二维地图和导航图的同步跳转;

⑾二维三维互动:场景浏览时二维信息实时变化;

⑿用户管理:添加、删除用户、用户权限管理等;

⒀地图量测:地图上面积和距离的量测;

五、结语

二维GIS与三维虚拟场景通过互动机制的结合,有效地改善了二维GIS与三维虚拟场景的不足,并将这种技术应用于传统上的烟草二维地理信息管理系统,使得烟草企业的管理不再盲目和抽象,便于普通用户或者管理决策者使用,提高了企业的管理效率。随着烟厂行业信息技术数字化的不断发展,我们将更切实地感受到二三维一体化GIS的重要性。

参考文献:

[1]Autodesk Asia Pte Ltd Autodesk地理信息系统解决方案之MAPGUIDE二次开发

第9篇:数据分析的前景范文

关键词:异常监控

中图分类号:TP391.41 文献标识码:A 文章编号:1007-9416(2013)06-0098-01

随着数字化校园方案的推进,各高等院校都建立起了自己的数字化服务系统,数据安全工作变得尤为重要。数据中心机房的视频监控系统的监控视频信息量大,异常情况判断和处理的效率需求高,因此,研制快速有效的数据中心视频异常监控体系,具有重要的现实意义。为保证视频异常监控处理的效率,异常情况的快速检测非常关键。因此,本文尝试从该方面对传统视频异常检测技术加以改进,以实现对校园数据中心视频异常检测的高效处理。

1 总体方案

目前,视频异常检测机制根据其应用行业及场合的不同而采用不同的算法和实现方案,其中,异常情况的检测技术也有所不同,大致分为异常目标检测和异常区域检测两种。校园数据中心因其监控场合的特殊性,主要采用异常区域检测的方案。本文提出的改进后的矩阵差分检测模型实质在于以常规的背景差分算法为基础,该方案的处理流程简述如下:

(1)系统初始化,并初次设立背景帧。由于数据中心中正常情况下是无人进出,背景模型受运动目标的影响较小,仅考虑室内外光照变化,疑似火灾或疑似非法闯入等情况对监控画面背景造成改变。因此初始化时,可考虑直接采用监控视频的前导有效图像帧序列的某一帧作为背景帧。

(2)系统初始化完成后,会不断地从图像缓存中读取现场视频图像帧序列。每新读进来的图像帧,应首先同已建立的背景检测模型进行差分运算比对,其差值与预先设定的阀值比较,如超过则判断有疑似情况发生,将差值变化区域作为异常情况区域提取出来,建立异常背景模型。后续的监控图像进来,直接与该异常背景模型进行对比,当累计值超过门限值时,进行报警。

(3)长期工作时,为避免误检和漏检,系统应强制清空异常背景模型,使异常背景模型失效,重新建立异常背景模型。

2 模型建立与实现

2.2 差分计算

3 矩阵加速

在进行异常情况检测时,计算量主要集中在背景模型更新和异常情况判定两个步骤。如直接进行全尺寸的差分运算,综合视频图像序列的连续叠加效应,其计算量巨大。同时,经研究发现,因数据中心机房场地条件特殊性,即使出现异常情况,其反应在监控视频图像中的位置范围和移动轨迹呈现聚类特性。因此,在进行差分运算时,可借助矩阵加快处理速率。其思路如下所示:

(1)将当前视频图像以像素为单位做矩阵化预处理;

(2)下一帧视频图像进来做矩阵化预处理;

(3)做差分运算,即进行两帧图像的像素点矩阵遍历比较后,若出现像素点异常,即疑似异常运动目标出现时,将对应像素点的矩阵编号抽取出来形成背景模型;

(4)依据如前所述的聚类特性,按照“九宫格”像素点关联原则优先将疑似像素点的临近编号抽取出来,读入缓存;

(5)新的视频图像进来矩阵化预处理后,仅抽取前述处理中出现疑似异常情况相同矩阵编号的像素点序列,与背景模型遍历比较;

(6)重复以上步骤。

利用矩阵加速的实质将原先的像素点集合差分运算转变为视频图像像素矩阵的行遍历或列遍历比较;同时,读入缓存中的像素点序列已对异常情况进行了简单预判,将差分运算的范围和计算量尽量控制在局部,从而有效降低计算广度和复杂度,提高了运算效率。

4 结语

本文尝试对传统技术加以改进,利用背景分析法和时域分析法两种方案之间较强的相关性,针对背景分析法对监控场景变化敏感的缺陷,采用局部时域分析法对其模型进行优化,同时利用矩阵来加速其差分运算过程,以实现快速有效的异常检测。本文设计的数据中心机房视频异常监测系统,可在保障数据中心监控工作正常进行的同时,有效提高工作效率,具有良好的经济效益及社会应用前景。

参考文献

[1]谢锦生,郭立,陈运必.赵龙.基于时空惊奇计算的视频异常检测方法[J].中国科学院研究生院学报,2013年01期.