数据分析设计精选(九篇)

第1篇：数据分析设计范文

【关键词】机电；数据机构；分层；系统设计

中图分类号：F407 文献标识码： A

一、前言

采用计算机操作可以将机电结构数据进行简单的导入，这就是机电结构分层系统设计的目的，本文重点对机电结构设计的意义以及形式进行了详细的分析，目的是提高机电结构设计的质量，供相关的设计人员参考。

二、机电数据结构分层系统设计意义

机电数据结构分层制作系统设计的目的就是将产品技术资料光盘进行电子化转换后，把提取的有用信息放入机电数据样表，然后通过其自动转换成可导入信息管理系统的机电数据结构分层文件。机电数据结构分层文件是信息管理系统中重要的输入数据，是编制采购计划及实现预防性维护的依据，其制作质量是否准确、规范直接关系到企业的配件库存及产品维护的成本。未开发软件之前，机电数据结构分层是通过人工来完成的，费时费力，特别是对于一些结构复杂且配件数量比较多的机电产品人工分层显得尤为烦琐，极易出现漏分及父子关系关联的错误，这严重影响数据的正确性，且无法保证时限性。机电数据结构分层制作系统实现了数据结构分层工作的自动化，从根本上解决数据分层工作中的大量人力耗费问题，可为企业信息化管理系统提供了准确、规范的数据信息，实现产品结构分层信息的共享及更新的便捷化，真正达到了配件的计划与控制。

三、机电数据结构分层制作系统实现的技术

1、采用了数据库技术。机电数据结构分层的整个过程所使用的数据库管理软件只是用来存储提取到的基本数据、根据关联处理规则分层后的数据表是EXCEL格式的文件载体，处理结果依用户设置自动保存，该软件使用SQLServer2000数据库管理系统，即可满足用户将来要求保存一定量数据的要求，也能满足对这些基本数据的处理功能。

2、采用了多线程编程技术。数据结构分层功能模块通过采用多线程编程技术，提高应用程序响应度，使处理器效率更高，且占用较少的系统资源。

3、桌面编程技术。当前桌面应用开发技术还是首推Delphi。Delphi是一个以面向对象程序设计为中心的应用程序开发工具，具有基于窗体和面向对象的方法、高速的编译器及强大而成熟的组件技术等特性，因此该软件是基于Delphi7.0环境开发而成。

四、数据的传输技术及实现

ADO是Microsoft为数据访问范例OLEDB而设计，是一个便于使用的应用程序接口。ADO通过OLEDB提供访问和操作数据库服务器端的数据，特点是速度快、内存支出少和磁盘遗迹小…。ADO在关键的应用方案中使用最少的网络流量，并且在前端和数据源之间使用最少的层数，所有这些为程序运行提供了轻质量、高性能的接口。Delphi提供了ADO数据库编程技术，由于ADO内置在微软的操作系统中，因此开发数据库应用程序避免了BDE的配置和安装，减少了的难度。

开发和一个基于Client/Server方式的应用程序，需要在服务器端安装后台数据库软件，并且建立或导入自开发程序所需要的数据库、账号和角色等。有两种方法可以实现，一种是在程序开发完成时，备份最终使用的数据库，连的程序一同提交给使用者，在用户的服务器端安装数据库系统后，根据实际情况手工导入所需的数据库。另一种方法是在开发的程序中编写代码实现数据库安装和初始化，提交给用户的只是的程序，用户在服务器端安装数据库系统后，在客户端运行应用程序，完成程序所需数据库的建立和初始化。显然，后一种方法更加灵活可靠，自动化程度高。本文讲述如何在Delphi7.0开发环境下使用ADO技术，编程实现SQLServer2000数据库服务器的连接和程序所需数据库的初始化。这是数据结构技术最为核心的内容。

1、机电数据结构分层制作系统设计思路

Delphi是一个高效的可视化数据库管理信息系开发工具。利用Delphi 控制EXCEL数据层、格式复杂的报表等与EXCEL 相关的工作，通情况下，对一些不常用到的 操作，只需利其自身函数强大的处理功能进行操作即可，而对一些经常用到且有规律可循的操作，则可以利用Delphi快速应用程序开发工具编写程序控制EXCEL格式的文件，更好地提高工作效率。由于分层系统使用的后台数据库是SQLServer ，SQLServer而 对源表格式的要求比较高，因此在往系统中导入准备分层的机电数据表时，应先将整个表的格式设置为文本格式，并且在制作完成时，进一步核查是否与模板要求相符，将格式不符的进行更正。

2、机电数据结构分层文件中分层编号的数字表达形式能够非常直观地了解该产品与组件、组件与零部件之间的关联关系，产品部分配件关联见表1。

分层文件中组件的多少及分层的级数反映了产品机构及装配的复杂程度。对于属于价值高、重要、可重复使用、可用于同类其他产品的重要零部件，定为跟踪件，其分层号与产品前均标识字母Z，同产品一样作为资产进行全寿命跟踪管理，其他零部件分层号前标识字母B，这是为下一步关接生成而特殊设定的，每个配件所要求反映的技术参数列事先根据系统要求设定。

五、系统界面配置及软件流程

1、系统界面配置

系统界面配置该软件界面配置 比较人性化，实现了分层的个性化设置、页面高清显示颜色的设置、分层完成后关机设置等。 “系统―设置―初始化数据库”，可以通过此路径删除导入的所有机电数据表，也可以在此界面进行删除。每次使用之前，要进行初始化数据库操作。

机电数据表有 5形式的模板，分别为无ZO主 组 件―― ―无直属件和有直属件，有ZO 组件―― ―无直属件和有直属件，对于多台设备分层情况，像刮板输送机，转载机和破碎机和液压支架就属于多台设备的情况，根据软件要求规范成一种特殊形式的模板。规范后的机电数据表导入后台数据库，进行自动分层。整个分层过程清晰明了，对数据的每次处，都会显示到“处理日志”中。分层结束后，显示分层完成，并将结果显示到页面中。将系统完成的结构分层文件与人工分层完成的结构分层文件通过VLOOKUP进行核对后，其结果准确无误。对于处理同等数据量的机电数据表，效率由原来的1周，提高到 完成。

2、系统软件流程

系统软件的编程是基于下面的流程框图来编制

的，设备结构分层的实现主要有以下几个步骤：一是读取规范好的 表中的数据。将表中 数据节点、一级 主组件数据节点及基础数据父子数据表存入数据库临时表中，以便对数据进行更深一步操作 。二是进行两次判断，首先判断 主组件节点是否为空，如果是显示分层结果，如果不是查询是否有子节点；再次进行判断，如果否再读取主组件节点，如果是生成父子数据，该步是本程序中的一个重点。经过不断循环，完整实现数据横向及纵向多层分层结构。三是从数据库中读出数据，把分层结果写入EXCEL表中。由于程序执行是按主组件与子组件的图号件号来进行关联，一旦数据表中前后相同组件的图号件号不一致，该程序将会关联错误，导致错误的分层结果，因此要充分发挥该系统的作用，必须在数据源头把关，并正确选择模板。

设备数据结构分层系统自动化制作软件已应用于多个大型企业的数据结构分层处理工作，郊果显著。通过采用该系统，大幅度提高数据分层工作的效率和准确率，并用较少的人力物力为企业提供了及时、准确的数据，为企业适应市场竞争奠定了良好的基础，国内很多大型企业都引入了企业信息管理系统，这为系统的推广带来广阔的前景。

六、结束语

综上所述，本文重点对机电数据结构分层的系统设计进行了详细的分析，目的是提高相关企业的工作效率。更早的实现自动化的操作。

参考文献：

[1] 任金霞， 黄运强， 方翔. 分布式数据库技术在保险信息管理系统中的实现[J]. 计算机与现代化， 2009，（8）.

第2篇：数据分析设计范文

关键词:系统设计;信息分析;Oracle数据库;数据结构;GIS

中图分类号:TP311.13文献标识码:A 文章编号:1009-3044(2010)08-1800-04

The System Design of Information Analysis Database for Changqing Oilfield

LI Juan, GUO Kang-liang, HE Zhen-ming, TANG Jun, YAN Ke-wei

(Department of Geosciences, Yangtze University, Jingzhou 434023, China)

Abstract: Changqing Oilfield information analysis database system using ORACLE database, GIS (geographic information system) technology on the original field information storage, graphical management, and through mathematical analysis to accomplish the production information analysis, obtained laws to assist in the future the work of decision making. Development through information analysis system will make that field information management more scientific and convenient.

Key words: system design; information analysis; Oracle databases; data structures; GIS

随着当今计算机数据库和数据仓库,GIS等技术的发展,利用大量的、全面的生产历史数据,将其存储在数据(仓)库中,进行新数据的录入、历史数据的分类提取。然后借助相关数学方法对生产信息进行科学的数据分析,进而总结规律。GIS图形化管理工具的运用也能帮助直观、便捷的处理各类信息。这些先进的技术必将给油田的发展带来二次的飞越。油田信息化将大大提升油田生产、管理水平,为油田生产发挥巨大的效益,成为公认的增强企业竞争力的有效途径。

1 系统需求分析

1.1 数据管理需求

油田信息化建设是改变传统的油田生产经营模式,以一种全新的数字化作业方式代替传统的手工或半手工的工作方式。油田的管理首先要对油田的各类海量信息数据进行管理。数据是油田的资产和宝贵的财富,但由于以前是人工管理,现在存在了资料的保存介质多样、数据格式多样、数据冗余、数据管理繁琐、数据应用不便、不能共享等各种问题。系统将以数据库技术,地理空间信息为基础,直观合理、科学便捷的实现油田地质研究、数据管理、自动化监控、经营管理、部门管理等。

1.2 生产需求

长庆油田属于低渗透砂岩气藏,这类气藏具有孔隙度低、渗透率低,含水饱和度高,气水关系负杂、非均质性强、气体流动启动压力高、单井产量低等特点,压裂是这类低渗透砂岩气藏开发的主要手段。只有搞好气井的压裂,使其发挥最大的经济效益,才能真正提高油气田的产量。因此做好压裂前各项技术的准备,如选井选层及综合地质研究,为优化施工设计提供地质依据。压裂以后做好压裂效果评价,正确科学的对压裂效果的各项数据进行分析,从而选择最佳的压裂施工方案[1]。系统可以将油井的复杂性整体客观地展示给管理者,用户可以把复杂的压裂数据和地质情况转换成直观的分析曲线,可简单便捷的确定分析油藏,直接设计井位和压裂开发方案,可以实现桌面化的油田研究、管理、指挥和决策,能够获得不同思路的建模和模拟结果,从而达到降低风险,优化决策的效果[2]。

2 系统体系结构

计算机应用结构分为:Client/ Server(客户机/服务器)结构、Browser/Server(浏览器/服务器)结构。

2.1 Client/Server模式

C/S模式是基于网络技术发展起来的一种新型体系结构的信息处理模式,具有较强的信息共享能力。这种结构的配置较为灵活,每个用户具有较强的独立性。但需要在每一个Client端安装特定的应用程序,限制了Client端的灵活性,而且存在Client端跨多平台时不灵活的问题,因此这种结构具有一定的局限性。C/S网络运行模式操作复杂,对系统维护人员要求高。这样对于一般的部门往往会出现因为管理人员的维护不当而使系统出错甚至使系统崩溃。另外C/S方式对网络要求比较高,一般适用于局域网内部使用。

2.2 Browser/Server模式

B/S结构扩展了客户机/服务器的概念,使开发者只需将注意力集中到Web服务器端后台应用的开发,省去了客户端前台交互界面软件的开发,上网用户使用通用的多媒体浏览器(如IE)就可进行信息访问和交流,数据操作和程序运行都在服务器中完成,实现客户端的零安装和零维护。这不仅可节省开发费用和加快开发进度,更重要的是实现了跨越多平台的开发。由于数据访问是实时的,当多用户并发访问、传输数据量较大时,易造成网络堵塞,降低访问速度。

鉴于B/S方式和C/S方式各具优缺点,系统采用以B/S为主,C/S为辅的网络结构模式进行系统结构管理(见图1),为各部门业务的开展提供可行的解决方案。对于信息室,由于要负责数据更新和系统的维护等工作,涉及大量数据的处理,提供C/S模式,以充分利用其具有良好的人/机交互能力,对图形数据具有很强的处理和编辑能力,对于空间数据的存取效率高的特点,方便用户开展管理工作[3]。对于各处室业务人员日常办公,由于办公地点分布地域广、工作人员的素质差异较大,为其提供B/S模式,通过局域网访问信息中心。所有日常办公操作可通过浏览器完成,可大大降低对基层人员的计算机技术要求。

3 系统功能设计

数据库系统在功能结构上由服务器、管理平台和客户端三部分组成,管理平台和客户端通过TCP/IP协议与服务器相连。服务器主要用于数据库的存储、数据库信息调用的服务。并选用国际通用的、能提供对大块数据体支持的Oracle数据库产品,能够很好地满足分布式网络数据库要求。管理平台与客户端是两个相对独立的部分,都通过内部网络与服务器相连,通过软件平台调用服务器上数据库的信息。功能模块的设计上,按照功能的不同主要分成了三个部分:基础资料的管理部分,图件数字化部分,分析决策部分;其中各个部分又依照具体功能分成了不同的子系统来实现具体功能。子系统包括数据库管理与显示子系统、基础数据统计查询子系统、数理统计方法库管理子系统、压裂措施选取辅助决策子系统、数据接口子系统、生产分析结果管理子系统、图件数字化子系统、专题地质图件绘制子系统等等。

3.1 基础资料管理部分

主要包括用户管理、日志管理、系统维护、基础应用管理、数据显示等功能模块来负责对以往的油田各项信息资料数据进行存取、录入、更新以及维护。这部分主要是借助ORACLE数据库各种功能的来管理和实现,类似一般的数据库管理。

3.2 图件数字化部分

主要是采用C/S结构,基于地理信息系统(GIS)组件二次开发,图件数字化子系统实现了地图显示与浏览、图像导入、图像校正、空间参照系的设置、图形输入与编辑、常用数据接口、图件排版与输出等功能。并且联同ORACLE查询功能来实现图形与属性互操作的管理、查询、修改功能。

3.3 分析决策部分

这部分是整个系统的关键,建立服务于压裂效果评价与措施选择的方法库,为基础资料的综合分析和挖掘提供技术支撑。借助了相关的数学分析方法能够对各类生产数据进行多元回归分析(线性、非线性)、主成份分析、因子分析等方法综合研究。其中运用了神经网络、数据挖掘等技术对于分析油层参数、措施参数与措施效果之间的协同复杂关系,为措施效果评价、措施参数优化提供技术支撑。

由于压裂效果与其影响参数之间大多呈复杂的非线性关系,这种关系难以用传统的数学表达式来描绘;又由于各因素对压裂效果的影响程度不同,而且某些因素之间存在交叉影响现象。因而可以用人工神经网络方法来解决这类高度复杂的非线性问题。在处理参数间的复杂非线性关系时,利用网络上各神经元的参数(即复杂的网络结构)来表达知识,而不是用传统数学中的简单表达式;通过调节网络中各节点与节点之间的连接系数(即参数的权值大小)来解决参数存在的重复和主次现象[4]。

4 数据库结构设计

4.1 数据库需求分析

数据库是本系统的基础,将实现系统中各种空间、属性数据的统一管理与维护,支持系统中各项业务的正常运行。总体上,本系统数据库中的数据应包括基础数据、业务数据、分析成果数据三大部分。基础数据由地理空间数据、系统管理数据、组织机构数据、工程基础数据组成;业务数据主要由长庆石油勘探局井下技术作业处生产信息系统中的压裂、试井、分析生产数据构成,另外还包括收集整理测井成果数据。分析成果数据是该系统的核心数据,通过运用本系统提供的分析方法与工具对现有油层数据、测井数据、试井数据等评价分析获得,是系统进行压裂效果评价和压裂方案设计的数据基础。

4.2 数据库系统设计

系统选用结构化系统开发方法。这种方法的突出优点就是它强调系统开发过程的整体性和全局性,强调在整体优化的前提下来考虑具体的分析设计问题,即自顶向下的观点,是一种目前广泛被采用的系统开发方法[5]。数据库是本系统的基础,将实现系统中各种空间、属性数据的统一管理与维护,支持系统中各项业务的正常运行。

从数据的形式来说,本系统数据库中既包含传统一维表格数据又包括新采集的二维图形数据。为了便于二者的管理和维护,需要设计统一的数据模型将二者有机的组织在一起统一管理、统一维护[4]。利用国产GIS软件MapGIS空间数据引擎SDE提供的强大功能,可实现图形和属性数据在商业数据库软件ORACLE中的统一存储和管理,同时也保证了本系统数据库与井下处生产信息系统数据库的兼容性。从数据的来源与用途来看,本系统数据可分为基础数据、业务数据、分析成果数据三大部分,因此,逻辑上划分为基础数据库、业务数据库、分析成果数据库三个子库。

1)基础数据

基础数据包括维护系统和系统业务运行的各项基础数据,包括工程基础数据、地理空间数据、组织机构基础数据、系统管理数据等。

2)业务数据

业务数据是井下处生产过程中所涉及的生产设计、生产记录和生产成果数据,主要包括压酸挤数据、测试试井数据、生产分析结果数据、测井综合数据等。

3)分析成果数据

分析成果数据是本系统中用于支持压裂效果评价与方案优选的数据基础,包括评价分析样本数据、评价分析因素相关系数数据、评价分析方法数据、评价分析成果数据。

4.3 数据表结构设计

每一口井的信息种类不尽相同,同时,每一口井的单个信息可能有多次测量。并且测井信息在不断的更新中。这就要求数据库有良好的可扩充性,在统一了测井信息数据格式的基础上,在ORACLE数据库系统的支持下,采用嵌套表的方法可较好地解决这一问题[6]。另一方面由于数据库中井的数量庞大。这就要求测井信息数据库有良好的结,达到尽量提高效率的原则。基于此,设计了如图3所示的数据库表结构形式[7]。

4.4 数据信息关系设计

系统采用当前应用最为广泛的基于关系表的存储方式,并采用星型存储模式,这种模式可为数据仓库提供优越的数据检索和分析功能。在创建数据仓库的过程中,选定的主题为压裂效果无阻流量,在数据仓库中存在维表和事实表,两种表间利用维的ID连接[8]。

5 系统的关键技术路线

5.1 面向对象的系统分析和设计(OOA&D)方法

系统分析与设计将采用面向对象的系统分析与设计(OOA&D)方法,确保系统设计与开发符合软件工程的规范,开发出规范化的、具有较高可移植性、可靠性的软件,提高系统开发的效率。

5.2 采用关系数据库管理空间数据和属性数据

当前地理信息系统(GIS)技术发展的最新趋势是采用关系数据库或对象关系数据库管理空间数据和属性数据,可以充分利用关系数据库管理系统(RDBMS)的数据管理功能,利用结构化查询语言(SQL)对空间与非空间数据进行操作,同时可以利用关系数据库的海量数据管理、事务处理(Transaction)、记录锁定、并发控制、数据仓库等功能,使空间数据与非空间数据一体化集成。系统将采用关系数据库管理空间数据和属性数据,确保空间和非空间数据的一体化集成。

5.3 全组件式GIS技术应用

GIS融入IT除了将空间数据交到关系数据库中进行管理以外,开发客户端时,还要考虑使用全组件式的GIS。全组件式GIS软件将GIS的功能从数据输入、编辑、处理(建立拓扑关系)、查询显示、分析和制图输出全部封装成组件,可以根据用户需要,自由定制操作方式和界面。用户可以将GIS组件和其他组件放在一起,采用通用的开发平台,如Visual Basic、Delphi、Power Builder、C#等,而不再受GIS二次开发语言限制。从而极大地方便了二次开发,同时增强了二次开发的扩展能力,使得后续应用系统的开发与基础数据的衔接变得方便简单[7]。

5.4 数据挖掘技术的应用

数据挖掘能自动在大型数据库里面找寻潜在的预测信息。传统上需要很多专家来进行分析的问题,现在可以快速而直接地从数据中间找到答案。数据挖掘工具可以根据过去大量的数据找出其中最有可能对将来的发展最有价值的信息,并辨认出那些隐藏着的模式。数据挖掘技术可以让现有的软件和硬件更加自动化,并且可以在升级的或者新开发的平台上执行[9]。

5.5 神经网络技术的应用

人工神经网络就是模拟人思维的直观性思维:1)信息是通过神经元上的兴奋模式分布储在网络上;2)信息处理是通过神经元之间同时相互作用的动态过程来完成的。这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。神经网络方法能很好地解决多因素的非线性问题[8]。

6 结束语

在系统的开发过程中要具体的考虑到数据库表的各项数据内容的结构,设置方便开放的数据接口,方便系统的二次开发与维护。各类数据平台和软硬件要更加通用和开放。

参考文献:

[1] 肖昆.低渗透气藏压裂效果评价方法研究[D].成都:西南石油学院,2003.

[2] 刘拥军,杨永发,朱春红.长庆油田测井信息数据库的系统设计[J].测井技术,2005,26(3).

[3] 张晓林,侯宝稳,吴宝江.数据库系统管理与应用[M].北京:清华大学出版社,2007.

[4] 吴亚红,李秀生.人工神经网在压裂选井及选层中的应用[J].石油大学学报,2001(25).

[5] 王晓莲,顾娟,王颖,等.大庆油田测井数据库系统设计[J].油气田地面工程,2007,26(2).

[6] 袁鹏飞.ORACLE8i数据库高级应用开发技术[M].北京:人民邮电出版社,2000.

[7] 张帆.基于.Net 平台WebGIS系统的研究与实现[D].长沙:中南大学,2008.

第3篇：数据分析设计范文

1我国农业大数据发展现状及问题分析

1．1我国农业大数据发展现状

近年来，我国政府部门、高等院校、农业企业均意识到了农业数据的价值，高度重视涉农数据的采集、存储、挖掘、分析及应用工作。2015年，农业部搭建了农业综合信息服务平台，并率先开展了全国农业系统信息资源的共建共享。各省市政府相继了农业大数据发展规划政策，例如天津市政府了《天津市促进大数据发展应用条例》指出，要加强农业农村大数据应用，搭建资源要素平台，构建综合信息服务体系。以此为基础，天津市搭建了“三农”大数据平台，实现了当地涉农部门信息资源的互联、共享［3］。随着各省市农业大数据相关发展政策文件的，相关高校、农业企业也纷纷加入到农业大数据应用建设当中。山东农业大学率先成立了农业大数据研究中心，依托互联网、大数据等先进技术搭建了渤海粮仓大数据平台，实现了环渤海低平原地区的盐碱荒地的改造，取得了显著的成果［4］。同时，山东农业大学联合量子数聚（北京）科技有限公司共同打造了农业大数据应用云平台，该平台通过整合多渠道农业相关数据，依托数据挖掘可视化分析技术，面向用户提供数据查询、分析等应用服务。北京布瑞克农信科技集团有限责任公司研制了一套农业农村大数据平台，平台汇聚了全国农产品数据，提供数据检索、咨询、可视化分析等功能。

1．2我国农业大数据问题分析

我国当前农业信息化建设取得了一定的成就，信息技术在农业生产领域中的应用水平不断提高，农业信息化基础设施建设得到不断加强，已经初步构建了以农业部信息中心为龙头、连接31个省（市、区）农口部门的信息平台。但从总体来看，我国的农业信息化程度还很低：一是存在数据孤岛，缺少数据共享机制。政府、企业、高校等单位虽然已认识到数据的重要性，然而数据共享意识还有待提高，大部分单位仍然将数据据为己有，造成数据壁垒，无法有效共享。即使有些单位愿意开展数据共享工作，但往往由于信息系统间标准规范、接口协议的不同，阻碍了数据共享进程［5］。二是数据来源单一，技术应用不足。农业数据采集系统大部分由政府部门、高校等机构建设，且在数据采集方面仅有少部分信息化程度较高的地区能够依托互联网、物联网等技术开展大规模数据采集工作，部分地区仍依靠人工、纸质文件录入等方式，大大降低了采集效率及质量［6］。三是数据服务单一，数据门槛较高。农业大数据平台大多能够提供数据查询、数据可视化等功能，但针对海量数据缺少深度挖掘分析支持，仅适用于具有数据分析经验的研究人员使用，无法实现面向广大农场主、农户等缺少相关专业的人士提供有效的服务［7］。“三农”数据汇聚了农业、农村、农民三大领域数据，各领域数据均分布在不同的横纵部门，以农民数据为例，各地区涉农人员数据均分散在农业农村局和其他横向部门，如民政局、公安局等。可见，要想实现“三农”数据的有效利用，不仅要实现纵向部门的数据互通，同时要解决横向部门数据协同共享的问题。

2三农大数据云平台架构

本文在结合各地区政府部门工作特点和实际情况，在进行平台设计时遵循“统一规划、分步实施、横纵兼容、资源共享、可管可控、确保安全”的基本原则。平台总体框架由下至上包括感知层、传输层、平台及数据资源层、应用层和用户层。①感知层：为平台及数据资源层提供数据支撑，原始数据包括视频监控数据、音频数据、图片数据、社保数据、各类传感数据、终端定位数据等。②传输层：利用地区统一的电子政务网络、互联网、视联网、政务云平台等政府数字化转型基础设施实现数据传输。③平台及数据资源层：数据资源包括地区大数据发展管理局、地区各部门的数据信息，通过将各部门数据归集到地区大数据发展管理局，提供基础和专题信息共享服务。同时，平台能够集成用户、安全和服务支撑三大服务，实现统一组织用户和登录认证、数据资源调用者合法性和调用合法性监测、数据可视化、数据接入等功能。④业务应用体系：服务于农业生产管理、行业监管、乡村公共服务的各类应用，在此基础上通过一张图及大数据分析提供三农宏观决策支撑。⑤用户层：云平台主要包括政府用户、企业用户、农户以及消费者四大类用户。

3三农大数据云平台功能设计

通过总结分析各地区用户普适化使用需求，对本平台功能进行了设计，包括三农云支撑平台、三农数据仓库系统、可视化大数据分析系统、三农指挥一张图系统、空间地理信息服务管理系统共五大类功能。

3．1三农云支撑平台

三农云支撑平台是三农大数据云平台的核心，平台基于Hadoop大数据处理框架，通过整合开源商业化组件，构建数据资源池，建立统一的数据共享、接入标准，整合数据及业务，实现将地区农业横纵部门、农企、农村、农业示范生产基地等机构的海量异构数据进行接入、汇集、整合，并依托云平台对数据进行预处理、分析、挖掘和共享，同时，在三农信息数据库、三农信息数据仓库的数据基础上，承载可视化大数据分析系统、三农指挥一张图系统等智慧应用服务。

3．2三农数据仓库系统

三农数据仓库系统基于Hive技术可根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都围绕某一主题来组织，是可视化大数据分析系统的重要数据来源，通过定期接收新的集成数据，反应出最新的数据变化。同时，数据仓库采用结构规范性较强的雪花型多维数据模型为每一主题域中的具体主题进行维表和事实表的设计，以此能够有效地节省时空数据的物理存储空间。数据仓库中的数据是一系列历史快照，无法被修改，只能为用户提供分析工具进行查询和分析，并最终以可视化大数据分析系统为载体进行可视化。

3．3可视化大数据分析系统

可视化大数据分析系统基于专业级可视化软件并结合三农数据仓库系统，运用数据统计分析模型对三农数据的各级分布、利用情况等问题进行分析、挖掘，为用户提供分析成果，辅助决策，包括多维数据查询、描述统计、推断分析、空间分析、数据／分析结果导出等功能，基于多源多部门三农数据及其分析成果，能够将数据及统计分析成果基于地图服务进行展示，并支持各级用户查看权限范围内的各类三农数据及分析结果，同时系统能够提供多种可配置性分析组件、主题，依托多维数据查询功能可满足多类型用户的数据分析需要，大幅度降低数据服务门槛。

3．4三农指挥一张图系统

三农指挥一张图系统以地区天地图服务为基础，以工作事项为载体，运用集成化、电子化手段，市场化，清单式、网格化管理，实现对三农工作的“一网打尽”，强化对三农工作的统筹管理，资源共享，精细管理，精准服务。系统可以全面集成承载用户关注区域的全景、三维、高现势性、高分影像以及各类设计、规划、建设图件，从而实现将三农工作中涉及到各类专项工作信息数据都叠加到地图之上，保证各项工作有迹可循。

3．5空间地理信息服务管理系统

空间地理信息服务管理系统为平台各应用系统提供GIS数据及服务支撑，并能为其他专业接入系统提供数据服务。通过前端地图渲染引擎，实现大数据平台空间数据服务的在线可视化展现，将地理信息与三农业务数据相融合，支持多种数据源的接入，实现专题业务的专业级地理信息可视化。在前端渲染过程中，既可以采用传统的栅格瓦片地图服务模式，也可以根据实际应用需求利用矢量地图渲染引擎。系统可提供各种地图服务、分析服务，主要包括二三维地图服务、影像服务、要素服务、空间数据服务、空间分析服务、线路规划服务、智能信息检索服务、OGC标准服务、KML服务等。

4结论

本文从各地区政府部门实际工作业务特点出发，以三农领域内所有用户需求为研究对象，建设了三农大数据云平台。平台的构建在三农资源有效利用方面发挥了重要作用，有效提升了三农数据汇聚能力，将横纵部门异构数据资源进行规范化和标准化，打通了数据孤岛，实现了横纵部门数据共享，提高了数据资源利用效率。通过打造“数据＋业务”的云支撑平台、数据仓库系统以及空间地理信息服务管理系统，形成了支撑三农业务的基础底座，以服务应用为导向，搭建了三农指挥一张图和可视化数据分析服务，满足政府部门的信息化资源管理要求，减轻了工作压力，提升了工作效率，实现对三农工作的科学规划和指导。

5参考文献

［1］罗治情，官波，陈娉婷，等．“三农”数据云平台设计研究［J］．江苏农业科学，2018，46（17）：209－212．

［2］董春岩．农业农村时空数据服务平台建设思路与实践［J］．中国农业资源与区划，2021，42（3）：207－214．

［3］张保岩，赵丽华，辛北军．天津市“三农”大数据平台构建［J］．江苏农业科学，2020，48（17）：245－249．

［4］柳平增．农业大数据平台在智慧农业中的应用———以渤海粮仓科技示范工程大数据平台为例［J］．高科技与产业化，2015（5）：68－71．

［5］张浩然，李中良，邹腾飞，等．农业大数据综述［J］．计算机科学，2014，41（S2）：387－392．

［6］李瑾，顾戈琦．基于“互联网＋”的农业大数据平台构建［J］．湖北农业科学，2017，56（12）：1947－1952．

第4篇：数据分析设计范文

[关键词]测试用例；数据驱动测试；逻辑覆盖

软件测试是软件开发过程中必不可少的部分。从根本上说，测试过程的质量决定了软件测试的质量和有效性。软件测试作为软件生存周期的一个重要组成部分，受到重视程度越来越高。软件测试的本质是针对要测试的内容确定一组测试用例。测试用例是测试工作的指导，是软件测试的必须遵守的准则。更是软件测试质量稳定的根本保障。所以对于软件测试的过程来讲，测试用例的设计是其中最关键的环节。软件测试分功能性测试和结构性测试。功能性测试又称黑盒测试，结构性测试又称白盒测试。下面仅详细介绍功能性测试用例的设计方法。

一、数据驱动测试用例设计

功能性测试又称黑盒测试（Black-box？Testing）或数据驱动测试，是把测试对象看作一个黑盒子。利用黑盒测试法进行动态测试时，需要测试软件产品的功能，不需测试软件产品的内部结构和处理过程。黑盒测试注重于测试软件的功能性需求，也即黑盒测试使软件工程师派生出执行程序有功能需求的输入条件。

黑盒测试试图发现以下类型的错误：

1、功能错误或遗漏；

2、界面错误；

3、数据结构或外部数据库访问错误；

4、性能错误；

5、初始化和终止错误。

二、数据驱动测试的测试用例设计方法

数据驱动测试的测试用例设计方法一般有等价类划分方法，边界值分析方法，错误推测方法，因果图方法，判定表驱动分析方法，正交实验设计方法，功能图分析方法几种。下面详细介绍几种比较重要的黑盒测试方法。

1、等价类划分。

是把所有可能的输入数据，即程序的输入域划分成若干部分（子集），然后从每一个子集中选取少数具有代表性的数据作为测试用例。该方法是一种重要的，常用的黑盒测试用例设计方法。

（1）划分等价类：等价类是指某个输入域的子集合。在该子集合中，各个输入数据对于揭露程序中的错误都是等效的。并合理地假定：测试某等价类的代表值就等于对这一类其它值的测试。因此，可以把全部输入数据合理划分为若干等价类，在每一个等价类中取一个数据作为测试的输入条件，就可以用少量代表性的测试数据。取得较好的测试结果。等价类划分可有两种不同的情况：有效等价类和无效等价类。

（2）有效等价类：是指对于程序的规格说明来说是合理的，有意义的输入数据构成的集合。利用有效等价类可检验程序是否实现了规格说明中所规定的功能和性能。

（3）无效等价类：与有效等价类的定义恰巧相反。

设计测试用例时，要同时考虑这两种等价类。因为，软件不仅要能接收合理的数据，也要能经受意外的考验。这样的测试才能确保软件具有更高的可靠性。

2、边界值分析法。

边界值分析方法是对等价类划分方法的补充。

长期的测试工作经验告诉我们，大量的错误是发生在输入或输出范围的边界上，而不是发生在输入输出范围的内部。因此针对各种边界情况设计测试用例，可以查出更多的错误。使用边界值分析方法设计测试用例，首先应确定边界情况。通常输入和输出等价类的边界，就是应着重测试的边界情况。应当选取正好等于，刚刚大于或刚刚小于边界的值作为测试数据，而不是选取等价类中的典型值或任意值作为测试数据。

基于边界值分析方法选择测试用例的原则：

（1）如果输入条件规定了值的范围，则应取刚达到这个范围的边界的值，以及刚刚超越这个范围边界的值作为测试输入数据。

（2）如果输入条件规定了值的个数，则用最大个数，最小个数，比最小个数少一，比最大个数多一的数作为测试数据。

（3）根据规格说明的每个输出条件，使用前面的原则1）。

（4）根据规格说明的每个输出条件，应用前面的原则2）。

（5）如果程序的规格说明给出的输入域或输出域是有序集合，则应选取集合的第一个元素和最后一个元素作为测试用例。

（6）如果程序中使用了一个内部数据结构，则应当选择这个内部数据结构的边界上的值作为测试用例。

（7）分析规格说明，找出其它可能的边界条件

3、错误推测法。

错误推测法：基于经验和直觉推测程序中所有可能存在的各种错误，从而有针对性的设计测试用例的方法。

错误推测方法的基本思想：列举出程序中所有可能有的错误和容易发生错误的特殊情况，根据他们选择测试用例。例如，在单元测试时曾列出的许多在模块中常见的错误。以前产品测试中曾经发现的错误等，这些就是经验的总结。还有，输入数据和输出数据为0的情况。输入表格为空格或输入表格只有一行。这些都是容易发生错误的情况。可选择这些情况下的例子作为测试用例。

综上所述，测试用例的编写对于计算机测试人员来说是一项必须掌握的能力。但有效的设计和熟练的编写却是一个十分复杂的技术，它需要测试人员对整个软件不管从业务还是从功能上都有一个明晰的把握。需要测试人员在实践中不断总结经验，然后结合测试理论，这样才能设计出更加有效的测试用例。

[参考文献]

[1]周文莱，马珊国，最新实用软件测试过程[M]，北京，机械工业出版社，2008第一版

第5篇：数据分析设计范文

关键词：通道；观测精度；数据分析

中图分类号：TU2文献标识码： A

一、工程概况

北京铁路地下直径线工程，位于北京市中心区，隧道从前门东大街起，沿前门大街、宣武门西大街向西至长椿街后拐至西便门桥、天宁寺桥、白云路桥北侧，斜穿白云路桥至小马场附近出地面。隧道主要沿前门大街一线布置。前门大街3#地下人行通道修建于上世纪九十年代初期，位于前门东大街北京规划展览馆、正阳门车站旧址北侧，3#通道主通道为“回”字型闭合框架结构，宽9.0米，净高2.5米，长35米。梯道坡度为1:3.8和1:3.3两种，为“凹”型钢筋混凝土结构。

地下直径线将从3#通道南侧下方约9米处由西向东穿过。盾构直径12米。施工过程中对南侧部分主通道及两座梯道可能造成影响。

二、3#通道允许变形值

北京市市政专业设计院股份公司受北京铁路局北京站至北京西站地下直径线工程建设指挥部委托，对3#人行通道的现状进行检测设计咨询，评价地下穿越工程对通道结构安全的影响，提出通道的允许变形控制值，确定监测原则及技术标准。3#通道受盾构施工影响，主通道南侧部分（南侧变形缝向南）可能发生整体竖向沉降；在盾构施工掘进过程中，南侧梯道可能因施工扰动发生不均匀沉降。由于原设计梯道考虑主要受力方向为结构环向，纵向配筋较少，因此在施工过程中应尽量避免梯道纵向的不均匀沉降。参阅原通道设计资料，得出地铁直径线下穿3#地下通道应满足的控制技术指标：

1、主通道纵向（南侧变形缝以南部分）不均匀沉降控制值为5mm。主通道变形缝处不均匀沉降控制值为5mm。整体沉降控制值为10mm。

2、梯道纵向不均匀沉降控制值为5mm。主通道与梯道及梯道变形缝处不均匀沉降控制值为5mm。整体沉降控制值为10mm。

三、通道实施监测的技术方案

1、监测点的布设

1） 沉降监控网基准点布设原则:①稳定,作为变形监测的基准点,一定要远离施工影响区域,并有一定的埋设深度和不易遭受施工破坏；②联测方便；③至少有3个以上基准点,以便通过基准点的联测,检验基准点的稳定性，本工程布设了3个墙水准基准点。

2） 变形观测点的布设

变形观测点的布设原则:①监测点布设在被观测通道最能反映变形特性的位置上,需布设在主通道、梯道侧墙端头、沉降缝两侧, 布设在通道侧墙不同层高的分界处两侧；②点位应布设在便于观测、点位稳定和施工干扰小的地方；③监测点的数量应能足够反应整个建筑物基础的变形情况,并满足变形分析的需要，本工程共布设了24个变形点，如图1

图1变形点布设图

2、监测精度及使用仪器

《建筑变形测量规范》规定建筑物沉降观测等级按网的测站高差中误差µ确定，观测点测站高差中误差µ按下列公式估算

µ= （1）

µ=（2）

ms沉降量s的测定中误

m∆s沉降差∆s的测定中误差

QH网中最弱观测点高程的协因数

Qh待求点高差的协因数

沉降观测的精度要求,应当取决于观测的目的、建筑物预计允许变形值及建筑物的结构和基础类型。根据《建筑变形测量规范》为了监测建筑物的安全，ms、m∆s按下列规定确定：

1）沉降量等绝对沉降的测定中误差ms的确定，对于特高精度要求的工程可按地基条件，结合经验具体分析确定；对于其它精度要求的工程，可按低、中、高压缩性地基土的类别及建筑物对沉降的敏感程度的大小分别选±0.5mm、±1.0mm、±2.5mm，本工程地基土为中压缩性地基土，沉降量测定中误差ms取±1.0mm。

2）沉降差的测定中误差

不均匀沉降差的测定中误差，不应超过其允许变形值的1/20,本工程的沉降差测定中误差为m∆s=5mm/20=±0.25mm。

3）最弱点高程的协倒数

按本工程最长的水准路线计算最弱点高程的协因数，即权倒数，最长的水准路线BM12321190810131514121109050301BM2，最弱点为14点，14点距离BM1、BM2分别为9站。最弱点高程的协因数可按下式计算

（3）

n1、n2为最弱点距离起算点BM1、BM2的测站数

经计算最弱点14点高程协因数为QH=4.5

4) 纵向沉降差的协因数

本工程12点、14点为纵向沉降差异测点，BM1距离14点9站，BM2距离12点8站,12点、14点间隔1站，沉降差协因数可按下式计算

（4）

n1为起算点BM1至14点测站数

n2为起算点BM2至12点的测站数

n3 为14点、12点的测站数

经计算14点、12点的沉降差的协因数Qh=0.94

5）按公式（1）、（2）计算单位权中误差，确定本工程的测量精度

按（1）计算µ=0.33

按（2）计算µ=0.18

测站高差中误差µ最小值为0.18mm,介于变形测量规范一级、二级之间，按照从严掌握的原则，测量等级应为一级，应采用trimbel Dini03数字水准仪、铟钢条码尺观测。

3、监测频次

根据北京市地方标准《地铁工程监控量测技术规程》，确定监测频次：当开挖面到监测断面前后的距离L≤2B时，1-2次/天;当开挖面到监测断面前后的距离2B5B时，1次/周，基本稳定后1次/月(B:隧道直径或跨度;L:开挖面与监测点的水平距离)。当出现情况异常时，应增大监测频率。

4、主要监测技术

1）本工程基准点间联测，基准点、变形点间观测按变形测量一级的方法进行观测，基准点之间的水准联测,采用闭合水准路线的形式；监测点之间的水准观测,也采用闭合水准路线的形式,并至少应构成2个以上闭合环；而基准点与监测点之间的水准联测,采用往返复合水准路线的形式,之所以设计这样的水准观测路线,是因为闭合环或复合水准路线都具有多余观测,有利于检测外业观测中的误差和错误,提高外业观测数据采集的质量和可靠性,同时还有利于数据的严密平差和提高精度。

2）沉降观测的自始至终要遵循“五固定”原则。

①沉降观测依据的基准点、工作基点和被监测物上的沉降观测点，点位要稳定，只有这些观测依据稳定才能客观的反映出沉降的变化量，它们的变化代表了沉降物体的变化情况。

②仪器、设备要固定，每台仪器设备都有它自己的系统误差，都具有一定的精密度，这是不可能避免的，在同一整体工程监测过程中，必须固定所用仪器。

③观测人员要固定，观测者是通过自己的感觉器官来进行工作的，由于每个人的感觉的鉴别力的局限性，在进行仪器的安置、瞄准、读数等工作时，都会产生一定的误差，对观测结果会有一定的影响。

④观测时的环境条件基本一致，在观测过程中所处的外界自然环境，如地形，温度，湿度，风力，大气折射等因素都会给观测结果带来种种影响，而且这些因素随时都在变化，因此对观测结果产生的影响也随之变化，这就必然对观测结果带来误差，有些外界条件在实际工作中无法避免，在这所说的是尽量在同等条件下进行观测，为了减弱大气折射的影响，我们采取的措施就是在每一天的固定时间段进行，由于空气温度的不均匀，将使光线发生折射，视线即不成为一条直线，所以我们选择每天的固定时间段，温度，大气折射条件基本相似，可以减少误差。

⑤观测路线、镜位、程序和方法要固定，前后视距离相等的办法来减少由于仪器视准轴不平行于水准轴给观测结果带来的影响；测站上的观测程序可减弱由于仪器下沉等随时间变化对观测结果的影响，这些固定的方法都可以有效的减小误差。

以上措施在客观上尽量减少观测误差的不定性，使所测的结果具有统一的趋向性，保证各次观测结果与首次观测的结果可比性更一致，使所观测的沉降量更真实。

5、沉降监测的数据处理与分析

监测数据处理与分析原则：

①首先进行数据的预处理, 即在观测过程中,实时地计算各测站的各项精度指标,对于超限的测站,应及时地进行重测、补测,当一条路线观测结束,计算路线的往返测较差或闭合差,以评定外业观测的精度。

②平差计算前首先对基准点的稳定性进行检验和分析，如果发现基准点有变动，不得使用该点作为起算点。经过多次复测或某期观测发现基准点变动，应重新选择参考系并使用原观测数据重新平差计算以前的各次成果。

③观测点的变动分析应基于以稳定的基准点作为起始点而进行的平差计算成果，二、三级及部分一级变形测量，相邻两期观测点的变动分析可通过比较观测点相邻两期的变形量与最大测量误差（取两倍中误差）进行，当变形量小于最大误差时，可认为观测点在这两个周期间没有变动或变动不显著；

通道沉降观测数据统计分析：

从沉降量-时间累计曲线图可以看出：

①在整个监测过程中未发现通道、梯道突然大量沉降、不均匀沉降等现象，从2013年2月1日盾构机掘进到通道部位起，通道下沉变形明显增大，累计沉降量与时间曲线呈单边下行光滑曲线，实测结果表明，通道总体沉降发展正常。

②主通道最大累计沉降量-7.38mm（20点），点位于通道的南端，梯道最大累计沉降量为-9.52mm（8点），点位于通道的西南口侧墙，均未超过相应的沉降允许变形值；

③主通道的纵向差异沉降值为-3.61mm（12点与14点），主通道沉降缝两侧沉降差最大-1.82mm（12点与10点），未超过差异沉降允许变形值。

④通道西南口及其与主通道结合处没发生裂缝、偏移等结构破坏情况，主通道伸缩缝没有变化，结构安全稳定。

四、结语

建筑物沉降观测不仅仅是测量学的一个范畴，对于建筑物结构、地质、工程施工都需要有一定的了解，这对于整个沉降观测的点位布设、沉降变形分析都很重要。

通过对建筑物地基沉降变形观测所需测量精度的分析和实例分析可以看出，确定合理的观测精度，然后制定相应的测量方法和相关的限差要求，是确保观测成果反映变形动态信息的基本条件。观测精度合理，测量方法正确，观测中严格执行相关限差要求，才能及时地为决策者和有关工程技术人员提供科学依据，从而保证建筑物安全和施工人员的安全。

严格按照《国家一、二等水准测量规范》规定的作业方法进行测量作业，立水准尺必须用尺撑，数字水准仪的i角稳定后每半个月检核一次，使i角尽量小，这样才能提高测量的精度。

参考文献

第6篇：数据分析设计范文

【关键词】数据挖掘；商业智能；技术分析

引言

数据挖掘是适应信息社会从海量的数据库中提取信息的需要而产生的新学科。它可广泛应用于电信、金融、银行、零售与批发、制造、保险、公共设施、政府、教育、远程通讯、软件开发、运输等各个企事业单位及国防科研上。数据挖掘应用的领域非常广阔，广阔的应用领域使用数据挖掘的应用前景相当光明。我们相信，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使企业管理者得到更多的商务智能。

1、参考标准

1.1挖掘过程标准：CRISP-DM

CRISP-DM全称是跨行业数据挖掘过程标准。它由SPSS、NCR、以及DaimlerChrysler三个公司在1996开始提出，是数据挖掘公司和使用数据挖掘软件的企业一起制定的数据挖掘过程的标准。这套标准被各个数据挖掘软件商用来指导其开发数据挖掘软件，同时也是开发数据挖掘项目的过程的标准方法。挖掘系统应符合CRISP-DM的概念和过程。

1.2ole for dm

ole for dm是微软于2000年提出的数据挖掘标准，主要是在微软的SQL SERVER软件中实现。这个标准主要是定义了一种SQL扩展语言：DMX。也就是挖掘系统使用的语言。标准定义了许多重要的数据挖掘模型定义和使用的操作原语。相当于为软件提供商和开发人员之间提供了一个接口，使得数据挖掘系统能与现有的技术和商业应用有效的集成。我们在实现过程中发现这个标准有很多很好的概念，但也有一些是勉为其难的，原因主要是挖掘系统的整体概念并不是非常单纯，而是像一个发掘信息的方法集，所以任何概念并不一定符合所有的情况，也有一些需要不断完善和发展中的东西。

1.3PMML

PMML是1999年由DMG了1.0版本，他主要是一个基于XML的模型描述语言，利用XML的描述能力来表达各种挖掘模型和规则。标准化的描述使得各个不同的厂商的软件之间可以共享，交换这些挖掘模型。所以他主要是一种模型和规则的描述语言。

1.4对于标准的基本判断

CRISP-DM的流程已经成为业界的基本认识，但他更像一个项目指导思想，而不是单纯硬性规范。ole for dm规范了挖掘模型和操作原语，使挖掘软件能有效，简单的整合进现有的企业软件架构，对于推动挖掘软件的使用和普及意义非凡。但ole for dm的规则模型对于结构复杂，形态各异的模型规则用简单的平面表来表示就显得非常怪异，而PMML正好弥补了这个缺陷，PMML利用了XML的描述能力，能有效的描述挖掘模型和规则。

挖掘服务器主要以上我们对于这些标准的基本判断为基础，吸收CRISP-DM和ole for dm的核心的优良概念，在实际开发中我们也是根据实际需求来拓展了一些概念和修正了一些做法，为客户和开发使用人员提供更好的软件。

2、软件功能设计

2.1设计思想

数据挖掘系统的构架设计采用如下的原则：

采用分层的设计，模块化的原则

采用先进和成熟的技术

使用C++语言使用（C/C++语言是实现服务器级别软件的首选）；使用泛型思想，面向对象技术；使用STL容器或开发STL更优化的C++容器。

标准性

系统的设计和开发遵循国际标准和行业标准；符合CRISP-DM规定的数据挖掘项目实施的过程流程标准，遵循ole for dm规范中挖掘模型和操作原语；使用DMX作为用户的接口来驱动数据挖掘过程。

良好的可扩展性

系统支持多个层面的可扩展性，通过快速开发/重组、参数配置等多个方面使得系统可以实现客户未来不断变化的需求；系统有合理的层次结构；要有较强的扩展能力，可快速方便的插入新算法；系统要求支持平台无关性，能够适应多种主流主机平台、数据库平台、中间件平台，具有较强的跨系统平台的能力。系统能适应不同的网络结构，可根据业务的发展灵活扩展硬件产品。

2.2系统架构体系

根据架构分析和设计思想产生系统的架构图，并对架构图进行描述，说明分层的原因、层次的职责。首先从系统整体架构来阐述，然后对数据挖掘服务器进一步分层，模块化，并完整说明每层实现的功能。

2.3系统整体架构

上面的架构图由：数据层、挖掘服务器层、驱动层和客户层组成。

数据层：由业务系统的各个数据库或数据仓库组成。通过ODBC或相应的驱动为挖掘服务器层提供数据支持。

挖掘服务器层：实现对数据进行预处理，包括主成分分析、抽样、过滤、投影、离散等，创建、训练、评估模型，预测，修改模型参数，删除规则，删除模型等一系列功能。本层通过Socket与上面的驱动层交互，接收驱动层的DMX语句，执行完成后作出响应并返回结果到上一层。

驱动层：根据客户层的具体平台分为JAVA驱动和C++驱动，驱动层提供API接口供客户端调用。类似于数据库系统中的JDBC驱动和ODBC驱动。

客户层：处于系统的最上层。系统最终用户的使用界面和设备。包括基于浏览器的瘦客户端和基于GUI的胖客户端应用。

3、数据挖掘服务器架构

本架构图是对服务器客户端架构的进一步分层，模块化后的描述。上面的架构图由数据源接口层、核心服务层、传输层和用户驱动（接口）层组成。

数据源接口层：提供获取数据的接口。

核心服务层：由许多核心服务单元组成，包括会话管理、DMX解析、DMX引擎、算法、模型管理、内存管理、异步框架、持久化管理、并发控制、异常处理和计算与排序缓冲区等。

传输层：用于获取上层的输入，并向上层返回结果。

用户驱动（接口）层：用户使用DMX语句提交给本层完成模型管理、模型训练、模型预测等功能。

4、模块概要设计

4.1内存管理

4.1.1服务器内存。系统内存主要分为3块：系统管理模型和规则的内存，用于排序及其它计算操作的缓冲区内存，用户连接私有内存。

内容管理的目标是实现：不产生内存碎片；内存不会泄露；内存分配和删除要快；尽量做到总是有内存可用。

4.1.2大数据量支持。数据挖掘服务器提供对巨大数据量的支持。当然，有些算法对于大数据量是没有意义的，比如说神经网络，这是由算法本身的特征决定的。数据挖掘服务器可以支持大量数据，但也有可能导致计算量的急剧增加，所以相应的计算机也应该比较强劲。用户可以通过一个参数MaxMemoryBuffer来设置某一次处理可以使用的最大内存，如果所需内存超过这个数值，系统将使用用户的硬盘空间来处理数据，所以如果用户希望有比较大的内存，希望优化性能的话可以设大这个参数，尽可能将数据在内存处理。

4.1.3客户端数据集。BI系统往往工作在巨大的数据量的环境中。所以挖掘服务器是以效率为优先考虑设计的，尽量使用更少的内存，更少的代码来加快执行速度。挖掘服务器的驱动中，结果集有三种数据缓冲类型，对应着不同的用户需求和资源（内存）需求的选项：不缓冲数据集，缓冲一行数据集（包括该行的所有子表），缓冲整个数据集。

不缓冲数据集提供深度单向遍历能力。特点是只使用很少的内存。这种数据集的内存需求为除了连接会使用一个网络传输的缓冲区以外，该数据集几乎不会申请其它任何内存，这种情况对于内存使用苛刻的用户使用，或作为更底层的代码集成进用户的系统，这种低资源要求是非常适合的。但不缓冲数据集付出的代价是在结果集中有嵌套表的情况下顺序来读取这些嵌套表。这个概念是递归的，也就是说有多层嵌套表时，必须也是按深度遍历的方式来读取。

缓冲一行数据集提供主数据集上单向遍历，子所有嵌套表随机遍历。特点是内存需求适中，遍历能力能满足大多数需求。这个选项是默认的选项。这种数据集至少会缓冲主数据集的任意一行数据，包括该行的所有子嵌套表。系统会分配一个适当大小的内存池来分配所生成的结果集对象。这些内存在在用户遍历完一行时释放，接下来被重用。

全缓冲数据集提供主数据集，子嵌套表的随机访问能力，但在数据集比较大时会占用比较大的内存。如果对数据集要求随机访问的话可以使用这种数据集。

用户在使用数据集时可以根据使用需求，资料意味着状况来决定使用什么类型的数据集。图中灰色部分表示各自占用的内存。

4.2挖掘算法

数据挖掘服务器系统将算法分离出来，系统为算法的接入提供统一的接口，将算法当成一种可插入式的模块。从系统框架的角度来看，并不关心算法是如何实现的。这种设计无疑使本系统有很强的可扩展性，将来可以方便的插入新的数据挖掘算法。

系统实现的挖掘算法应基本覆盖目前主流的挖掘算法，能满足用户各种数据挖掘任务需求。算法实现中充分考虑运行速度和内存的使用，力求达到最佳的运行效率。多个算法只扫描一遍输入数据集以实现支持大数据量的要求，对部分挖掘算法考虑增量挖掘。

4.3数据源

4.3.1统一数据源架构。统一数据源是产品应支持的数据源架构，挖掘服务器使用其中的平面格式部分（即表或类表的一维数据）。统一数据源的概念是在企业的信息系统中提供统一接口的数据源接口，而不管数据实际是从不同的数据库、文件、Web Service或其它接口提供的。

4.3.2数据源连接池。如果数据来源是数据库，用户可以对连接池进行设置。

4.3.3数据源种类。挖掘系统现在支持平面数据源格式，包括ORACLE（原生接口），DB2（原生接口），及ODBC接口的数据源，及文本文件。

4.4异常处理

为了最大程度实现异常处理的通用性、可扩展性以及可配置性，系统采用统一的异常处理框架，并且提供统一的异常处理接口。通过统一配置错误信息，各模块中不论任何地方，只需调用此唯一的接口，框架就会根据配置信息执行需要的异常处理。

参考文献

[1]Microsoft公司2000年《Microsoft OLE DB for Data Mining Specification》微软的数据挖掘规范，此规范中的DMX定义了模型和使用的操作原语

[2]SIG组织 1999年《cross-industry standard process for data mining》跨行业数据挖掘标准流程标准

第7篇：数据分析设计范文

关键词：C语言 数据结构 整合 高职

中图分类号：TP312.1-4 文献标识码：A 文章编号：1007-9416（2012）10-0212-02

1、课程教改的原由

我院C程序设计课程与数据结构课程是分上下学期开设的，将C程序设计课程作为数据结构课程的前导课，综合两门课程的教学效果，发现具有以下弊端：

首先，在C程序设计的讲授过程中，教师和学生会花大部分时间在基本概念、程序结构、数组上，而数据结构的学习必须以函数、指针、结构体为基础，这样导致学生在数据结构的学习上不能得心应手。

其次，两门课程分上下学期分开学习，导致教师在讲解数据结构时还要花时间复习C语言的内容，这样就使得数据结构课程的学时不够用。

最后，数据结构部分内容对于高职高专学生来说，学习难度大、实际应用不上。

基于以上原因，我院教师觉得两门课程的改革势在必行，于是，为了有更好的教学效果，缩短学时，提出将两门课程合并。同时这两门课程的教学内容相互关联也使这两门课程的整合具有了可能性和必要性。

2、课程整合设计的理念和思路

我们根据市场对高职人才的需求，着重培养学生的实际动手能力，把高职学生的培养模式与课程紧密结合起来。在整合过程中，合理地分配学时，注重内容的新颖和信息量，重新构建课程知识体系，重新制定课程标准，重新设计教学内容，编写适合本校学习学生的教材、实验指导书、课件。同时我们秉承“以知识学习为基础，以素质培养为目标，以能力训练为本位”课程建设理念，设定了课程改革的大致方向。具体表现在以下三个方面：

（1）将知识融入到任务中。知识是学生可持续发展的坚实基础，是学生能力提升的坚强后盾。学习知识的最有效途径是应用知识，做到“学以致用、用学结合、边学边用”。我们围绕知识教学为中心，选择富有特色的教学实例，通过任务驱动、案例促进知识学习。

（2）将素质的培养贯穿到整个教学过程中。在课程建设和教学过程中，强调学生形成良好的编程风格，具有良好的职业道德、严谨的思维能力；通过课堂实例的讨论，使学生具备良好的团队合作能力、较强的表达能力和良好的心理素质，激发学生的创新能力；通过作业和思考题的布置，培养学生自学和自我增值的能力。

（3）基于能力训练的项目设计。针对完成项目的过程，将程序设计能力分解为编写流程图能力、阅读程序的能力、按流程图写程序能力、调试程序的能力。我们在教学项目实践中设置了多个能力点，在项目设计时，要求每个项目实现过程的完整性，尽量覆盖每个能力点的训练。

3、课程整合措施

3.1 教学内容的整合

整个课程的教学内容以C程序设计内容为主线，将数据结构的内容渗透、溶入C程序的教学内容中，对于数据结构的内容以“必需、够用”为度。具体的教学内容包含：

（1）C语言和数据结构的基础知识：C程序编辑与运行环境、算法、流程图、数据类型、常量、变量、表达式与运算符，数据结构的基本概念和术语。

（2）顺序程序设计：格式、字符输入输出函数，顺序程序设计的应用。

（3）选择结构程序设计：关系与逻辑运算符、If、Switch语句。

（4）循环结构程序设计：while、do-while、for、break与continue语句的格式及其应用。

（5）函数：函数的定义与调用、函数的嵌套与递归调用，变量的作用域与存储类型，编译预处理。

（6）数组和结构体：数组和结构体的定义及应用；线性表的顺序存储结构，顺序线性表的创建和输出；顺序线性表中的排序、查找算法。

（7）指针和链表：指针的定义及其在程序中的应用，指针变量作为函数参数的使用方法；链表的表示和实现。

（8）栈、队列和树：栈、队列、树及二叉树的定义及存储结构、应用。

（9）图：图的基本概念、图的存储结构、图的遍历 、最小生成树、最短路径与最短距离、拓朴排序。

3.2 实验设计思想

C程序设计和数据结构都是实践性很强的课程，因此在理论教学的同时，还要合理安排上机实践。两门课程整合后，根据以往实验教学的经验，重新安排各种实验，以巩固、加深教学内容。实验形式较以往的单一形式不同，为验证型、纠错型、引导型、设计型，实验内容做到循序渐进、由浅入深，有利于学生阅读、调试、设计程序能力的提高。例如：在学习顺序结构设计时，教师安排一个设计型实验，由键盘任意输入一个四位的正整数，编程求各位数字之和。学习选择结构设计时，将实验改为由键盘任意输入一个四位的正整数，编程判断并输入它的位数以及各位数字之和，要求学生用“选择结构”编制程序。学完循环结构程序设计后，将其改为引导型题目，要求学生用“循环结构”实现。

顺序结构程序如下： 选择结构程序如下：

#include #include

void main（ ） void main（ ）

{ {int x，a，b，c，d，sum；

int x，a，b，c，d，sum； printf（“请输入一个四位的正整数：“）；

printf（“请输入一个四位的正整数：“）； scanf（“%d”，&x）；

scanf（“%d”，&x）； if（x>=1000&&x

a=x/1000； {a=x/1000；

b=x%1000/100； b=x%1000/100；

c=x%100/10； c=x%100/10；

d=x%10； d=x%10；

sum=a+b+c++d； sum=a+b+c++d；

printf（“＼n各位数字之和=%d＼n”，sum）；} printf（“＼n各位数字之和=%d＼n”，sum）；}

else

printf（“＼n输入的数字有误！＼n”）；}

通过完成不同类型的实验，有目的的、分层次地培养学生的实践能力，使学生学会从实验过程中获得启发，获取知识、积累经验。

在课程学习结束后，进行2周的课程设计。课程设计是由指导教师根据本门课程的教学目标和能力训练的要求选择设计一个项目，该项目的内容不仅涵盖了C程序设计与数据结构课程理论教学的主要知识点，同时能够提高学生应用C语言与数据结构的知识解决实际问题的能力。

3.3 教学方法探讨和手段设计

首先，不管学习什么样的课程，兴趣是最好的老师。在过去的教学过程中，发现大部分学生抱怨程序设计太难、不好学、难读、编程无从下手等问题。因此，针对学生的这种情况，调动学生学习的兴趣和积极性显得尤为重要。经常用学生生活中的小实例来结合课程的教学，让学生明白C语言和数据结构离我们很近，而且很有用。再者，采用“启发、引导”教学方法。在授课过程中，引导学生提出问题、分析问题、划分程序模块、算法设计，最终编写出程序。这种教学方法能够很好的吸引学生的注意力，调动学生的学习主动性。最后，有效利用现代化教学手段辅助教学：一是精心制作课件，制作Flas，使用多媒体进行教学。二是有效的利用实训室和教学软件进行一体化教学，边讲边做，增加互动教学过程，提高学生的动手能力。三是借助职教新干线、BBS等网络平台进行网络互动交流。

4、结语

整合之后的课程以C程序设计内容为主线，将数据结构的内容溶入其中，根据需要对课程内容进行相应的调整。整合后的课程更注重学生阅读程序、调试程序、编写程序能力的培养。当然，肯定还是存在一些问题，需要在今后的教学实践中不断地修正和完善。

参考文献

[1]谢莉莉，李勤，傅春等.“C语言与数据结构”课程的教学改革实践[J].北京：计算机教育，2009（7）.

[2]周成义.高职C语言与数据结构课程的整合实践[J].，2009第3期.

第8篇：数据分析设计范文

关键词：价格预测；分布式网络爬虫；数码产品网站；大数据；数学建模

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）17-0269-02

1概述

据《中国互联网络发展状况统计报告》显示，截至2016年6月，我国网络购物用户规模达到4.48亿，可见通过网上获取信息的人很多。在互联网+和大数据时代下，IT行业逐步成为人们热议的焦点，其发展也得到愈来愈多的人关注。而目前国内的IT类资讯网站大多没有预测产品价格这个功能，本文将着重研究价格预测的实现功能的实现。

2网站设计与开发的可行性与适应性分析

2.1从技术角度看

开发一个基于大数据的分析的数码产品价格预测网站需要大量的数据做支撑，这些数据可以通过各大电商平台进行获取。各大电商平台往往会将这些数据按照一定的格式展现在网站上，我们可以通过分布式数据爬虫技术将这些数据实时采集。数据爬虫是一种非常流行的数据采集程序，目前互联网上拥有大量的爬虫框架供我们使用，我们只需编写简单的代码便可以开始获取数据。当拥有海量数据后我们可以对各个商品进行建模，基于hadoop框架进行分布式运算，设计相关预测算法对数码产品价格进行分析并预测出价格的未来走势。

2.2从资源角度看

对于数码产品，互联网可以提供各种各样的信息，比如各大手机生产企业会在他们的网站上数码产品的配置信息、评测信息等。在网站建立的初期我们可以从这些网站获取大量的数据来填充我们的数据库。对于部分具有版权的数据，我们将采用外链的方式将原网站提供给用户浏览，这样可以节约开发资源，并让网站专注于价格预测的实现。

2.3从商业价值角度看

一个可以有效预测价格变化的网站是比较有市场前景的，目前互联网上充斥着各种各样的历史价格查看网站，但是大多没有可以对价格进行预测的网站。如果我们可以成功的预测价格走势，我们就可以引导消费，帮助消费者省钱，这也便是网站最大的商业价值。

3网站概述

网站以用户需求为出发点，利用网络爬虫、PHP、HTML5、JAVASCRIPT、MYSQL等技术设计开发。在网站里可以查询到参数、评测、价格和图片等关于数码产品的详细信息。网站的功能包括数码产品价格预测（预测到某款数码产品在未来一段时间内的价格）、信息查询（含有数码产品名称、各项参数、各角度拍摄图片等信息）、价格对比（及参数对比、图片对比和综合对比）等，目的是为人们提供一个简单易操作、具有现实意义的数码产品信息查询平台。网站技术框架如下图所示：

4网站设计

4.1网站主要功能设计

4.1.1产品价格预测模块设计

产品降价预测模块是网站的重点功能。用户可以通过网站查询某个产品的基本信息，并且能够得知该产品的历史价格走势和该产品在未来一段时间的价格走势，这对于比较注重价格的用户来说，便可以综合各类信息和自身需求，更加理性和有计划地选择性价比较高的产品。

网站利用分布式爬虫采集互联网各大平台的IT产品价格数据，形成一个较全面的价格走势图，再通过对产品价格进行建模，从建模结果中得到IT产品在未来一段时间的价格走势。需要说明的是，因为价格容易受到社会、经济条件以及国际等多种因素的影响，所以预测的价格走势会有一定的波动。另外，对于不同时期的价格预测也不同，短期内影响因素主要是数码产品的市场供应，一般采用指数平滑法。这种方法预测主要是靠历史价格数据逐步往后推导预测价格。对于较长时间，则采用二次指数平滑法较好，因为对于一些时间序列变化可能存在线性的趋势，这种方法的好处在于能减少预测值的滞后性。如果数据的变化受季节影响，预测方法应当采用温特线性季节性指数平滑较好，因为这个预测方法是根据季节的变化来进行价格预测，这样预测的价格更为准确。

4.1.2产品基本搜索功能设计

产品的搜索功能也是网站的基本功能之一。产品的搜索功能不仅仅只是简单的产品搜索，它是一个包括商品搜索、查看热门产品、查看最新产品、今日推荐等多模块组合成的一个大模块。用户通过这些搜索信息并结合自己需求，可以理性谨慎地对产品进行对比选购。换言之，产品搜索模块将完成对商品的导购功能。

4.1.3产品详情模块设计

产品详情页面包括很多内容，其子页面也非常多。其中包括：概览页面、具体参数页面、报价页面、点评页面、图片页面以及竞品对比页面等等，每一个页面的功能都不同，设计时将合理安排功能的布局，以方便用户获取自己所需要的资料。

4.2价格的采集与预测

4.2.1分布式网络爬虫

实现价格预测的前提是有大量的历史价格数据，所以W站利用分布式网络爬虫技术从各大网站采集数据，爬虫主要由两个模块组成：

爬虫引擎：分布式运行且完成下载网站页面内容，并将数据存入数据库的工作。

数据清洗：将下载下来的价格信息进行清洗处理，剔除无效信息和冗余信息。

分布式爬虫技术实现需要对于特定的网页编写用于分析其网站源码和获取信息的脚本代码，数据或许后再通过数据清洗去除掉不必要的数据信息，最后把需要的数据存放到数据库中保存。

4.2.2预测价格

在比较多种预测方法后，我们发现时间序列法较适合预测数码产品的价格。时间序列即是某些序列按照时间的先后顺序排列而成的一种特殊序列。若利用这组数列，应用数理统计方法加以处理，以解决实际问题，则称为时间序列分析法。时间序列分析是以时间序列为研究对象，分析序列的本质波动，探究其真实规律的一种定量分析法。在实际中，通常被用于预测未来现象或指标的波动情况。由于数据量庞大、涉及的商品较多，为了提高计算速度，预测模型需要构架在Hadoop等分布式平台之上。

5网站的开发

5.1数据爬虫程序

开发一个数据爬虫，需要用到scrapy框架，该框架是基于python语言编写的，用python语言开发程序最大的特点那就是简单易读。Scrapy框架非常的简单易用只需编写爬虫规则就可以开始高效获取数据，并且该框架是可分布式运行，速度可控，支持JavaScript，非常适合用来采集各大网站的数码产品数据，最重要的是该框架是免费而且开源的，故运用scrapy框架进行开发满足网站需要的爬虫系统。

5.2价格数据分析系统

对于海量的数据传统程序没办法很好的处理，传统的win-dows系统也很难有效的承载。故我们选用hadoop生态体系进行数据分析，该程序可以高可靠的运行在多台电脑上。为了程序可以长期稳定地运行，我们选择在linux上进行数据分析，这样的好处是系统稳定性强，硬件资源可以高效利用。

5.3网站搭建

和大多数网站一样，本网站采用BS（Browser/Server）架构，该架构具备以下几个特点：客户端电脑负荷大大简化、系统维护和升级成本低、同时也降低了用户的总体成本。

我们运用HTML、CSS、JavaScript开发网站前台页面，用PHP开发网站后台，MySQL作为后台数据库。网站运行在Linux系统下的Apache软件下，网站的所有软件均为免费软件，实现成本较低，也符合当下流行趋势。

第9篇：数据分析设计范文

普通物理实验数据采集处理系统系统分析系统设计一、引言

现代科学技术正以前所未有的强劲动力，推动着社会经济飞速发展。以科学知识和科学技术为基础的“知识经济”迅速取代传统的“工业经济”。高等教育对社会经济发展的参与和作用比以往任何时候都更为强烈和直接。信息化是当今世界经济和社会发展的大潮流、大趋势，信息技术与社会生产的结合大大的促进了社会生产力的发展，提高了社会的生产效率。将先进的信息技术手段运用到教学中改变教学支撑环境，可以极大地缩短教学时间，改善教学效果，提高教学质量。

二、系统概述

普通物理实验数据采集、处理系统主要是针对高校普通物理实验教学中的数据处理进行开发；该系统针对各项实验设计专用的数据处理函数，每个函数应用范围虽窄但针对性强，当然，用户可以自主扩充函数库以扩展系统功能；该系统既能实现实验数据的处理又能提供实验报告编写、批阅、成绩统计等功能。

总体来看，高校普通物理实验数据采集、处理系统在以下几方面体现出通用型数据处理软件不具备的特点：

1.操作简单

高校普通物理实验数据采集、处理系统的使用就像日常的文档编辑和网页浏览一样简单明了，只要懂得操作计算机就可以正常使用，对用户要求极低。

2.针对性强

高校普通物理实验数据采集、处理系统是专门为了解决高校普通物理实验教学中的实际问题而开发的。该系统的目的就是为了解决大学低年级普通物理实验中的数据采集处理问题，适用范围虽窄但针对性强。

3.支持网络应用

该系统的网络应用方面的功能，能够实现网络信息的共享，能够为广大师生提供相对自由的使用空间。

三、系统分析

1.主要目标

（1）满足学生利用系统进行物理实验数据采集、处理及编写物理实验报告。

（2）满足教师利用系统进行物理实验报告的批阅。

（3）满足系统管理员对用户的管理，对物理实验项目的管理及对系统数据的管理。

（4）能够实现方便的扩展，以便将来系统能够支持自定义实验项目。

2.功能需求

基于高校普通物理实验的需求分析，高校普通物理实验数据采集、处理系统要实现以下基本功能：用户身份验证、数据采集、数据筛选、数据处理、实验报告管理、系统管理。

（1）用户身份验证。该功能实现对使用系统用户的身份验证。

（2）数据采集。该功能实现各项物理实验中实验测量数据的输入，系统提供两种数据采集的方式：手工录入和自动采集。

（3）数据筛选。数据筛选模块负责对录入数据进行筛选，或对数据进行环境修正。

（4）数据处理。数据处理模块负责对数据进行函数计算或绘出反映数据规律的曲线。

（5）实验报告管理。实验报告管理模块包括：实验报告编写、实验报告提交、实验报告评阅、实验报告查阅、实验报告打印、实验成绩查询、实验成绩统计等七个子模块。

（6）系统管理。根据业务需求，系统管理模块负责实现用户管理、实验项目管理、函数管理和数据库管理的功能。此功能只限于具有系统管理员权限的用户使用（图略）。

四、系统设计

1.系统体系结构设计

系统采取流行的多层体系结构进行设计。采用多层次结构进行设计，可以极大地方便后续的修改和调整。由于每个层次间是相互独立的，层与层之间通过统一的接口进行交互，当某一层内部需要进行修改和调整时，仅影响到本层的内部，而不会对其它的层次产生干扰。

（1）系统结构层次包。根据系统分层设计的思想我们设计时将系统划分为五个包：用户界面、业务逻辑层、数据访问层、数据持久层、数据源层。

（2）系统结构层次组件。根据业务需求系统的业务逻辑层次组件设计包含权限管理、数据采集、文件处理、数据筛选、环境修正、数据处理、模板管理、流程管理、函数管理、查询、统计等11个组件。

（3）系统顶层抽象类。通过对系统的分析，我们抽象出五个顶层的类，它们是用户界面类、业务类、权限管理类、数据对象访问类和实体类。

2.数据库设计

鉴于ODBC是用于数据库访问的应用最广泛的应用程序编程接口，它允许应用程序使用相同的代码访问不同的数据库管理系统（DBMS），本系统采用ODBC的方式访问数据库。

成绩表通过实验编号字段与实验项目表产生关联、通过学号字段与学生用户表产生关联；实验数据对象表通过实验编号字段与实验项目表和实验文档模板产生关联、通过学号字段与学生用户表产生关联；学生用户表通过班级编号与实验班级表产生关联；实验报告表通过学号与学生用户表产生关联，通过教师编号与教师用户表产生关联；教师用户表通过班级名称与实验班级表产生关联；实验文档模板表通过实验编号与实验项目表产生关联，通过函数编号同函数表产生关联，数据库设计满足第三范式要求。

五、总结

根据高校普通物理实验教学环节中存在的数据采集、处理问题，笔者针对性地提出了用计算机系统完成数据采集和处理的解决方案。本文中笔者完成了大学物理数据采集、处理系统的分析与设计工作。对系统的分析设计主要包括以下几方面工作：

1.通过对高校普通物理实验过程的调查研究，并与物理实验教师的交流讨论拟定了系统的主要目标；通过研究物理实验各环节的应用情况分析出了系统的功能需求，并在功能需求的基础上建立了系统用例模型。

2.通过对系统需求的分析采用分层结构的思想规划了系统的总体结构；通过对系统事件及工作流程的分析划分了系统的功能模块，完成了用户身份验证、数据采集、数据筛选、数据处理、实验报告管理、系统管理功能模块的结构分析及体系结构设计。

3.通过对系统各功能模块的分析，抽象出了登录、用户注册等15个边界类；身份验证、权限管理等23个控制类；学生用户、教师用户等9个实体类。完成了各个类的详细设计，建立了类间的相互关联，并且在实体类的基础上完成了系统数据库设计。

高校普通物理实验数据的自动采集、处理问题是广大高校物理实验教学中面临的普遍困难，高校普通物理实验数据采集、处理系统为高校普通物理实验数据的采集和处理构建了一个良好的支持平台。

参考文献：

[1]苏福才.院士谈教育教学改革.教学与教材研究，1995，（2）.

[2]张攀，朱肖平，曾光群.用Visual Basic编制物理实验数据处理及评价软件.高校普通物理实验.