引论：我们为您整理了1篇数据处理论文范文，供您借鉴以丰富您的创作。它们是您写作时的宝贵资源，期望它们能够激发您的创作灵感，让您的文章更具深度。
数据处理论文:生物医学信号数据处理系统的研究
生物医学信号采集处理是生物医学研究的重要依据和基础,信号拾取、采集和处理的正确与否,直接影响到生物医学研究的性,因此,研究生物医学信号采集处理系统有着重要的意义.论文介绍了生物医学信号采集处理系统的概念和特点,并采取将生物医学信号调理和数据采集分别放在两块板上,解决了"一块板"设计中不同性质信号即数字信号和模拟信号间的相互干扰问题.大大提高了系统的抗干扰能力.从生物信号的特点开发,作者研究并设计了以AT89C51为核心的生物医学信号数据处理系统,并集成了一个电子刺激器,以满足不同的实验要求.作者首先阐述了生物医学信号数据处理系统的硬件接口电路设计;其次,对信号的输入电路、程控放大电路、滤波电路、电源模块及刺激发生器等功能模块的设计要点和工作原理进行了详细分析,并对系统软件的设计思想以及主程序、中断程序和其它功能程序进行了系统介绍.对系统进行了调试和分析,另外对系统的噪声和干扰也进行了分析和相应的防治.
数据处理论文:电力自动化系统的数据处理
对于我国的经济发展来说电力系统就是最重要的大动脉之一,目前随着经济迅速发展以及社会建设的不断完善,我国不同行业以及各地居民对于电力系统 发展提出了更高的要求。电力系统的自动化技术,其作用就是可以更好的实现对于运行状态的集中展示以及及时的监控,并且可以对之进行优化,同时提高安全运行的性能。在电力自动化系统中数
据处理部分是其核心,也是信息流的主要表现形式。一些高新技术,比如计算机或网络通讯技术等在电力自动化技术中的应用,让其数据处理工作也日趋复杂,可以快速以及的获取和处理数据是保障电力自动化系统正常运转的保障。本文对此作出简要的分析和探讨。
一、电力自动化系统的数据分析
(一)数据分类
一般在电力自动化系统中,可以根据数据来源的不同将其分为原始数据以及再生数据。原始数据指的就是在现场直接采集的数据,再生数据具体是指在原始数据的基础之上进行二次加工得到的数据。根据电力自动化系统的特点可以将数据进行更为细致的分类:
首先就是现场的实时数据,指的就是在现场实时采集到的数据,其特点就是数据量特别大,因此对于此类数据的存储提出了更高的要求。第二就是基础数据,指的是电力设备数学的一些数据,其属于设备管理的基本范畴之内,例如线路或者发电机等。第三就是日常的运行数据,主要有电力自动化系统中记录的数据以及各种职能部门在工作中处理的数据。就是市场数据,因为电力行业的市场化改革正在逐步进行,所以将市场数据纳入数据分类中也是适应发展趋势的必然要求。
(二)数据获取
获取数据也可以被称为采集数据,指的是电力自动化的输入,分为数据的采集以及处理和转发等三个环节。与电力自动化系统相对应的就是数据的传输是采集的关键。目前来看针对数据的传输,主要有有线以及无线两种主要方式,有线传输的方式包括了光纤和电缆等,无线传输的方式有微波以及无线扩频等。目前我国电力系统发展中主要采用的传输方式是有线传输,但是无线传输在一些特殊区域发挥出重要作用,因为无线传输具有减少铺设线路的优点所以在一些偏远地区的电网数据采集来说就具有较大优势。但是无线传输中的一些技术问题还是有待解决的,比如数据的实时性以及性等。如果解决了这些问题,无线传输可能成为电力自动化系统发展的新重点。
二、电力自动化系统中数据的特点分析
(一)性的特点
在电力自动化系统中存在着大量的数据,这些数据的特点就是具备一定的独立性,但是在子系统进行交流的过程中这些数据也会包含其他子系统中的大量数据,所以子系统之间的数据会存在交叉现象,如果不能对这些数据进行妥善处理的话就会出现数据冗余的问题。一旦出现了数据的冗余很可能导致系统在处理数据时能力降低湖或者更新速度较慢,严重的话还可能导致系统数据的可信度降低。所以说为了能有效的保障数据的性,就需要对数据库进行统一的管理以及日常维护工作。通常来说对于离线数据库可以比较容易进行管理,实现其性难度不高,但是针对实时数据库就需要将数据库的信息映射到不同工作站的内存中,就需要在线进行统一管理来确保不同子工作站的数据库进行更新来避免重复性。
(二)数据共享性
目前在数据的共享方面主要的方式有文件的共享、基于web的数据共享以及直接方位内存和网络通讯、内存数据库等。基于web的数据共享,是通过互联网的共享数据。目前随着我国信息化的进行以及网络的普及,互联网的影响已经深入到了社会的不同层面以及角落,网络带宽也越来越大,网速也逐步提高,这就使得web数据共享方式变得更为可行。跟其他的数据共享方式比起来,基于web的数据共享技术充分利用了互联网技术,具有高效率低成本的优势,但是其缺点也较为明显,实时性较差。近年来,因为基于内存数据库的数据共享方式具有结构简单同时灵活性和实时性较好、访问速度较快等优点所以得到了快速发展,这也是之后电力自动化系统发展的主要方向。基于内存的数据共享指的就是把数据放在内存中,其缺点就是开放性不够好。为了实现其开放性可以利用dcom技术来实现其访问接口。
三、数据流的安全性
目前伴随着计算机以及网络技术的快速发展,把数据流作为信息载体的系统内部数据管理方式开始成为主流,通常来说数据流的特点就是实时性以及连续性、顺序性,其过程中就是从数据进入系统开始,数据在系统内的各个环节进行流动,其运动的基本策略跟系统的功能有关。随着我国电力系统自动化水平的不断提升出现了越来越多的需要处理的数据流,数据的结构也更加复杂。所以只有进行合理的部署,数据流才可以逐步的提高其传输的效率来保障电力自动化系统的安全性以及性。数据流在电力自动化系统中的关键,就是要解决系统的统一接口的问题以及实现子系统之间的互联。其未来发展的基本方向就是实现电力自动化系统的数据流优化策略。 随着电力系统中数据的存
储了急剧增加,互联网中的病毒等也开始泛滥,但是碍于一些硬件设备的限制导致了电力系统中的数据备份等还是不够完善,这就大大的增加了数据丢失的风险。数据丢失很可能会导致电位运行的不稳定甚至是瘫痪。所以说数据的安全问题成为了现在电力自动化发展中十分重要的问题。可以从以下几个角度入手谈及提高数据安全性。
及时就是制度完善来确保数据安全。要在企业内逐步制定以及完善有关计算机使用和数据安全维护的规章制度,通过加强对工作人员的思想教育来提高员工对于数据安全的重视晨读,并且在之后的日常工作中要按照操作规范等来进行数据的传输以及保存,形成良好的数据安全意识。
第二就是硬件设施的安全性,针对控制室的设计等要符合建筑规范,水电的安装要符合技术要求,同时还需要安装防火以及防盗、防雷等措施。控制室要有必要的安全保卫措施。
就是技术性的安全,系统要有完整性,要安装必备的防病毒软件,并且及时的对操作系统等进行升级,同时定式更新病毒库。有关数据要进行及时的备份。计算机来设置密码,重要的文件要加密。数据的删除要进行记录以便可以恢复误操作的数据。要坚持网络专用制度,把电力自动化的网络跟商业网络隔离开来。同级别部门之间进行互相访问是需要设置密码,下级对于上级网络的访问需要进认证,通过技术上的进步来确保数据的安全才是核心所在。
结语:
电力自动化系统是一个会涉及到多方面内容的系统,其核心就是数据的处理。正确有效的数据处理是保障电力自动化系统安全有效运转的必要手段。目前随着计算机技术以及网络技术的发展,在电力系统中的运用让数据的处理凸显出更高的价值。尤其是我国目前无线网络逐步兴起,无线网络数据传输的性以及实时性等问题解决之后,必将成为数据处理的重要增长点,所以基于无线网络的数 据处理等将是一个新的课题。
数据处理论文:分析电力自动化系统的数据处理
对于我国的经济发展来说电力系统就是最重要的大动脉之一,目前随着经济迅速发展以及社会建设的不断完善,我国不同行业以及各地居民对于电力系统 发展提出了更高的要求。电力系统的自动化技术,其作用就是可以更好的实现对于运行状态的集中展示以及及时的监控,并且可以对之进行优化,同时提高安全运行的性能。在电力自动化系统中数
据处理部分是其核心,也是信息流的主要表现形式。一些高新技术,比如计算机或网络通讯技术等在电力自动化技术中的应用,让其数据处理工作也日趋复杂,可以快速以及的获取和处理数据是保障电力自动化系统正常运转的保障。本文对此作出简要的分析和探讨。
一、电力自动化系统的数据分析
(一)数据分类
一般在电力自动化系统中,可以根据数据来源的不同将其分为原始数据以及再生数据。原始数据指的就是在现场直接采集的数据,再生数据具体是指在原始数据的基础之上进行二次加工得到的数据。根据电力自动化系统的特点可以将数据进行更为细致的分类:
首先就是现场的实时数据,指的就是在现场实时采集到的数据,其特点就是数据量特别大,因此对于此类数据的存储提出了更高的要求。第二就是基础数据,指的是电力设备数学的一些数据,其属于设备管理的基本范畴之内,例如线路或者发电机等。第三就是日常的运行数据,主要有电力自动化系统中记录的数据以及各种职能部门在工作中处理的数据。就是市场数据,因为电力行业的市场化改革正在逐步进行,所以将市场数据纳入数据分类中也是适应发展趋势的必然要求。
(二)数据获取
获取数据也可以被称为采集数据,指的是电力自动化的输入,分为数据的采集以及处理和转发等三个环节。与电力自动化系统相对应的就是数据的传输是采集的关键。目前来看针对数据的传输,主要有有线以及无线两种主要方式,有线传输的方式包括了光纤和电缆等,无线传输的方式有微波以及无线扩频等。目前我国电力系统发展中主要采用的传输方式是有线传输,但是无线传输在一些特殊区域发挥出重要作用,因为无线传输具有减少铺设线路的优点所以在一些偏远地区的电网数据采集来说就具有较大优势。但是无线传输中的一些技术问题还是有待解决的,比如数据的实时性以及性等。如果解决了这些问题,无线传输可能成为电力自动化系统发展的新重点。
二、电力自动化系统中数据的特点分析
(一)性的特点
在电力自动化系统中存在着大量的数据,这些数据的特点就是具备一定的独立性,但是在子系统进行交流的过程中这些数据也会包含其他子系统中的大量数据,所以子系统之间的数据会存在交叉现象,如果不能对这些数据进行妥善处理的话就会出现数据冗余的问题。一旦出现了数据的冗余很可能导致系统在处理数据时能力降低湖或者更新速度较慢,严重的话还可能导致系统数据的可信度降低。所以说为了能有效的保障数据的性,就需要对数据库进行统一的管理以及日常维护工作。通常来说对于离线数据库可以比较容易进行管理,实现其性难度不高,但是针对实时数据库就需要将数据库的信息映射到不同工作站的内存中,就需要在线进行统一管理来确保不同子工作站的数据库进行更新来避免重复性。
(二)数据共享性
目前在数据的共享方面主要的方式有文件的共享、基于web的数据共享以及直接方位内存和网络通讯、内存数据库等。基于web的数据共享,是通过互联网的共享数据。目前随着我国信息化的进行以及网络的普及,互联网的影响已经深入到了社会的不同层面以及角落,网络带宽也越来越大,网速也逐步提高,这就使得web数据共享方式变得更为可行。跟其他的数据共享方式比起来,基于web的数据共享技术充分利用了互联网技术,具有高效率低成本的优势,但是其缺点也较为明显,实时性较差。近年来,因为基于内存数据库的数据共享方式具有结构简单同时灵活性和实时性较好、访问速度较快等优点所以得到了快速发展,这也是之后电力自动化系统发展的主要方向。基于内存的数据共享指的就是把数据放在内存中,其缺点就是开放性不够好。为了实现其开放性可以利用dcom技术来实现其访问接口。
三、数据流的安全性
目前伴随着计算机以及网络技术的快速发展,把数据流作为信息载体的系统内部数据管理方式开始成为主流,通常来说数据流的特点就是实时性以及连续性、顺序性,其过程中就是从数据进入系统开始,数据在系统内的各个环节进行流动,其运动的基本策略跟系统的功能有关。随着我国电力系统自动化水平的不断提升出现了越来越多的需要处理的数据流,数据的结构也更加复杂。所以只有进行合理的部署,数据流才可以逐步的提高其传输的效率来保障电力自动化系统的安全性以及性。数据流在电力自动化系统中的关键,就是要解决系统的统一接口的问题以及实现子系统之间的互联。其未来发展的基本方向就是实现电力自动化系统的数据流优化策略。 随着电力系统中数据的存
储了急剧增加,互联网中的病毒等也开始泛滥,但是碍于一些硬件设备的限制导致了电力系统中的数据备份等还是不够完善,这就大大的增加了数据丢失的风险。数据丢失很可能会导致电位运行的不稳定甚至是瘫痪。所以说数据的安全问题成为了现在电力自动化发展中十分重要的问题。可以从以下几个角度入手谈及提高数据安全性。
及时就是制度完善来确保数据安全。要在企业内逐步制定以及完善有关计算机使用和数据安全维护的规章制度,通过加强对工作人员的思想教育来提高员工对于数据安全的重视晨读,并且在之后的日常工作中要按照操作规范等来进行数据的传输以及保存,形成良好的数据安全意识。
第二就是硬件设施的安全性,针对控制室的设计等要符合建筑规范,水电的安装要符合技术要求,同时还需要安装防火以及防盗、防雷等措施。控制室要有必要的安全保卫措施。
就是技术性的安全,系统要有完整性,要安装必备的防病毒软件,并且及时的对操作系统等进行升级,同时定式更新病毒库。有关数据要进行及时的备份。计算机来设置密码,重要的文件要加密。数据的删除要进行记录以便可以恢复误操作的数据。要坚持网络专用制度,把电力自动化的网络跟商业网络隔离开来。同级别部门之间进行互相访问是需要设置密码,下级对于上级网络的访问需要进认证,通过技术上的进步来确保数据的安全才是核心所在。
结语:
电力自动化系统是一个会涉及到多方面内容的系统,其核心就是数据的处理。正确有效的数据处理是保障电力自动化系统安全有效运转的必要手段。目前随着计算机技术以及网络技术的发展,在电力系统中的运用让数据的处理凸显出更高的价值。尤其是我国目前无线网络逐步兴起,无线网络数据传输的性以及实时性等问题解决之后,必将成为数据处理的重要增长点,所以基于无线网络的数 据处理等将是一个新的课题。
数据处理论文:面向中小企业智能数据处理工具
吴 坚 王家捷 张波
摘要：
本文分析了目前国内企业MIS应用的的现状，分析了今后企业信息系统的应用需求，根据目前状况和需求介绍了一个商业智能工具软件的设计。
关键词：MIS DSS 商业智能 OLAP 数据仓库
一、企业MIS应用现状
随着国内企业改革的不断深入，企业管理也随之深化，企业领导、管理人员和专业技术人员都更加充分认识到了信息资源只有通过信息系统的加工处理，才能得到更有效的利用。信息系统的建设在社会经济活动中起着越来越重要的作用。经过几十年的探索与实践，我国各企事业信息系统的建设也由单项应用、小系统应用向大型化和网络化方向发展。
但是，我们也清楚地看到目前MIS的建设仍有许多不尽人意之处，如：许多MIS往往只限于对数据的统计分析，而真正涉及到预测、决策及优化方面的工作较少，结果是只能代替一部分繁重的手工劳动，并没有充分发挥MIS的效益。当前的MIS所必须解决的一些较普遍的问题有：
涉及的数据种类多、数据量大，而且数据往往分散在各业务部门，每个业务部门对信息的收集方式、分析方法、统计口径、报表输出形式等都有各自独特的处理要求。 具有明显的时变性。管理制度的不断改革和经济形式的不断变化，引起信息处理方法频繁变更，各业务口采集的数据，及对基础数据的分析统计方法，报表输出格式都会随着形势的发展而有新的变化和侧重。这些修改必须由专业程序员利用较长的时间才能完成，远远无法满足对系统数据灵活查询，随机查询的要求，浪费了宝贵的数据内在的价值。而且由于系统不停地被改动，稳定性也大大降低。 新、旧系统的继承与发展。有的企业原来就有MIS，但是旧的系统不能满足各业务部门自身的业务需求，而且早期的系统多采用单机环境，所采用的应用平台及数据库系统也各不相同。怎样将这些现有的、零散的、独立的信息继承起来，有效地利用，也是企业信息化建设的重要课题。 缺乏辅助决策支持功能。许多MIS往往只限于解决一些具体的业务处理问题，对数据的统计分析较少，而涉及到多维分析、决策支持及数据挖掘方面的工作则更少，使大量数据不能充分发挥效益。
二、企业通用管理软件现状
我国中小型企业占国内企业总数的94％，它们在市场中具活力。在大型企业对计算机的需求已经趋于平稳的时候，中小型企业用户就显得格外的突出。中小型企业由于企业自身的规模有限，没有能力自己独立开发内部管理软件，而并不十分健全的内部经营体系又急需系统化的管理，这就为企业管理软件的发展打下了坚实的基础。
当前，建立竞争优势，提高市场竞争力已经成为企业管理的核心，而原有的管理软件已经越来越不能适应管理实践的要求，新的时代需要新一代的管理软件。我国企业管理软件的发展，在经历了单项管理系统、MRP／MRPⅡ应用之后，正朝着更先进的ERP模式发展。ERP（企业资源计划）是管理信息系统在九十年代的近期发展，近年来被引入到中国后，受到国内的广泛关注。ERP不仅集成了企业运营和管理的各主要部分（财务、分销、制造、人力资源、决策支持），更代表了先进的管理思想和管理方式。我们可以预见， ERP将作为管理现代化的重要工具，在我国企业等组织得到越来越广泛的应用。
但是，当前国内ERP 系统的数据分析能力大都不够强大，而ERP系统启动运行之后，其数据分析能力是决定性能的重要指标。面向ERP软件的数据分析功能被称为“商业智能”，其主要功能是对ERP系统积累的数据进行分析处理，形象地说就是帮助用户发现ERP系统积累的数据的潜在价值。可以这么说，普通的ERP 系统能够帮助用户规范企业的管理，而拥有强大数据分析功能的ERP 系统则能够使用户从这种规范的管理中获得更大的效益。因此，如果企业要采用ERP系统，一般需要一个强大的数据分析部件。这个数据分析部件能够与ERP系统集成，在ERP系统运行过程中采集数据进行分析，并能将样本数据和分析结果存入数据仓库以便用户查询采用。
三、企业信息系统应用需求
1、企业对数据仓库的需求
调查研究表明，大多数企业并不缺少数据，而是受阻于过量的冗余数据和数据不一致；而且它们变得越来越难于访问、管理和用于决策支持；其数据量正以成倍的速度增长。这样，信息中心面临着不断增长的决策支持的需求，但是，开发应用变得越来越复杂和耗费人力。那么怎样把大量的数据转换成的、商用的信息以便于决策支持呢？数据仓库正广泛地被公认为是好的解决方案。
数据仓库化是企业范围内数据的处理过程，它将企业内分散的原始操作数据和来自外部的数据汇集和整理在一起，为企业提供完整、及时、和明了的决策信息，使最终用户能够真正利用DSS工具直接从企业信息池中随机地提取、分析数据，有效地服务于企业的多方位决策。作为一个决策支持环境，DW（Data Warehouse）收集存储了各种不同数据源中的数据。通过数据的组织给决策支持者提供分布在整个企业内部跨平台的数据。
再下一步，现有的管理系统和现有的数据仓库将得到扩展，一是使数据仓库从一种局部的企业解决方案扩展到企业外部，扩展到企业的用户中去，使企业用户的数据仓库使用面更加广泛，这些可以通过Internet/Intranet的帮助来实现，这是数据仓库与电子商务相互融合的一点；二是使数据仓库从一种企业数据管理工具扩展到企业辅助决策工具，能够充分利用数据仓库中的数据资源，为企业的发展起到辅助决策的功能，使企业用户的数据仓库得到更加深入的使用，这些可以通过数据库厂商提供的工具来实现，也可以由其它软件公司提供的独立工具包来实现，这是数据仓库与商务智能相互融合的一点。
2、企业对Internet/Intranet的需求
企业决策系统与互联网的结合，正成为企业亟待解决的焦点问题之一。因为随着企业内部和企业间的信息交流量的增大，用户已不再满足于简单的文件共享方式，而是追求一种更灵活、更方便的数据共享策略，这便是大批企业用户将自身以数据库为核心的MIS系统从客户机/服务器计算模式
向Internet/Intranet的系统架构转变。另外，发展到一定规模的企业，其自身的国际化已成为必然，一些分支机构可能是跨地区、跨国界的，因此，在数据传递、信息共享和时，Internet成为这些跨地域企业的必然选择；激烈的市场竞争，也要求企业对市场变化做出快速的反应，用户的需求也不再是对离散的单个信息做简单的查询，而是要求能够提供一种对企业大量数据做出汇总的、多层次的、多侧面的快速灵活的查询、分析及报表制作手段。因此，市场上最需求的是如何使数据库中的大量信息满足人们不断变化的业务需求，并能及时为管理决策支持提供服务。如何将企业决策支持系统与Internet/Intranet技术有机地结合起来，提供基于Web，集查询、报表、OLAP(On-Line Analytical Processing)分析及数据挖掘为一体的企业级决策支持解决方案，已经成为一个重要课题。四、企业智能数据处理工具的设计
针对企业应用需求，我们分别在一九九五年和一九九七年开发出“科力MIS—多媒体MIS系统生成工具软件”DOS版和Windows版本，这个工具软件主要解决用户不写程序，通过可视化交互设计工具建立管理系统的需求，它还支持声音、图像和AVI活动图像的数据库存储和显示等的多媒体应用。经过几年来的实践，我们认为企业迫切需要一种智能化的数据处理工具，这类工具将解决如下问题：
建立在企业已有MIS系统或ERP系统的基础之上，利用已有的数据。现在有许多中小型企业已经有了一些MIS系统或ERP系统，但由于形势的变化，很快就会有进一步的需求，因此迫切需要新的软件，既能解决出现的问题，又能利用已有的数据。 为部分中型企业提供基于数据仓库的解决方案。对小型企业，出于各方面的考虑，一般都不采用基于数据仓库的解决方案，而对于中型企业，则应该给他们一个建立自己的数据仓库的机会。如果能建立数据仓库，就能更好地组织企业的数据，智能决策工具也能发挥更大的功效。 可以为小型企业提供通用MIS系统生成工具。对一些需求比较简单的小型企业，不用用户编程，就能通过可视化的方法实现一个MIS系统，再结合智能决策系统，将能实现更灵活、更强大的功能。 既可以实现传统的查询及统计报表功能，又可以实现多维数据分析、决策支持及数据发掘等高级功能。智能决策工具可以实现极为灵活的查询和报表，而且内嵌了部分分析功能，可以称之为交互式的查询和报表。另外，即使在较大型的MIS系统甚至ERP系统中，都很难找到多维数据分析、决策支持及数据发掘等高级功能，智能决策工具内却提供这些功能，这样就可以很好地利用原有的数据，大大加强原有系统的能力. 支持Internet/Intranet。绝大部分的输出都可以定向为HTML文件，这中间包括查询结果、报表、分析和数据挖掘的结果等；另外，还提供部分功能在基于浏览器的环境中实现，使用户可以通过浏览器来进行诸如查询数据、浏览报表、简单分析等功能。
五、系统的结构
系统分为两大部分棗分析设计部分和应用系统部分，分别面向企业IS（信息系统管理员）人员与企业管理人员，IS人员除了负责高级数据分析工作以外，还负责为管理人员设计具体应用系统，由于大部分具体的应用工作可以由管理人员来完成，所以从另一个方面缓解了信息人才缺乏的问题。应用系统部分的功能结构图见图一，设计部分功能结构图见图二。系统中最重要的是“描述层”的设计。
在一般的商业用户访问数据时，他们最担心的往往是复杂的数据库术语和繁复的数据库操作。如何才能赋予这些商业用户自主访问数据库和数据仓库中信息的能力，使他们可以把那些数据库术语和操作抛之脑后呢？我们在此使用了一种称为“描述层”的技术来解决这个问题。在使用了“描述层”技术后，不但解决了一般商业用户担心的问题，而且同时也提供了IS人员控制和管理数据访问所必须的工具。这一技术把复杂的数据库结构描述成易于理解的业务术语，把商业用户同技术性的数据库术语以及复杂的SQL访问语言分离开来。它就像一个透镜，用户可以通过它来看数据仓库。这样最终用户无须具备计算机专业知识，更不必是数据库方面的专家，就能够自主地访问公共数据，分析信息，从而更好地理解企业发展的趋势，作出明智的决策。
“描述层”可以被称为一个覆盖在数据库内部数据对象之上的一个解释层，是用户和数据库之间的一个代码翻译层，也就是将数据库中比较凌乱、复杂的数据对象（例如：存储在数据表中的各个字段的记录）通过预先定义好的规则（“描述层”）过滤转换成实际使用的业务对象，例如：人员姓名、物资类型等等。同时，“描述层”的功能不仅仅在于过滤和映射，还可以对数据通过预先定义好的规则进行重组，例如在数据库中没有的高层数据（比如：通过价格和销售量在本地提取销售额），所以我们可以通过“描述层”给数据库增加一些不存在而又有实际意义的内容。另外，我们还可以利用“描述层”来增加数据库中数据所包含的信息量（比如：建立某一字段的分类规则，使数据库中的记录可以分属于不同的类别，具体的例子是，按销售业绩多少分为优、良、中、差，用户就可以直接用诸如 “销售业绩=优”之类的条件进行查询；类似的还有分层规则等其它许多规则）。，我们还可以在“描述层”中加入一些预定义的条件，在以后的查询或分析时，就可以直接从“描述层”中提取条件。使用“描述层”重组数据的实际意义在于：数据库内大量珍贵的数据资源不再是只有数据库开发人员才能理解的“天书”，通过“描述层”的解释和组织，大多数不具备计算机专业知识的业务人员，可以直接使用这些数据。
在这个部分，主要的工作就是两点，即“描述层”的定义与解释。在“描述层”的定义部分，要进行各种不同类型的定义，具体来说就是上一段提到的几种类型，然后将各个类型的定义作为元数据进行存储。在定义的过程中，必然要通过数据库连接工具来对数据库或数据仓库进行访问，再按照数据库的结构和内容来设计各个不同的“描述”。另外，在以后使用本系统的其它主体部分如查询、报表、分析和数据挖掘部分时，将用到“描述层”中定义的“描述”，这是就需要“描述层”的解释部分来进行解释，将“描述”语言翻译为数据库能够接受的语言。
本软件设计中的另一个重点是体现商业智能化的数据挖掘功能，随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，可是目前用于对这些数据进行分析处理的工具却很少。现在所能做到的只是对数据库中已有的数据进行由人驱动的分析，人们通过这些数据所获得的信息量仅仅是整个数据库所包含的信息量的一部分，隐藏在这些数据之后的更重要的信息是关于这些数据的整体特征的描述及对其发展趋势的预测，这些信息在决策生成的过程中具有重要的参考价值。
数据库中的知识发现（KDD）就是利用机器学习的方法从数据库中提取有价值知识的过程，是数据库技术和机器学习两个学科的交叉学科。数据库技术侧重于对数据存储处理的高效率方法的研究，而机器学习则侧重于设计新的方法从数据中提取知识。KDD利用数据库技术对数据进行前端处理，而利用机器学习方法则从处理后的数据中提取有用的知识。KDD与其他学科也有很强的联系，如统计学、数学和可视化技术等等。
在我们的系统中，将实现一个完整的KDD工具，也可以称为数据挖掘（Data Mining）工具。因为我们要面向广大商业用户，所以我们的系统特别注重对用户与数据库交互的支持，由用户根据数据库中的数据，选择一种模型，然后选择有关数据进行知识的挖掘，并不断对模型的数据进行调整优化。整个处理过程分为下面一些步骤：
数据发现：了解任务所涉及的原始数据的数据结构及数据所代表的意义，并从数据库中提取相关数据。
数据清理：对用户的数据进行清理以使其适于后续的数据处理。这需要用户的背景知识，同时也应该根据实际的任务确定清理规则。
模型的确定：通过对数据的分析选择一个初始的模型。模型定义一般分为三个步骤：数据分隔，模型选择和参数选择。在我们的系统中，主要引入了关联规则模型和分类模型。
数据分析：对选中的模型进行详细定义，确定模型的类型及有关属性；通过对相关数据的计算，计算模型的有关参数，得到模型的各属性值；通过测试数据对得到的模型进行测试和评价；根据评价结果对模型进行优化。
输出结果生成：数据分析的结果一般都比较复杂，很难被人理解，将结果以文档或图表形式表现出来则易于被人接受。
在KDD过程中，最重要的是其中的数据挖掘部分，即模型和相关属性的确定。我们计划采用其中应用最广泛的两个模型，分别是关联规则和分类规则，以下作详细的介绍。
关联规则是形式如下的一种规则，“在购买面包和黄油的顾客中，有90％的人同时也买了牛奶”（面包＋黄油=>牛奶 ）。用于关联规则发现的主要对象是事务型数据库，其中最典型的应用则是售货数据，一个事务一般由如下几个部分组成：事务处理时间，一组顾客购买的物品，有时也有顾客标识号（如信用卡号）。如果对这些历史事务数据进行分析，则可对顾客的购买行为提供极有价值的信息。例如，可以帮助如何摆放货架上的商品（如把顾客经常同时买的商品放在一起），帮助如何规划市场（怎样相互搭配进货）。由此可见，从事务数据中发现关联规则，对于改进零售业等商业活动的决策非常重要。随着应用的推广，关联规则已经在许多领域发挥作用，成为最典型的数据挖掘应用。
分类也是数据挖掘中的一项非常重要的任务。分类的目的是学会一个分类函数或分类模型（也常常称作分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。分类的应用实例也很多，比较典型的由保险公司的保费设置。保险公司成功的一个关键因素是在设置具有竞争力保费和覆盖风险之间选择一种平衡。保险市场竞争激烈，设置过高的保费意味着失去市场，而保费过低又会影响公司的赢利。保费通常是通过对一些主要的因素（如驾驶员的年龄、车辆的类型等）进行多种分析和直觉判断来确定。由于投资组合的数量很大，分析方法通常是粗略的。采用分类进行数据挖掘以后，就可以利用计算机处理海量数据的能力来进行合理的分类，定出合理的保费，使保险公司得到较大收益。
六、结束语
面向企业应用的智能决策支持工具是很有前途的研究开发方向，在我国随着市场经济的确立和发展，中小企业对企业信息化决策支持工具的需求会越来越强烈，本文提出的智能决策支持工具的设计方案旨在与广大同行交流共同推进智能决策支持工具的开发和研究，最终开发出适合国内中小企业应用需求的软件。
数据处理论文:高中物理实验数据处理方法的几点研究
论文关键词:高中 物理实验 数据处理方法
论文摘要:物理实验测得的数据,必须经过科学的分析和处理,才能揭示出各物理最之间的关系。就高中物理实验常用数据的处理方法进行分析,以期对物理实验教学有所帮助。
实验是物理学的重要组成部分,是物理教学不可缺少的环节。但学生在实际操作与处理中。往往容易在实验数据上出现错误,究其原因是学生没有牢固掌握数据处理的方法,不求甚解,一知半解,更不用说触类旁通了。根据我的教学经验,提出几种处理方法。(下面提出几种数据处理方法,供大家参考)
一、平均法
平均法是指对待测物理量进行很多次的测量,把测量的值相加再除以测量次数,或把每一次的测量值用固定的算式分别进行计算再求出结果,再把结果相加除以测量次数,取其平均值。这种方法就叫做平均法。
1.平均法的使用原理:每一次的测量因为多方面的因素都会不一样,测量值偏大或偏小,但其偏大或偏小的机会与程度往往均等,所以需要进行多次测量,再求其平均值,这样的测量值才会更真实、科学,有说服性。
2.数据的处理
(1)如果所求的结果是经过直接测量所得,应使用平均法。如“测定金属电阻率”的实验,在测定金属丝的直径d时,用“螺旋测微器”在金属丝的三个不同点上分别进行测量,然后取三次的测量结果,其平均值就是的直径。
(2)如果所求的结果不能经过直接测量得出,则要依据其实验的原理多次进行计算待测物理量的值,最终结果要把多次测量的物理量的值相加得出平均值。“用单摆测重力加速度”是个很典型的实验,求单摆周期的步骤如下:把单摆往一个方向拉开一个小角度,让小球顺利摆动,这时测出单摆完成n(20-30)次全振动的时间t,用公式T=t/n计算得出小球完成一次全振动的周期,这个步骤重复3次,用公式T=(T1+T2+T1)/3算出平均值,即求出单摆的振动周期。
二、描迹法
描迹法是指通过若干次描点、频闪照相、用打点计时器打点等记录形式,直观形象地显现实验结果的方法。如,在进行“平抛物体的运动”这个实验时,可以用频闪照相的方式记录小球的运动轨迹;在进行“匀变速直线运动”实验时,用打点计时器记录运动情况。在使用描迹法时,以下几个方面要高度注意:
1.在结果出来之前,应仔细观察、分析结果,去掉误差太大的数值。若中间出现个别的点偏离正常位置很远,有可能是偶然因素导致,应舍弃该点再重复进行实验,分析记录结果。如,在“匀变速直线运动”的实验中进行纸带选取的时候,首先多打出几条纸带,选择打点最清楚的一条进行研究分析,分析时一般去掉前面相对密集的点,在后面找出一个点作为开始的点。
2.若要根据记录的点进行描线,则应描平滑的实线,并尽可能让更多的记录点通过平滑线或靠滑线,而且这些记录点要在平滑线的两侧均匀分布,不能在描线的过程中出现折线。
3.为了使描述的结果比较,实验中记录的点不能太少,并且要在所描范围内合理、均匀分布。
三、图像法
图像法因其直观、形象、容易操作的特点被广泛应用于物理实验中,又被称为作图法,顾名思义是指在坐标纸上把实验数据之间的对应关系连成图线,由图线得出相应物理量之间的关系,并由此进一步得出实验结果。用图像法处理实验数据的步骤如下:
1.将测量的数据列表归类整理。
2.在坐标纸上以相应的物理量为横轴、纵轴建立坐标系,并定出标度。
3.描点。
4.连线:连线要遵循三个原则,一条直线上要描上尽可能多的点;其余的点要均匀分布两侧;离描线太远的点直接去掉。遵循这种连线原则处理数据,与多次测量取平均值殊途同归(但由于去掉偶然误差过大的数据点。使得结果比平均值法更加些)。
5.注明图像的名称、制图时间及其他说明:中学物理实验运用图像法,一般情况下会得出y=kx+b形式的一次函数关系,即结果是一条直线(一次函数拟合),图线画出后,可以用图线与坐标轴上的截距求出相应的物理量,也可以用图线的斜率或者用图线围成的面积求出相应物理量,还可以用图线反应一定的物理规律。如果描出的数据点连成了一条曲线。则应变换物理量,最终要得到一条直线(一次函数)。如,在验证“牛顿第二定律”的实验中,在研究“外力一定时物体的加速度和物质的质量之间的关系”时,假若a为纵坐标,m为横坐标,连接各数据点后得到一条曲线,实验结论就不会;但若以1/m为横坐标轴,连接各数据点则基本上可以画出一条过原点的直线,即得出正确的结论:外力一定时,物体的加速度a与物体的质量m成反比,即物体的加速度a与物体的质量m的倒数成正比。通过变换,完成了化曲线为直线,更直观、快捷地得出实验结果。
四、直接比较法
在做一些物理实验时。物理量之间的关系只需要定性地去确定,或把实验结果与标准值进行比较则可求出实验结论,都可以采用直接比较法。如,在“互成角度的两个共点力的合成”实验中,可将实验中测得的合力与根据实验画出的平行四边形对角线两矢量的大小与方向进行直接比较,就可以确定验证平行四边形定则的目的是否已经达到了。
五、计算机辅助处理数据
信息技术已被广泛运用到物理教学课堂上,也被广大师生所接收,中学生的计算机水平日益提高,已能熟练运用计算机记录与处理数据,对数据的图像进行分析等。计算机中的Excel软件功能非常强大,能够进行大量的数据记录与处理,还能画出物理实验中比较实用的x-y散点图,能够进行一次函数、幂函数以及拟合,求出相应的函数系数,从而得出物理量的值。
总之,在高中物理实验教学中引导学生学会合理使用数据处理方法。这样可以尽可能地减少学生在实验中的系统误差和过失误差,指导学生运用正确的分析方法,同时使其学会对实验结果的正确评估和描述。
数据处理论文:对高中物理实验数据处理方法的几点研究
论文关键词:高中 实验 数据处理方法
论文摘要:物理实验测得的数据,必须经过科学的分析和处理,才能揭示出各物理最之间的关系。就高中物理实验常用数据的处理方法进行分析,以期对物理实验教学有所帮助。
实验是物的重要组成部分,是物理教学不可缺少的环节。但学生在实际操作与处理中。往往容易在实验数据上出现错误,究其原因是学生没有牢固掌握数据处理的方法,不求甚解,一知半解,更不用说触类旁通了。根据我的教学经验,提出几种处理方法。(下面提出几种数据处理方法,供大家参考)
一、平均法
平均法是指对待测物理量进行很多次的测量,把测量的值相加再除以测量次数,或把每一次的测量值用固定的算式分别进行计算再求出结果,再把结果相加除以测量次数,取其平均值。这种方法就叫做平均法。
1.平均法的使用原理:每一次的测量因为多方面的因素都会不一样,测量值偏大或偏小,但其偏大或偏小的机会与程度往往均等,所以需要进行多次测量,再求其平均值,这样的测量值才会更真实、科学,有说服性。
2.数据的处理
(1)如果所求的结果是经过直接测量所得,应使用平均法。如“测定金属电阻率”的实验,在测定金属丝的直径d时,用“螺旋测微器”在金属丝的三个不同点上分别进行测量,然后取三次的测量结果,其平均值就是的直径。
(2)如果所求的结果不能经过直接测量得出,则要依据其实验的原理多次进行计算待测物理量的值,最终结果要把多次测量的物理量的值相加得出平均值。“用单摆测重力加速度”是个很典型的实验,求单摆周期的步骤如下:把单摆往一个方向拉开一个小角度,让小球顺利摆动,这时测出单摆完成n(20-30)次全振动的时间t,用公式T=t/n计算得出小球完成一次全振动的周期,这个步骤重复3次,用公式T=(T1+T2+T1)/3算出平均值,即求出单摆的振动周期。
二、描迹法
描迹法是指通过若干次描点、频闪照相、用打点计时器打点等记录形式,直观形象地显现实验结果的方法。如,在进行“平抛物体的运动”这个实验时,可以用频闪照相的方式记录小球的运动轨迹;在进行“匀变速直线运动”实验时,用打点计时器记录运动情况。在使用描迹法时,以下几个方面要高度注意:
1.在结果出来之前,应仔细观察、分析结果,去掉误差太大的数值。若中间出现个别的点偏离正常位置很远,有可能是偶然因素导致,应舍弃该点再重复进行实验,分析记录结果。如,在“匀变速直线运动”的实验中进行纸带选取的时候,首先多打出几条纸带,选择打点最清楚的一条进行研究分析,分析时一般去掉前面相对密集的点,在后面找出一个点作为开始的点。
2.若要根据记录的点进行描线,则应描平滑的实线,并尽可能让更多的记录点通过平滑线或靠滑线,而且这些记录点要在平滑线的两侧均匀分布,不能在描线的过程中出现折线。
3.为了使描述的结果比较,实验中记录的点不能太少,并且要在所描范围内合理、均匀分布。
三、图像法
图像法因其直观、形象、容易操作的特点被广泛应用于物理实验中,又被称为作图法,顾名思义是指在坐标纸上把实验数据之间的对应关系连成图线,由图线得出相应物理量之间的关系,并由此进一步得出实验结果。用图像法处理实验数据的步骤如下:
1.将测量的数据列表归类整理。
2.在坐标纸上以相应的物理量为横轴、纵轴建立坐标系,并定出标度。
3.描点。
4.连线:连线要遵循三个原则,一条直线上要描上尽可能多的点;其余的点要均匀分布两侧;离描线太远的点直接去掉。遵循这种连线原则处理数据,与多次测量取平均值殊途同归(但由于去掉偶然误差过大的数据点。使得结果比平均值法更加些)。
5.注明图像的名称、制图时间及其他说明:中学物理实验运用图像法,一般情况下会得出y=kx+b形式的一次函数关系,即结果是一条直线(一次函数拟合),图线画出后,可以用图线与坐标轴上的截距求出相应的物理量,也可以用图线的斜率或者用图线围成的面积求出相应物理量,还可以用图线反应一定的物理规律。如果描出的数据点连成了一条曲线。则应变换物理量,最终要得到一条直线(一次函数)。如,在验证“牛顿第二定律”的实验中,在研究“外力一定时物体的加速度和物质的质量之间的关系”时,假若a为纵坐标,m为横坐标,连接各数据点后得到一条曲线,实验结论就不会;但若以1/m为横坐标轴,连接各数据点则基本上可以画出一条过原点的直线,即得出正确的结论:外力一定时,物体的加速度a与物体的质量m成反比,即物体的加速度a与物体的质量m的倒数成正比。通过变换,完成了化曲线为直线,更直观、快捷地得出实验结果。
四、直接比较法
在做一些物理实验时。物理量之间的关系只需要定性地去确定,或把实验结果与标准值进行比较则可求出实验结论,都可以采用直接比较法。如,在“互成角度的两个共点力的合成”实验中,可将实验中测得的合力与根据实验画出的平行四边形对角线两矢量的大小与方向进行直接比较,就可以确定验证平行四边形定则的目的是否已经达到了。
五、辅助处理数据
信息技术已被广泛运用到物理教学课堂上,也被广大师生所接收,中学生的计算机水平日益提高,已能熟练运用计算机记录与处理数据,对数据的图像进行分析等。计算机中的Excel软件功能非常强大,能够进行大量的数据记录与处理,还能画出物理实验中比较实用的x-y散点图,能够进行一次函数、幂函数以及拟合,求出相应的函数系数,从而得出物理量的值。
总之,在高中物理实验教学中引导学生学会合理使用数据处理方法。这样可以尽可能地减少学生在实验中的系统误差和过失误差,学生运用正确的分析方法,同时使其学会对实验结果的正确评估和描述。
数据处理论文:数据处理的系统在电子政务中的运用
一数据处理在电子政务中的作用
一.一增进政府之间交换
在服务器和阅读器端日志记录的数据中暗藏着模式信息,运用网络用法数据处理技术可以自动发现系统的走访模式以及用户的行动模式,从而进行预测分析。例如,通过评价用户对于某1信息资源阅读所花费的时间,可以判断出用户对于何种资源感兴致;对于日志文件所搜集到的域名数据,依据国家或者类型进行分类分析;利用聚类分析来辨认用户的走访念头以及走访趋势等。这项技术已经经有效地运用在政府之间的交换中。通过模式分析,找到有用的信息,再通过联机分析(OLAP)的验证,结合客户登记信息,找出政务交往对于象,或者发现潜伏的交换价值。
一.二为政府重大政策出台提供信息支撑
例如,通过对于网站所公布的各种经济资源的数据分析处理,肯定未来经济的走势,从而制订出相应的宏观经济调控政策。同理,通过对于各类渠道获取的社会资源的数据分析处理,可以科学地制订出1些社会服务、社会保障与福利政策。
二电子政务中数据处理技术症结问题探讨
二.一数据处理体系的构建
数据包含数字、符号、字母以及各种文字的聚拢。数据处理系统需要用计算机搜集、记录数据,经加工发生新的信息情势的技术。1个的计算机数据处理体系主要包含八个方面。
①数据采集:采集所需的信息。
②数据转换:把信息转换成机器能够接管的情势。
③数据分组:指定编码,按有关信息进行有效的分组。
④数据组织:收拾数据或者用某些法子支配数据,以便进行处理。
⑤数据计算:进行各种算术以及逻辑运算,以便患上到进1步的信息。
⑥数据存储:将原始数据或者计算的结果保留起来,供之后使用。
⑦数据检索:按用户的请求找出有用的信息。
⑧数据排序:把数据按必定请求排成秩序序。
二.二数据处理系统的工作顺序
数据处理的进程大致分为数据的录入、处理以及输出三个阶段的工序。数据录入阶段,也能够称为数据的筹备阶段。数据录入之后,就要由计算机对于数据进行处理,为此预先要由用户编制程序并把程序输入到计算机中,计算机是按程序的唆使以及请求对于数据进行处理的。所谓处理,就是指上述八个工作方面中的1个或者若干个的组合。数据经处理,输出的是各种文字以及数字的报表或者表格。概括的讲,数据录入是基础,数据处理是重点,数据输出是目的。数据采集、管理,其重点是在此基础长进行分析以及汇总,主要目的是为政府决策提供、、客观、科学的数字根据。
二.三数据处理体系的分类根据
数据处理依据处理装备的结构方式、工作方式,和数据的时间空间散布方式的不同,数据处理有不同的方式。不同的处理方式请求不同的硬件以及软件支撑。每一种处理方式都有自己的特色,应该依据利用问题的实际环境选择适合的处理方式。数据处理主要有4种分类方式:
①依据处理装备的结构方式区别,有联机处理方式以及脱机处理方式。
②依据数据处理时间的分配方式区别,有批处理方式、分时处理方式以及实时处理方式。
③依据数据处理空间的散布方式区别,有集中式处理方式以及散布处理方式。
④依据计算机中央处理器的工作方式区别,有单道功课处理方式、多道功课处理方式以及交互式处理方式。
三结语
跟着电子政务的发展以及网络用户对于高品质、个性化的信息需求的不断扩展,势必对于数据处理技术提出更高的请求。从发展趋势上看,数据处理技术未来发展的重点将主要集中于智能性、易用性、集成性3个方面,需要从这3方面入手推进信息处理技术的不断发展与,更好地为电子政务服务,从而提高全世界的信息化水平。
数据处理论文:关于GPS网与边角网的数据处理成果比较与分析
摘 要:本文以李家河水库枢纽区平面施工控制网的建立与复测为例,叙述了平面施工控制测量建网采用边角网、复测采用GPS网的不同观测方案,通过实例对比统计分析,得出有益的建议,对类似水电工程枢纽测量可作一定参考作用。
关键词:枢纽施工控制 ,GPS与边角网 , 成果比较, 分析应用
1.概况
西安市辋川河引水李家河水库工程的主要任务是以西安市城东区城镇供水为主,兼有发电。该工程由水库枢纽和输水工程两大部分组成,水库枢纽主要由大坝、施工导流洞、引水发电洞及电站厂区等组成。大坝坝型为碾压混凝土拱坝,较大坝高98.50m;导流洞布置于左岸,导流洞长361.5m;引水发电洞布置于左岸,为下游供水和发电引水共用,洞身长957m,发电洞出口衔接电站厂区。 坝址处河谷深切呈“V”字型,河道狭窄,河床宽度仅15~30m;两岸山坡陡峻,荆棘丛生、植被茂密、通行及通视条件较差。
该工程枢纽区施工控制网为2009年3月采用TCA2003按边角网观测方案建立,坝基开挖削坡到位之后,又于2011年7月采用Trimble GPS-R8按GPS观测方案进行了复测。
2.施工控制网坐标系统和投影面的确定
大坝顶高程884.00m,较大坝高98.50m。为了解决投影变形和施工方便,同时保持与前期设计图基准的联系和统一,坐标系统采用挂靠在1954年北京坐标系统下的独立坐标系统,枢纽区平面控制将边长投影到840m高程面。
3.边角网的建立
3.1平面控制布网选点
根据枢纽区工程施工总体平面布置图,结合实地地形先在1:2000图面上设计,然后到施工现场按照施工区域的情况,会同设计、地质人员现场实地选点。经现场反复的比选,选定如右图示的网形作为施工基本平面控制网。
首级网点编号为:Ⅲ01~Ⅲ10。其中Ⅲ01、Ⅲ02、Ⅲ05、Ⅲ06主要用于坝体施工测量;Ⅲ03、Ⅲ04、Ⅲ10主要用于导流洞和发电洞进口施工测量;Ⅲ06、Ⅲ07用于导流洞出口施工测量; Ⅲ07、Ⅲ08、Ⅲ09主要用于引水发电洞出口及电站厂区施工测量。
平面控制网中共有20条边,较大边长639.05m,最短边长164.07m,平均边长356.16m。虽然规范规定两点间高度角不宜大于10°,大于10°的占到46.2%,且较大为25°51′35″。
3.2精度估算
网中起始点Ⅲ01,起始方向Ⅲ01-Ⅲ05,取测角中误差±1.8″,测距中误差1mm+1ppm· D(D 取350m)。在1:2000地形图上选设网形,确定点位并量取各待定平面控制点的概略坐标,采用《工程测量控制网微机平差系统 NASEW》软件进行模拟计算和优化设计。精度估算结果:较大点位中误差±2.18 mm,较大点间中误差±1.85 mm ,较大边长比例误差1/301200;内性R较大值6.2,外性R′较大值4.63,性分析说明, 内外性一般。由于点位调整困难,因此,外业观测时提高仪器等级,增加水平角测回数,以保障精度。
3.3边角网测量
(1)观测。采用Leica TC2003全站仪,按边角组合网进行观测。作业前将仪器工具送计量部门进行了检定。水平角观测采用方向观测法。水平角观测测回数9个,垂直角往返各四个测回,边长往返测距各两个测回,仪器镜站两端同时进行气象要素测定。测距读数取中数,经仪器加乘常数、气象数据改正之后计算斜距、往(或返)测观测高差。
(2)外业观测成果验算及数据处理。利用斜距、往返测高差中数及相应的仪器高、棱镜高分别计算往(或返)测水平距离,往返测水平距离≤2(1mm+1ppm·D),符合规范要求之后将往返水平距离取中数,作为实测水平距离。外业观测成果验算如下表1。
外业观测成果验算统计表 表1
(3)数据处理。外业验算均符合规范要求后,采用《工程测量控制网微机平差系统 NASEW》软件,以Ⅲ01为坐标起算点(Ⅲ01~Ⅲ05为起算方位),按边角网进行数据处理,平差后主要精度指标如下表2。
平面网数据处理主要精度指标统计表 表2
4.复测方案及数据处理
4.1复测方案
采用我院新购置的4台Trimble GPS-R8按三等GPS及边角组合网方案进行观测;观测网见图二所示。
4.2 GPS观测
GPS控制网数据采集采用了4台天宝 R8双频GPS 接收机,仪器精度满足要求,各项性能检定合格。外业观测采用静态测量方式sh双时段观测,全部采用边联接的方式构网,满足卫星的高度角不低于15度、观测时有效卫星的数量不少于5颗、每一时段的观测时间不少于90分钟和PDOP 值不大于6 等外业观测技术要求。
4.3 边角网观测
使用Leica TCA2003全站仪按三等精度观测。水平角采用方向法观测6测回,天顶距观测采用中丝法对向观测各4测回,斜距观测往返各2测回。测站、镜站观测前后各测量一次气温、气压,最小读值分别至0.2℃、50Pa,并取中值。斜改平计算时加入气象、加常数、乘常数改正。
4.4 GPS数据处理
4.4.1 GPS网基线向量解算采用Trimble Geomatics office软件;平差采用GPS工程测量网通用平差软件包(Cosa GPS V5.20)。
4.4.2基线及同步环、异步环各坐标分量闭合差等外业观测质量的检核。枢纽区GPS控制网由41条基线组成,其中重复观测基线17条;隧洞GPS网由52条基线组成,其中重复观测基线22条。GPS网同步环闭合差、异步环闭合差、重复边较差的检验统计如表3所示。
基线向量精度统计分析 表3
从以上的三项检核可知,本次观测的所有基线均满足三等GPS网外业观测的精度要求。
4.4.3 GPS网平差与精度分析。在WGS-84坐标系统下对枢纽区控制网进行三维无约束平差,平差后各网点的纵、横向中误差均较小,表明测量数据无粗差。由于多余观测量较多,计算出的三维基线向量内部性均值分别达0.8和0.85,表明GPS 控制网具有较好的内部符合精度。
二维网约束平差采用了一点一方位的工程独立网形式,并且以一条地面实测边(投影至840米高程面)作为尺度约束,减小了由于投影而引起的误差,使控制网成果更好的满足施工精度要求。工程独立网平差后的精度统计分析见表4。
独立网平差精度统计 表4
从GPS网中的点位精度看,各点的点位中误差均较小。除个别短边外,全网各边的方位角中误差大部分小于±1.5""。边长的距离相对中误差大部分小于1/20万,优于规定的1/15万。
4.5 边角网外业观测成果验算及数据处理
边角网共观测了3个三角形,较大三角形闭合差-1.6″,允许±7″;以GPS独立网Ⅲ01、Ⅲ06为坐标起算点按边角网进行平差。平差后较大点位中误差±2.9mm,允许±10mm;较大点间误差2.90mm,允许±10mm。边长相对中误差除一条短边外,均优于1/15万。
5.GPS与边角网成果对比分析
5.1 GPS与边角网数据处理后的坐标成果对比分析。根据2009年边角网及2011年GPS网复测坐标,计算二者较差如下表5。
GPS与边角网数据处理后的坐标成果对比计算统计表 表5
5.2 控制点的稳定性分析。根据两期数据处理后的点位中误差m1、m2来评定控制点的稳定性,控制点坐标的较差值S小于2m=2时,认为该点为稳定 点,否则为不稳定点,如表6。
由上表可以看出,Ⅲ07、Ⅲ08点不稳定、明显发生位移;经现场查勘这两点周边施工过程中近距离开挖,通过数据对比及现场受施工大开挖影响而引起位移的分析是相一致的。
6.结论与建议
(1)该项目施工控制网复测采用GPS观测方案,通过与首期观测采用边角网的结果分析及验证,在峡谷地域的水利水电枢纽工程施工平面控制网采用GPS观测方案,可以满足三等控制测量的精度。
(2)水利水电枢纽工程施工控制网在基础、边坡开挖等施工因素影响后,可能引起部分点位位移,因此,施工过程中及时复测控制网是十分必要的。
数据处理论文:Excel在商业银行数据处理中的应用设计
[摘 要] 本文主要是针对商业银行电子银行会计处理中的凭证设计和填制、打印等问题,利用计算机进行了自动化设计。
[关键词] 电子银行 原始凭证 函数
随着电子银行的普及,银行会计的数据处理工作中存在的问题也日益显露,笔者认为电子银行业务开展后,银行会计的日常数据处理工作中存在票据中数据的填制等具体的业务处理问题可以通过EXCEL的强大的电子数据处理功能来完成。
银行会计在填制某些原始凭证的时候,如银行承兑汇票等票据,以前都是用手工方法填写,工作量大,且容易出错,为了节约人力和财力,笔者在调研后进行了如下设计:
一、打印区域设置
以网银手续费凭证的填制为例,如图1,会计人员需要在印制好格式的凭证上填制如下内容,笔者通过测量凭证上需要填制的位置,通过EXCEL的列宽和行高来设定数据区域。
二、单位名称设置
对于单位名称和账号等,可以直接输入账号,利用VLOOK()函数来自动完成填制。例如,我们预先设置一个“客户名称与账号”工作表如图2,然后在“网上银行手续费”工作表中C2单元格中输入公式:=VLOOKUP(A3,客户名称与账号!B3:C38,2,FALSE),则只要在A3单元格中输入相关的单位账号,就可以直接取得相关的单位名称。
三、金额自动填写设计
如图,我们设K8单元格为数据源,可以通过函数或链接等方式获取数据,笔者在此处通过直接输入数字的方式来说明问题。
在S6单元格中输入公式:=INT($K$×8100)-INT($K$8×10)10,直接获取分位数字。设计如下:
1.获取角分位数字。设K8单元格中的数为345.67(元),则INT($K$8×100)的运算结果为34567,而$K$8×10的运算结果为3456.7,INT($K$8×10)10的运算结果为34560,则INT($K$8×100) -INT($K$8×10)×10=34567-34560=7,为S6单元格中的分位数字,同理,在角位输入:=INT(ABS($K$8×10))-INT(ABS($K$8))×10,在元位输入:=INT(ABS($K$8))-INT(ABS($K$8/10))10,则角位和元位数字也可以轻松取得。
2.整数位数字的确定和人民币符号的设置。在T8单元格输入:= INT(K8),再在P6单元格中输入公式:=IF(LEN($T$8)>=2,LEFT(RIGHT($T$8,2),1),“￥”)。
在O6单元格中输入:=IF(LEN($T$8)>=3,LEFT(RIGHT($T$8,3),1),IF(LEN($T$8)=2,“￥”,“”)),同理,N6、M6、L6、K6单元格中分别输入:=IF(LEN($T$8)>=4,LEFT(RIGHT($T$8,4),1),IF(LEN($T$8)=3,“￥”,“”)),=IF(LEN($T$8)>=5,LEFT(RIGHT($T$8,5),1),IF(LEN($T$8)=4,“￥”,“”)),=IF(LEN($T$8)>=7,LEFT(RIGHT($T$8,7),1),IF(LEN($T$8)>=6,“￥”,“”))(假设数字不超过百万),完成了小写数字与“￥”输入工作。
3.生成大写金额。在C8单元格中输入:=TEXT(INT(ABS(K8)),“[DBNum2]”),然后在单元格D8中输入:=TEXT(INT(ABS(K8 10))-INT(ABS(K8))×10,”[DBNum2]”)或=TEXT(R6,”[DBNum2]”),在E8单元格中输入:=TEXT(INT(ABS(K8×100))-INT(ABS(K8×10))×10,”[DBNum2]”)或=TEXT(S6,”[DBNum2]”),然后我们在B7单元格中输入:=IF(K8
也可以设置如下:在C8单元格中输入:=TEXT(INT(ABS(K8)),”[DBNum2][$-804]G/通用格式元”),直接取出不含角分的数值,然后和上面同理,取“整”、“角”或“分”,此处不再探讨。
为了隐藏第8、9行的数值,可以设置文字颜色为白色,打印的时候就不打印这部分的内容了。
四、日期自动更正为银行特殊规定格式的设计
银行要求会计人员在填写有关凭证的时候,需要按照“某某某某年某某月某某日”的大写格式来填写,主要是为了防止篡改日期。而我们在利用EXCEL作为工具的时候,发现其日期格式根本没有我们所需要的格式,可以通过如下操作完成日期格式设计:
在设置单元格格式的时候,采用自定义格式,输入:[DBNum2][$-804]yyyy”年”mm”月”dd”日”;@,定义其格式即可。例如,输入2007-3-2,则自动显示为“贰零零柒年零叁月零贰日”。
也可以在特定的单元格(假设为AC17)中输入:=TEXT(AD17,”[DBNum2][$-804]yyyy年mm月dd日”)其中,设AD17为输入日期的单元格,则AC17单元格返回的数值为银行规定的日期格式:“某某某某年某某月某某日”。
数据处理论文:浅论会计数据处理变革中审计的演进
【论文关键词】 传统审计； 电算化审计； 电算化审计的演进
【论文摘要】 随着电子计算机的产生与广泛普及，传统会计工作使用的工具逐渐为计算机所取代，会计电算化成为现代及未来会计工作的主导方式。因此，审计方式也必然存在着由传统审计过渡到电算化审计的变革。电算化审计的演进从审计对象、审计手段、审计证据等几个方面充分体现出以传统审计为基础的进一步继承与发扬。
传统会计工作即手工会计，主要借助于纸、算盘或计算器、笔等工具进行会计数据的处理。随着电子计算机的产生与广泛普及，传统会计工作使用的工具逐渐为计算机所取代，会计电算化成为现代及未来会计工作的主导方式。而审计是从会计工作中逐渐独立出来的，同时又以会计工作为对象，它们所面临的巨变环境又具有一致性，这就决定了审计在会计数据处理工具的演变中，必然存在着由传统审计过渡到电算化审计的变革。
一、传统审计的主体特征
传统审计即手工审计。由于传统审计环境下，会计资料的载体是纸介质，所以传统审计的审计对象是载有会计资料的纸性介质。传统审计的审计手段，无论是审计抽样还是撰写审计报告，都是由手工操作完成的。审计证据包括实物证据、书面证据、口头证据和环境证据四大类。传统审计中的书面证据包括各种原始凭证、记账凭证、会计账簿和明细表等，它们都有自己的作用。在传统审计中，审计方法主要包括制定审计计划的方法、收集审计证据的方法和提出审计报告的方法。从狭义上说，就是指与取得审计证据相关的各种方法。按不同的标准，可划分为顺查法、逆查法、详查法、抽查法等；再具体一些，包括核对法、查询法、函证法、观察法、分析法等。在手工会计处理的条件下，所有审计方法的执行都是由人工完成的。从审计线索上来看，由于传统会计中，由原始凭证到记账凭证，记账凭证到登记账簿，到编制报表，每一步都有文字记录和经手人签章，因而审计线索十分清晰。审计人员能够利用书面资料从原始业务开始，一路追查到报表中的各项指标，并通过这些审计线索来检查和确定这些指标是否能够正确反映被审计单位的经济活动情况，检查其财务活动的合法性、合规性和有效性。在传统审计中，企业一般是通过职责分割、职权分工、规定标准的业务处理程序以及凭证、账簿、报表之间的勾稽关系等而形成的一个内部控制体系，这一体系能够较好地保障会计数据处理的真实、和安全。
二、电算化审计的演进
（一）审计对象
在传统审计环境下，审计对象是纸性介质。而在电算化审计环境下，会计资料存储在硬盘、软盘、光盘等磁性介质上，审计对象包括了整个电子数据处理系统。相对于纸性介质来说，磁性介质具有数据存储量大、易查询、体积轻等特点，但也有易被改写的安全性问题。审计过程中判断会计资料合法性与正确性的一项重要证据就是看它是否出现被涂改的情况，传统会计环境中一旦发生涂改会计资料的情况，审计人员一眼就能看出。但是在电算化会计环境中，被涂改的会计数据可能未留下任何痕迹，因此审计人员很难立即察觉。另外一些因素如计算机病毒等容易造成磁盘上会计数据的丢失，直接影响到会计资料的完整性。
（二）审计手段
在传统审计中，整个审计过程都是由手工操作完成的。而在电算化审计中，许多工作可以由计算机来完成，免去审计人员许多繁琐的手工计算与复核之苦。例如审计调查，可利用计算机程序语言设计出审计抽样程序，实现电算化抽样调查。
（三）审计证据
传统审计中的书面证据包括各种原始凭证、记账凭证、会计账簿和明细表等，它们之间可以实现相互核对。而在电算化环境中，当输入原始凭证的数据生成记账凭证后，记账工作由计算机自动进行批处理，各种账簿记录数出一源，都是依据记账凭证同时成账，相对来说作为审计证据的作用就减弱了。在环境证据如内部控制的重点和管理人员的业务素质方面，传统审计和电算化审计有着不同的内容，从而导致了环境证据的差别。
（四）审计方法
在传统审计中，审计人员可根据具体情况对会计资料进行人工审查工作，一般采用顺查法、逆查法、详查法、抽查法等审计方法，更为具体的审计方法还有核对法、查询法、函证法等。在会计电算化条件下，人工审计的技术方法仍然是重要的，但是由于会计信息以磁性介质作为主要存储方式，因此计算机审计已成为必不可少的审计方法。同时，审查电算化系统的处理和控制功能，也需要借助于计算机系统来施行。在电算化审计中，传统审计方法发生了较大改变，被划分为计算机辅助审计方法和面向电算化会计系统的审计方法。而后者又可以细分为电算化会计信息系统程序的审计方法、数据文件的审计方法和内部控制的审计方法。具体包括测试数据法、并行模拟法、嵌入审计程序法、代码比较法、程序解析法、受控处理法等。
（五）审计线索
在传统会计中，审计线索非常直观、清楚，审计人员可以根据需要进行顺查、逆查或抽查，通过这些审计线索来检查和确定被审计单位的经济业务是否真实，检查其财务活动是否合法、合规和有效。而在电算化会计系统中，从记账凭证数据的输入到会计报表的输出，全部业务处理都是借助计算机程序自动完成的，加之会计信息主要存储在磁性介质上，即使有所改动也不易令人察觉，使得审计线索缺乏直观性和真实性。例如：各种账簿和报表数出一源、自动产生，使得证、账、表之间的关系缺乏相互的验证性；再如，反记账、反结账功能的使用使得凭证修改后不会留下任何痕迹，审计人员无法辨别数据修改前的情况以及数据是否被修改。
（六）内部控制
进行审计时，对内部控制的了解是一项非常重要的工作，审计人员据此估计审计风险、确定审计范围、制定审计程序。在传统审计中，内部控制主要包括授权控制、责任分工、管理控制、审批和核对控制、内部审计、业务处理标准化等内容，以工作人员之间的相互牵制为基本特征，审计人员利用直观性很强的纸介质进行手工核对和检查，明确相关职责。而在电算化审计中，数据的处理权限高度集中，由计算机自动完成，传统会计中的内部控制失去作用。例如，在电算化会计条件下，一旦输入记账凭证数据，各种账簿都能同时产生，原有手工条件下的账证核对、账账核对等内部控制措施不再生效。因此，电算化会计系统中的内部控制产生了新的意义，如操作控制中的输入控制、数据处理过程控制、输出控制等；组织控制的内容也发生了较大变化。这就要求审计人员在了解审计对象的内部控制时应该采用新的审计程序，采取新的评价方法，以适应电算化会计环境下企业内部控制的新变化。
（七）审计环境
内部控制、被审计单位管理人员和业务人员的组成及素质、各种管理条件与管理水平都构成了传统审计环境的内容。在电算化审计条件下，上述内容发生了变化：1.电算化会计系统内部控制与手工会计内部控制有着不同的内容；2.信息化数据系统的应用导致会计人员无论是组成上还是知识素质上都有差别；3.管理内容、管理条件的变化。这些变化要求审计人员提高自身的能力，适应新的审计环境。
（八）审计档案
传统审计档案分为长期性档案和当期档案，均为纸性介质。而电算化审计档案具有以下特点：1.查询方便。电算化审计档案资料可以实现电子检索的功能，查询方便、快捷。2.保存有难度。因为在电子数据处理环境下，大量数据存储在磁性介质上，而磁介质容易因盗窃、丢失、故意或偶然的毁坏及使用等原因而受到损害。3.成本较高。硬性存储器的价格较高，审计档案保存年限也较长，在此期间，物理性损耗等原因使得这些硬盘上的数据必须不断地备份到新的硬盘上，昂贵的档案保存成本也就在所难免。
三、信息化时代审计的未来发展谋略
（一）将现代信息技术运用在审计领域
将运用现代化信息技术运用在审计的理论研究、实务工作、知识结构等领域，是当代电子计算机信息技术与审计工作内容紧密结合、提高审计工作质量和效率的关键一步。在理论研究方面，应逐步建立适应现代化信息技术发展的新型的审计理论。在实务工作方面，力求使传统审计工作向“计算机审计”和“使用计算机审计”方向转变，如审计人员既以纸性会计数据又以磁性介质数据为对象；审计底稿和审计证据及其有关审计档案应逐步实现无纸化等。知识结构上，审计人员除了应掌握传统审计的基本知识外，还应掌握计算机知识及其应用技术，掌握数据处理和管理技术，掌握现代化信息技术的应用及网络知识等；既能够熟练操作审计软件，又能够适时编写各种应用性审查程序。
（二）事后静态审计向事中和事前动态、实时审计转变
在过去的手工会计条件下，审计工作往往更重视事后审计。随着会计电算化工作的广泛开展，为了保障电算化会计条件下审计工作的真实性，审计工作应从事后审计转变为事前审计和事中审计。当单位实施会计电算化工作之前，首先应对单位采用的会计系统软件的适用性进行审计，软件中提供的各项核算与管理功能是否满足了信息使用者的要求。通过事前审计，保障单位使用的会计软件系统的合法、安全、。当会计电算化软件应用于会计工作以后，应该重视对会计信息系统软件的数据处理程序、自动转账公式的设置和会计报表公式的定义进行事中审计，防止核算单位恶意篡改系统程序。另外，还要做好事后审计，将会计电算化系统的运算结果与软件提供的核算功能进行符合性和实质性测试，保障会计数据的真实性，进一步保障审计工作的正确性。
（三）未来审计的重点将侧重会计明细信息的数据安全性、性
会计电算化的发展，促使企业提供更多的明细信息，因此，审计的工作重点在于检验企业会计明细信息的真实性以及审核进入外部网络的明细信息的安全性。企业内部形成的明细信息的真实性往往取决于企业会计电算化系统内部控制的有效程度，而审计人员的主要工作将是证实从数据库存取信息的性。对于进入外部网络的明细信息，必须通过对整个系统的网络进行安全控制，以保障此信息的安全性。
（四）审计软件应能实现诸多功能
未来审计软件应具有以下功能：能够与会计电算化系统链接，实现直接通过会计电算化系统中的接口程序取数；能够减少审计人员的工作量，尽可能让计算机代替人工的大量抄抄写写和计算，使审计人员的工作精力集中到职业性强的事务处理上去，如抽样检查底稿中的部分项目（凭证号、科目、金额等）交由计算机审计软件自动取数生成；审计软件应能自动完成某些审计工作底稿的整理功能；审计软件应有扩充功能，应能对审计事务进行管理，如审计日程的安排、工时的计算、底稿管理、审计收费管理等。总之，未来审计软件如果具有了上述功能，实现审计无纸化将不再只是一个梦想。
数据处理论文:高职院校《物联网数据处理技术》课程建设的探索与实践
【摘 要】目前物联网教学研究在高职院校，也已经成为一个研究热点。如何能制定出适合高职院校的物联网课程教学体系，已经成为业内亟待解决的一个热点问题。本文以我校一门物联网核心课程的建设经验，探索了高职院校物联网课程建设的一般方法和规律。
【关键词】高职；物联网；课程建设
0 引言
目前，it业界和学术界一致认为，物联网技术将带来世界信息产业发展的第三次浪潮，国家“十二五”规划也已明确提出将物联网产业作为新兴战略产业。无论是在企业界、工程界还是在学术界，物联网研究和应用都受到了前所未有的重视，面对如此良好的发展契机，作为全国的首批示范性高职，我校对该领域的发展也非常重视，并已开始筹建物联网专业。物联网专业相关的的课程建设，是专业建设的一个重要基础，是培养合格的物联网专业人才的一个必备条件，因此物联网课程的建设就成了一个极其迫切的任务和亟待完成工作。本文以我校物联网专业的核心课程《物联网数据处理技术》为落脚点，探索适用于高职的物联网课程建设方案，对于其他同类的课程的建设也有一定的借鉴意义。
1 课程建设的知识点涵盖与难点
1.1 课程建设涵盖的技术领域
物联网是通过新一代的it技术（如rfid射频识别技术、zigbee技术、云计算技术等）将传感器装备或者嵌入到全球各行各业的物体中，通过相互之间的链接形成“物联网”，然后通过云计算技术和超级计算机对收集到的海量数据进行处理和分析，达到对物体智能化管理和控制的目的。
物联网中的个体通过感应器来感知信息，然后通过中间传输网来传送信息，在数据处理中心进行智能处理和控制。随着物联网技术的广泛应用，我们将面对大量异构的、混杂的、不完整的物联网数据。在物联网的万千终端收集到这些数据后，如何对它们进行处理、分析和使用成为物联网应用的关键[1]。
因此，物联网信息数据处理涉及到物联网通信数据结构、zigbee协议算法设计和实现、ipv6技术、中间件技术、后台数据库技术、数据挖掘技术和云计算与海计算技术。而就这些的技术相关的课程有《计算机网络及ipv6技术》、《数据结构》、《数据库》、《算法设计》和《面向对象的编程技术》。其中我系开设的《物联网通信技术》课程就可以解决ipv6技术的问题，在该课教学中不再重复。
1.2 课程建设的难点
考虑到该门课程涉及的技术领域，我们将讲授物联网通信数据结构、zigbee协议算法原理与实现、z-stack原理和实验部分，以及部分物联网中间件技术和云计算技术的相关内容。与四年制普通本科院校相比，要涉及这些内容所开设的课程有《数据结构和算法》、《面向对象的编程技术》、《中间件技术》、《传感器信息融合云与计算技术》，由此可见需要开设的科目多而且内容理论性很高。特别是《中间件技术》、《传感器信息融合与云计算技术》这两门课，均是大量的理论推导计算，通常在本科高年级或者研究生阶段才讲授。由于我们的同学在校学习只有两年，该课程将在大二第二学期开设，很多同学的知识也仅限于模电数电c语言，如果大量的讲授抽象的中间件技术、传感器信息融合与云计算技术，很多同学会很难听懂。同时高职学生的培养特点是加强他们应用和实践的能力，所以大量讲解理论的效果会是事倍功半[2-3]。
2 课程建设的具体实施过程
结合我系对物联网专业学生的培养定位和学时分配，在充分考虑考虑课程技术内容和重难点的基础上，我们课程的重点放在数据结构和算法编程实践上，让学生在实践中学习，在编程中理解一些基本的数据处理方法和物联网数据结构，做到实践中有理论，理论和实践相结合。在pc端的编程，我们采用dev++的编译环境，侧重于常用数据结构的编程与理解，这部分内容是课程学习的基础，占到总课时的35%。在嵌入式和物联网的技术方面，我们的技术落脚点选择在了z-stack上。借助于z-stack物联网实验平台，学生可以学习到物联网技术领域中常用的数据处理技术，同时有了数据结构的基础之后，就可以对z-stack协议栈中的算法实现和数据结构有更深的理解。该部分的内容占到总课时的35%。对于云计算和中间件技术，我们在课程中主要是以概念介绍和学生调研、小组汇报的方式进行学习，该部分的内容占到总课时的10%。我们针对课程开发了一个物联网的实训项目，主要以智能家居为切入点，技术内
容涉及到上位机使用、数据存储、物联网节点和协调器的调试和网关的设置，该课程的内容占到总课时的20%。该项目对前面的内容进行总结和具体实现，突出学生在做中学，弱化纯原理性的学习，突出实践性和学生对数据处理内容体验。
3 效果与结语
考虑到高职学生在校学习该课程在国内目前缺少相关的教材，我们在整合和相关技术内容后，完成该课程素材、ppt以及程序实现部分。与此同时，我们引导学生积极查阅图文资料，并借助于互联网络来积累项目素材和问题的解决方案。在教材编写的过程中，我们积极利用现有的实验平台和多媒体技术，同时在课程建设过程中让学生也参与进来，多听取他们的学习感受，在及时轮教学实践中取得了良好的效果。同时我们在课余时间积极鼓励学生多学习、多思考，并带领他们到物联网企业了解实践，把所学的技术直接应用到实际的开发中去，不断加强专业本领，为将来就业打下坚实基础。
数据处理论文:数据处理技术与环境监测论文
1监测数据集标准化处理
1．1监测任务名称的标准化处理
以目前的全国业务化海洋环境监测任务为基础，对上报的监测任务进行标准化命名，如海洋生物多样监测、海洋大气监测，对不同填报的名称进行标准化处理。
1．2组织单位名称的标准化处理
各地上报的组织单位比较混乱，有的上报了监测机构名称，有的上报了其隶属的行政部门名称，不利于监测任务的考核。根据国家海洋环境监测工作任务以及各海区年度海洋环境监测工作方案，目前组织单位主要包括国家海洋局局属单位、3个分局、11个沿海省（自治区、直辖市）海洋行政管理部门和5个计划单列市海洋行政管理部门，如国家海洋环境监测中心、国家海洋局北海分局、辽宁省海洋与渔业厅、大连市海洋与渔业局，对不同填报的组织单位进行标准化处理。
1．3监测区域名称的标准化处理
由于各地方上报的监测区域不够规范，且很难表现出更多的区域信息，同时考虑到区域统计分析，因此需对监测区域进行规范化命名。监测区域命名结构为：沿海地区／海区＋沿海城市／特定区域＋名称，其中沿海地区／自然海区和名称字段不能省略，沿海城市／特定区域字段若无可以省略。如，辽宁葫芦岛赤潮监控区，广东近岸、福建厦门近岸、东海近海及远海，对不同填报的监测区域名称进行标准化处理。
1．4监测要素名称的标准化处理
每个监测任务里包含了不同的监测要素，且不同的任务可能会监测相同的要素，因此需对监测要素进行规范命名，以便对相同的要素进行统一分析、数据量统计等。以目前的业务化海洋环境监测要素为基础，对上报的监测要素进行标准化命名，如水文气象、海水水质、沉积物质量、浮游植物和浮游动物等，对不同填报的监测要素进行标准化处理。
1．5监测参数及单位的标准化处理
由于每个监测要素需要监测不同的监测参数，如海水水质需要监测化学需氧量、氨氮和溶解氧等。而每个监测参数的名称在写法上有不同的形式，如化学需氧量也可写为COD，氨氮也可写为氨－氮或NH4－N等，给数据的统计、评价带来一定的不便，因此有必要规范不同监测参数的名称。另外，每个监测要素的单位也需统一规范。如重金属的锌元素，有的上报其参数单位为mg／L，有的上报为μg／L。在数据统一进入标准数据库时，需将单位统一。参照国际标准、国内海洋环境监测调查规范以及各地监测机构的填报习惯等，针对不同的监测任务和监测要素，对每个监测参数的名称及计量单位进行标准化处理。
1．6站位基础信息的数据类型标准化处理
监测数据的类型包括数值型、字符型、布尔型和百分比等。对站位基础信息如站位编号、经纬度、监测日期、水深和层号等的数据类型进行规范。（1）站位编号。上报的站位编号大部分为字符型，但也有站位编号为1、2、3等，为数据库的统一管理，需统一转换为字符型。站位编号不规范主要有以下几个方面：①站位编号英文大小写不一致；②监测机构各自命名；③在站位编号上加“临”“平行样”和“空白样”等字样。参照目前海洋环境监测站位编号规则，由任务编号、海区编号、类别编号和站位序号顺次排列组成。对站位进行统一编号。对于历史站位编号的确认，可通过核查相关的监测数据、核实年度监测方案、联系地方监测机构等方式，将站位编号统一。（2）站位的经、纬度。上报的经纬度有两种形式：一个是小数形式，另一个是度分秒形式。为便于计算机的计算方便，目前统一为小数形式。由于经纬度的小数位数不一致，会导致部分空间定位有细微的差别。结合监测任务计划和实际监测情况，统一经纬度的有效位数，目前保留到小数点后6位。（3）监测日期。上报的监测日期格式不一致，主要形式为：“2011－08－20”“2011／8／20”、或为时间型等。现统一其形式为“2011－8－20”，年份：填满4位；监测月份：1—12，月信息小于10，前位无需补零。注意检查，监测年份是否为该年度；月份是否大于12；日期是否在该月的自然日以内。（4）采样深度与层号。部分地方监测机构在该填报“层号”的地方填写了采样深度，同时层号不统一，有的为中文———“表层”“中层”“底层”；有的为英文———“S”“M”“B”。《海洋监测规范》中对水深和相应的采样层次进行了规范。对层号，统一用英文表示。其中：表层为S；底层为B；若只有一个中层用M表示，若为多个中层，则分别用M1、M2、M3等顺延表示。另需检查层号与层深的匹配情况，若层号为S（表层），则采样深度应小于或等于2m；层号为B（底层），则采样深度大于3m。部分填报机构填写层号时，出现表层填写“B”和底层填写为“D”的现象，可能是按“表层”和“底层”的首拼音字母填写造成的。
1．7监测参数不规范类型的处理
监测参数的不规范类型问题，主要应注意以下几点。（1）大于号、小于号。某些监测参数如重金属、大肠杆菌数等，其监测参数值上报中含有大于号或小于号。此类数据通常不影响其评价等级的判定，但会影响该类参数较大值、最小值、均值等统计的结果。可研究该参数的理化性质并联系地方监测机构，确认该参数的具体值大小。其缺省解决方法是删除大于号、小于号，以便该参数的统计及评价。（2）未、无、“－”等字样。结合年度监测任务，联系地方监测机构，确认该监测参数是未被监测，还是低于检出限。未监测用空值表示；低于检出限用“未检出”表示。（3）空格及其他无效字符。上报的监测数据中常含有空格及其他无效字符，使得计算机在识别、归类等过程中出现异常。可核查监测数据的内容和性质，确认为无效字符后，对数据值前、后含有的空格或其他无效字符进行删除处理。对经纬度空缺，可核查相关的原始上报数据集和年度监测工作方案，或联系地方监测机构；对层号空缺，可根据水深判断，或联系地方监测机构补缺；对某些监测参数值空缺，可结合年度监测任务，联系地方监测机构，确认该监测参数是未被监测，还是低于检出限，再根据判断结果给出规范填写。
2监测数据的齐全性检验
海洋环境监测数据的齐全性检验，是以海洋环境监测方案为依据，检查监测方案中规定的监测数据是否全部上报完整。首先对国家海洋环境监测工作任务以及各海区年度海洋环境监测工作方案进行分析，对监测工作方案进行信息解析，按空间维度、指标维度和时间维度对监测任务进行细化，空间维度包括监测站位、监测区域、管辖区域等，指标维度包括监测参数、监测要素等，时间维度包括监测时间等。其中监测站位、监测参数、监测时间是空间维度、指标维度和时间维度的最小单元，通过对最小单元的数据量统计，可获得其上一统计单元的数据情况。因此对海洋环境监测方案的解析按监测站位、监测参数和监测时间3个方面进行分解。对照监测方案，检查接收的数据是否存在区域、站位或频次等有空缺监测的情况。记录缺失的原因：可能由于某些缘故未能进行监测、地方调整了监测方案或地方漏报。仔细核查年度监测任务计划，联系地方监测机构确认。
3站位基础信息数据质量控制
3．1空间位置检验
空间位置检验主要针对调查单位在站位信息汇总过程中可能出现的录入错误。将调查站位经纬度转换为十进制的单位后，通过利用GIS生成站位图的方式检查站位落点所在位置，看其是否落在规定的监测区域，对于断面上的调查站位，还要检查其是否明显偏离断面沿线。同时还需检查“相同的站位编号，经纬度不同”和“不同的站位编号，经纬度相同”等数据空间位置精度的问题。对于该类问题，可通过核查相关的监测数据、核对年度监测任务、联系监测机构确认等方法，予以更正。
3．2站位基础信息一致性的检测
根据站位基础信息一致性检验方法，即监测区域、站位编号、站位经纬度、监测日期等基础信息决定一条数据记录，根据不同的监测任务和监测要素，分析站位基础信息一致性是否符合。针对站位编号和经纬度不一致的情况，从空间位置检验是否合理，并核实监测方案进行解决。针对监测日期相同且站位编号相同等情况，判断两条记录的监测参数值是否一致，若一致则认为是重复记录；若不一致，可认为是平行样记录，并进一步核实。
3．3数据记录重复的处理
海洋环境监测数据的上报过程中存在很多重复的数据记录，产生这种重复记录的主要有如下原因。（1）地方上报数据时，重复上报了监测数据集，如8月份上报了5月份和8月份两份数据；年底将全年的监测数据再次上报。（2）不同监测机构报送的重复数据，如属于上下两级监测机构（省、计划单列市）重复报送。（3）地方监测机构监测人员填写报表时，将某些记录重复填写。（4）地方监测机构监测人员填写报表时，将平行样的数据填写。（5）数据集合并时，将曾经合并过的数据集再次合并。对于重复的记录数据，在建立环境监测数据库中应做剔除处理。
3．4平行样的处理
平行样数据只作为监测数据质量保障的辅助，在实际统计、评价和监测数据时需区别对待。一般来说，只有少数站位上报的数据是平行样。为了数据量统计、环境质量评价等的需要，对于平行样的记录数据，可将监测参数值进行求平均处理。
4监测参数数据质量控制
4．1值域一致性检验
在海洋环境监测中，每个监测参数有其对应的经验值域范围，通过值域检测规则对填报的监测数据按不同监测要素分别对每个监测参数值进行检验，对于超出值域范围的值，需进一步分析该区域其他站位、其他频次、周边站位的参数值情况，并结合监测任务性质以及超出值域比例，从而判断该参数值的性。
4．2逻辑一致性检验
某些监测参数间存在一定的逻辑关系，即监测参数与监测参数间存在某种相关关系，有些关系具有一定的规律性，根据逻辑一致性检验方法，对于不符合逻辑一致性的监测数据记录，应进一步同监测机构进行核实。
4．3数据输出
对文件进行批量检验处理，对于检验结果，给出合理且足够详细的错误提示，并保存质检日志，使得数据便于修改。为了区别一个数据是否进行了质检、是否通过质检，以及了解质检的情况，需要对质检过后数据增加一个质量控制符号，简称质量符。综合参考“国标GB／T12460－2006海洋数据应用记录格式”以及“908海洋化学标准记录格式”等质量符格式。其中，“908海洋化学标准记录格式”中质量符2表示可疑倾向正确，3表示可疑倾向错误，本研究将这两者综合考虑，记为可疑；另外，“908海洋化学标准记录格式”中质量符8表示痕量，由于与“未检出”有一定的重叠，因此本研究只采用“未检出”。表1给出海洋环境监测数据的质量符及说明。一般来说，数值型的监测参数数据，对其质量检验出有问题的只能作为“可疑”处理，不宜随意修改或删除。除非经过专家经验检验，并经监测单位核实，可明确其为错误的，其质量符方可标注为“4”。对于监测站位基础信息，如监测日期、站位编号、经纬度、层号等，检验出有问题的，可根据检验情况，标注其质量符为“4”或“3”等。按步骤完成监测数据处理流程后，可分年度或季度对处理的文件形成数据处理报告，并制作经标准化处理和质量控制后的标准数据集。
5结束语
目前，全国业务化海洋环境监测数据逐年积累，但监测数据的处理尚未有一个通用的、规范化的处理技术流程，给监测数据的处理带来一定的困难。本研究从海洋环境监测数据管理的角度，以各监测机构上报的海洋环境监测数据为对象，研究了监测数据集的处理技术流程及方法体系。这一处理技术流程及方法体系的推广将会，进一步规范监测数据的业务化处理流程，大大提高监测数据的处理效率和水平，为海洋环境保护信息化持续健康发展提供高质量的数据保障。
作者：路文海 向先全 杨翼 付瑞全 单位：中国海洋大学 国家海洋信息中心
数据处理论文:税务数据处理系统设计论文
我国税务系统信息化经过将近二十年的建设与完善，逐步实现税务系统数据大集中，解决好数据传输、数据安全和数据储存等问题，为增加数据的透明度、整合数据、查询数据和分析数据提供基础，促进税务征管的精细化和科学化，虽现已初具规模，并且积累了大量的经验和成果，但是同样也存在数据沉积、分散建设在基层，使得信息孤立，难以规范统一、难以监控实时等很多矛盾和问题。所以，我国提出税务系统数据处理的总体建设规划。如何实现税务系统数据一体化建设的实施呢？做以下三个方面的分析：
一、HA技术的建立
何为HA技术呢？HA技术其实就是为了保障在错误管理和操作、系统故障、正常情况下的软硬件维修所引起的一场失败时，正常的税务系统数据不受影响，尽可能降低停机几率，确保系统的可用性的一种新技术。HA技术的类型包括HP9000MC/SG集群和Sybase’sFailoverHA技术。HP9000MC/SG集群是一组把HP服务器由网络连接，同时经硬件和软件共同实现冗余，以致避免因为单节点的连接失败致使整个系统瘫痪。其优点就是能够克服单点故障，并且可以保障应用系统的正常工作，当其中一个或多个包的数据资源出现连接失败时，MC/SG软件就会自动把那个连接失败的应用包送到接群的其他节点上。Sybase’sFailoverHA技术有两大功能，一个是数据库失败返回功能，另一个是数据库失败恢复功能。Sybase’sFailover由两台或两台以上的机器组成，每一台机器都是HA集群的节点，每两台上的两个AS相互成为彼此的备节点胡主节点，通常情况下，AS只执行自己的应用，互相是伙伴关系。但是当某一个节点因为机器本身或者AS问题以致不能启动数据库服务时，另一个节点自动启动数据库服务，这就称为失败恢复过程；当那个连接失败的节点恢复连接后，服务由另一个节点返回到那个恢复连接的节点上，这个过程叫做失败返回。
二、J2EE框架平台的系统设计
J2EE的全称为Java2PlatformEnterpriseEdition，是一种分布式应用开发的技术框架。J2EE整合了DAS<税务数据处理平台>、XMLBeans,Hibernate,Spring框架等关键技术与一身，结合税务系统技术整体规划和数据储备要求，阐述了J2EE框架平台在税务系统数据处理应用中的特点和优势。通过J2EE提供的统一开发平台，大大的降低了开发多层框架应用的成本费用，并且还有力支持了现有的应用程序，增添了目录支持，使安全机制增强了提高了税务系统的性能。DAS采用粗粒度设计模式，结合税务数据信息资源建立总体的框架结构，支持DAS对非单一数据接口协议或技术的采集，使得纳税人能够自主选择渠道接入DAS来完成业务办理，很大程度上方便了纳税人。在现实的技术上DAS采用了成熟的多层体系结构，使税务系统平台更易于维修保养和拓展，即可以适应未来税务数据随着业务变化而加快适应的要求，又可以完成当前的业务需求。XMLBeans的作用是处理和访问XML文档和数据，是用Java技术处理和访问XML文档和数据技术的突破性技术。XMLBeans能够让操作者面向对象的立场来处理饿对待XML文档和数据，而且还能够忠于此XML数据所对应的Schema和XML结构。Hibemate是通过reflection机制把JavaBeans对象及其间关系完整的映射到关系型的数据库中，同时能够使开发人员脱离JDBC代码直接对JavaBeans的管理，包括CRUD的增加、更新、读取和删除操作。Hibernate的优势还不止于此，还有其出色的管理功能。经过Hibernate完整的封装，其能够轻松的解决锁机制、事务操作、延迟加载和数据缓存等等问题。尤其，Hibernate还是个免费的开源项目，很实用。但其缺点是不支持数据库中的一部分高级功能。Spring框架是个开源框架，框架的主要优点就是它的分层结构，有七个定义完好的模块构成，以致允许操作者选择哪个组件使用，而且为J2EE程序的开发提供了集成框架。
三、面向对象系统技术的应用
犹豫考虑到数据本身具有多态性、分类性、继承性等特征那个和处理数据软件的可维护性和复用等要求，适时开发优势数据处理软件——面向对象技术。该技术着眼于现在放眼于未来，大大的减少了物理和人力的浪费。结合税务的实际情况应认真思考以下因素：
首先，应该充分分析软件的完整性和系统性，税务数据的应用范围光、内容多，内容包含着纳税人的税种登记、申申报缴纳，资产负债、利润损益以及基本信息情况等等，再确定软件处理整体。应用于纳税评估、征管分析、经济政策分析、行业分析、区域分析、进出口统计和经济统计等等；税务系统数据的应用用户比较多，涉及各级税务机关，同样也涉及到我国国家统计机构和经济决策机构；充分考虑到软件功能的开放性、完整性和建设税务系统数据信息化的长远性。
其次，应该考虑税务系统数据处理软件的代码、功能、分析、设计、测试和软件的复用性。能够保持代码、功能、分析、设计、测试信息的独立性、完整性和课移植性，必然也可以为此后的研发工作节约时间和节省财力，好的解决问题的方法就是运用面向对象技术。
再次，随着时代的发展和进步，税务业务范围不可避免的会扩大延展，采用开放式的思路，不影响其他部分的实现，从而获得较大的收益。
，税务系统数据的分类，数据庞大而又复杂，但是税务数据具有分类性，经济行业具有系统分类，能够分成几个父行业，每个父行业可以有若干个子行业，而每个子行业又能有几个孙行业。其中，子行业在持其特立独行的方面外往往还继承父行业具有的特性，对于某个方面和程度分析来说，子行业不应穷举全部经济算法和指标，应继承其父类的相同点，尽其所能减少重复，冗余。
面向对象技术具有对象性、分类性、信息隐蔽性、继承性和多态性特征。面向对象技术在程序设计方面有很大的优势。面向对象技术强调从客观事物发来认识构造系统和问题域，这样就使得系统能够更加的对问题域做出反应。从税务系统数据出发，寻找有关规律才能做出合理出色的软件。进行该技术的开发，有益于人类思维能力的开发，并且能够有效的控制税务系统的复杂性，是软件更加有效，更加完善。研发始终都要贯穿对象概念，使每个开发阶段的税务系统成分都具有良好的对应。不难看出，税务系统数据的很多特性都十分面向对象技术的工作范畴，若处理方法和软件工程上采用面向对象技术，必然可以得到良好的效果。
综上所述，税务机关数据系统建设发展迅速，税务系统数据的途径和来源愈来愈多，数据处理显然已渗透到工作的点点滴滴，如何运用一种高效的方法技术来处理这些海量的税务信息数据，并且得出有效的结果，俨然已经成为税务机关的重中之重。无论是建立HA技术的数据处理中心，J2EE框架下的数据处理平台还是应用面向对象技术数据处理软件，都是有效，系统，处理庞大繁杂的税务数据的强大手段，大大的提高税务机关的工作效率和工作质量。由此，我们也能够充分从技术改革中看到时代的进步和经济的发展使技术得到前所未有的飞跃，使得各行各业从中获益，在这个良好的框架中，因为尽较大限度的降低了系统内部的消耗，因此使得软件系统设计和硬件系统设计的性能和操作更好的协调发挥作用，与此同时也降低了整个系统的运营成本和建设成本。
数据处理论文:数据处理下通信设备论文
1状态检修系统中的关键
状态检修是以状态评价为前提，并结合设备分析诊断结果等因素加以考虑，然后做出时间及项目安排的一种主动检修方式。传统的检修方法只能反映检修时设备的状态，比较片面。而状态检修则是对整个过程的监测。某供电公司根据状态检修方式设计的信息通信设备系统状态检修流程图，如图1所示，包括了基本信息、巡视数据、在线监测系统等诸多内容，与传统的检修方式比自然更加科学，但同时也带来了新的问题，例如如何有效处理海量数据、如何将处理后得到的设备数据用于状态评价服务等。为解决这两个关键点，在此建立相适应的数据处理模型和评价模型，并对其可行性加以验证。假设状态检修周期是一个月，计算周期是24小时。
2数据处理模型分析
针对不同的设备，评价标准也各有差异。为反映设备的运行状态，评价标准中含有多项指标，均有专家系统为其打出的分值。在此将指标主要分为两大类，一是连续变化型，二是开关型。
2.1面积法
先将周期内采集的所有数据转换为面积数据，将其作为评价模型的输入。此方法主要用于连续变化型指标的处理。通过在线监测系统将监测数据生成统计曲线，可反映指在特定阶段内的运行状况；而后挑选设备的一个指标，将其评价标准与相应的统计曲线置于同一个坐标系中，以方便观察分析。评价标准会将曲线划分为两部分，只考虑能够表示设备超标运行的异常面积。面积越大、异常时间越久，表明设备超标越严重，则评价时给的分数就低；相反，超标越轻，得分越多。可根据实际运行的异常面积在较大异常面积占的比重衡量设备指标的异常程度。通常需要考虑两种情况，即当某一指标有且只有一条评判标准线和某一指标有多条评判标准线。此外，设备在实际工作时，随着时间的变动，电力系统负荷也在起伏变动。这必然会影响到信息通信系统中的数据流量，所以就同一个指标而言，在其不同的运行阶段，应制定相适应的标准。标准变化的幅值与时间区间可参考电力系统负荷曲线、系统运行经验以及各通信设备运行特点而具体确定。须注意的是，在求面积时，还应观察设备指标是否长时间运行在规定的较高告警线上方。并根据实际情况设计一个合理的值，一旦超过此值，必须提出紧急告警，并予以相应的处理。
2.2统计方法
适用于开关型指标。该方法具有离散性，所以不适宜采用曲线模型处理，可借助概率统计的方法加以处理。即将周期内采集的数据信息转换为概率，作为评价模型的输入。同时规定采集结果为真时，其值为1，否则为0。该方法有两个步骤，先求取参考值，然后确定处理结果。
3评价模型
3.1阈值型评分模型
主要适用于给定正常运行边界或者是极限运行范围的指标，其中，i表示设定的指标运行边界或者是指标极限运行条件；ki（i=0，1）表示设备每种状态下的应扣除的分数。
3.2曲线型评分模型
主要适用在指标偏离基准越大扣分越多的情况。本文选择指数函数作为评分模型，基本模式如下：y=ax－1该模型输入x为连续变化型数据处理的结果S或者是开关型指标为0的状态量的个数。在实际计算中，指标类型不同，确定底数a的方式也不同。4.3逻辑与型评分模型主要适用于某一指标由若干状态共同决定的情况，其基本模型如下：x=x1∩x2∩…xi∩…∩xn其中，布尔值1代表状态良好；布尔值0表示故障；xi代表评分对象中第i个状态的布尔值；ki（i=0，1）代表建议设备每种状态下的应扣除分数。最终评分方法则分为三个步骤，先筛选，确保筛选后的数据包含有分值和时间；再判断，加以处理。
4模型可行性的验证
采用的是自2012年05月20日到2012年06月20日的CPU利用率数据。已知评价标准为设备CPU平均利用率高于60%的部分越限越多扣越多，严重故障警戒为90%，该指标满分5分。经过对所有指标模型的实际校验，本文提出模型均符合现有实际系统，能够满足信息和通信系统状态检修的基本要求。但必须经过长期实际运行检验，不断修正参数和完善模型，最终才能达到更加符合实际、更加的评价效果。
5结语
信息通信设备的意义不言而喻，为保障其能够正常运行，必须做好检修工作。针对目前状态检修面临的困难，即数据处理和状态评价，在此以数学建模的方法予以解决。
作者：郭兴 单位：国网福建长汀县供电有限公司
