引论：我们为您整理了13篇数据挖掘技术分析论文范文，供您借鉴以丰富您的创作。它们是您写作时的宝贵资源，期望它们能够激发您的创作灵感，让您的文章更具深度。
篇1
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
篇2
随着数字信息化社会的飞速发展，计算机技术和数据库管理系统被广泛应用于科学探索、商业、金融业、电子商务、企业生产等各种行业，已逐渐发展成为一种智能管理过程。数据挖掘作为一种新兴的数据分析技术，它的研究成果取得了令人瞩目的成就[1]。利用数据库技术，通过对教务管理的大量数据进行多层次、多维度的加工处理，从而实现人性化管理，为科学决策提供支持。
毕业论文在教学体系中占有十分重要的位置，是本科生培养计划中衡量教学质量的重要指标。提高毕业论文教学质量是一项系统工程，为研究在当前的教学条件下如何提高毕业论文教学质量，本文采用数据挖掘技术对影响毕业论文成绩管理的多方面因素进行了深入分析和挖掘，以期发现对学校毕业论文教学管理有用的知识，将这些知识应用于本科学生毕业论文教学实践中，为学校管理者提供有用的信息，进而获得更好的管理效益，为学校未来的发展提供更广阔的空间，发挥重要的作用。
1 数据挖掘简介
数据挖掘（Data Mining），又称数据库中的知识发现（Knowledge discovery in Database. KDD）[2]，是通过分析每一个具体数据，从大量的、有噪声的、模糊的、随机的海量数据中寻找其规律的技术，它是数据库研究中的一个很有应用价值的新领域。
1.1 数据挖掘的定义
H包含如下功能：
综上所述，数据挖掘具有三大特点：其一是处理大型数据；其二应用数据挖掘的目的是发现未知的、有意义的模式或规律；其三是一个对大量数据处理的过程，有特定的步骤[3]。
1.2 数据挖掘的主要方法
数据挖掘是一个多学科交叉领域，它由人工智能、机器学习的方法起步，并与统计分析方法、模糊数学和可视化技术相融合，以数据库为研究对象，围绕面对应用，为决策者提供服务。
数据挖掘的方法主要可分为六大类：统计分析方法、归纳学习方法、仿生物技术、可视化技术、聚类方法和模糊数学方法。归纳学习法是目前重点研究的方向，本文根据给定的训练样本数据集，采用归纳学习法中的决策树技术构造分类模型，将事例分类成不同的类别。
2 决策树算法基本理论
2.1 决策树方法介绍
决策树[4]方法是以事例学习为基础的归纳推算法，着眼于从一组无序的，无规则的事例中推断出类似条件下会得到什么值这类规则的方法，它是一种逼近离散值函数的方法，也可以看作一个布尔函数[5]。决策树归纳方法是目前许多数据挖掘商用系统的基础，可以应用于分析数据，同样也可以用来作预测。建模过程中，即树的生长过程是不断的把数据进行切分，采用“自顶向下，分而治之”的方法将问题的搜索空间划分为若干个互不交叉的子集，通常用来形成分类器和预测模型。如图1所示，为决策树的示意图。
决策树一种类似流程图的树形结构，是一种知识的表现形式。为了对未知样本进行分类，生成具体的分类规则，信息样本的各个属性值要在决策树上进行测试。主要分为两个阶段：在第一阶段中生成树。决策树最上面的节点为根节点，是整个决策树的开始，然后递归的进行数据分区，每次切分对应一个问题，也对应着一个节点；在第二阶段中对树进行修剪，此过程中去掉一些可能是噪音或异常的数据，防止决策树的过匹配，进而保证生成决策树的有效性和合理性。当一个节点中的所有数据都属于同一类别，或者没有属性可以再用于数据进行分割时，分割工作停止。具体的工作流程如图2所示。
2.2 C4.5算法
1986年Ross Quinlan首次提出了ID3决策树算法，它是最早的决策树算法之一。ID3算法运用信息熵理论，选择当前样本中具有信息增益值的属性作为测试属性，对样本的划分则依据测试属性的取值[6]。C4.5算法是在ID3算法基础上发展起来的，它继承了ID3算法的全部优点，并增加了新的功能改进了ID3算法中的不足，可以进行连续值属性处理并处理未知值的训练样本。在应用单机的决策树算法中，C4.5算法不仅分类准确而且执行速度快。
C4.5通过两个步骤来建立决策树：第一阶段树的生成，第二阶段树的剪枝。C4.5算法采用信息增益率来记录字段不同取值的选择，首先计算各个属性的信息增益率，寻找到规则信息的优劣，选出信息增益率最大的属性作为结点，自顶向下生成决策树。C4.5算法构造决策树的基本策略如下：
首先计算出给定样本所需的期望信息，设S为一个包含s个数据样本的集合，对于类别属性，可以取m个不同取值，分别对应于m个不同的类别[Ci（i∈1，2，...，m）]。假设类别[Ci]中的样本个数为[si]，期望信息为：
其中，[Pi]是任意样本属于[Ci]的概率，并用[sis]估计。
接着，计算当前样本集合所需用的信息熵，设一个属性A具有n个不同的值[（a1，a2，...an）]，利用属性A可以将集合S划分为n个子集[S1，S2，...Sn]，其中[Sj]包含了S集合中属性A取[aj]值的样本数据。如果属性A被选作测试属性，设[Sij]为[Sj]中属于[Ci]类别的样本集，根据A划分计算的熵为：
然后利用属性A对当前分支结点进行相应样本集合划分计算信息增益：
最后，求信息增益率，表达式为：
C4.5算法的伪代码如下：
输入：训练样本Samples；目标属性Target—attribute；候选属性的集合Attributes
输出：一棵决策树
1）创建根节点root；
2）If Samples都在同一类C Then；
3）返回label=类C的单结点树root；
4）If Attributes为空Then；
5）返回单结点树root，[label=Samples]中最普遍的Target-Atribute值；
6）Else；
7）For each测试属性列表Attributes中的属性；
8）IF测试属性是连续的Then；
9）对测试属性进行离散化处理，找出使其信息增益比率最大的分割阈值；
10）Else；
11）计算测试属性的信息增益比率；
20）添加子树Generate Tree C4.5；
21）对已建立的决策树计算每个结点的分类错误，进行剪枝，并返回根结点Root。
3 毕业论文成绩管理系统的设计和实现
利用数据挖掘技术对学生的成绩数据进行提炼，所产生的结果和信息会对以后的教学管理工作提供有用的信息，进而获得更好的管理效益。解决问题的重点在于怎样对学生的毕业论文成绩进行全面且深度的分析，从而挖掘出成绩与其他因素之间隐藏的内在联系。本文采用决策树技术挖掘信息时，主要操作步骤如下：
1）确定挖掘来源：清晰地定义挖掘对象，明确挖掘目标是数据挖掘所有工作中重要的一步。本文中应用于挖掘的数据信息是毕业生的毕业论文成绩，旨在通过对大量成绩数据进行各层次的挖掘，全面了解具体影响学生毕业论文成绩的各方面因素，正确的针对问题拟定分析过程。
2）获取相关知识：数据是挖掘知识最原始的资料，根据确定的数据分析对象，抽象出数据分析中所需要的特征信息模型。领域问题的数据收集完成之后，与目标信息相关的属性也随之确定。这些数据有些是可以直接获得的，有些则需要对学生进行调查才能的得到。
3）数据预处理：此过程中是对已收集的大量数据进行整合与检查。因为存放在数据库中的数据一般是不完整的、不一致的，通常还含有噪声的存在。因此就需要对数据库中数据进行清理、整理和归并，以提高挖掘过程的精度和性能。
4）数据转换：对预处理后的数据建立分析模型，对于特定的任务，需要选择合适的算法来建立一个准确的适合挖掘算法的分析模型。本文采用决策树技术进行分类建模来解决相应的问题。
5）分类挖掘知识和信息：此阶段的工作目的是根据系统最终要实现的功能和任务来确定挖掘的分类模型。选择合适的数据挖掘技术及算法，并采用恰当的程序设计语言来实现该算法，对净化和转换过得数据训练集进行挖掘，获得有价值的分析信息。
6）知识表示：将数据挖掘得到的分析信息进一步的解释和评价，生成可用的、正确的、可理解的分类规则呈现给管理者，应用于实践。
7）知识应用：将分析得到的规则应用到教学管理中，教师可以利用所得到的知识针对性的开展毕业设计的教学活动，进一步指导教学工作，提高教学水平和学生的毕业论文质量。
4 结论
最终发现影响学生毕业论文成绩主要的因素不是指导教师的职称，学生的基础及感兴趣程度，而是指导教师的学历高低。根据具体分类规则的结论，学校教学管理工作应加重对教师的素质及能力培养，合理的分配每个教师的毕业论文指导工作，不仅能够有效的完成毕业课题指导工作，更有助于学生整体论文质量的提高。
在高校教学数字化的时代趋势下，利用数据挖掘技术来挖掘提取教学工作中的全面而有价值信息，可以为教育管理者的教学工作提供有效的参考信息，改进教学管理方法，提高教学质量和学生的综合素质，是高校保持良好的可持续发展的有力工具。
参考文献：
[1] 刘玉文.数据挖掘在高校招生中的研究与应用[D].上海：上海师范大学，2008.
[2] 魏萍萍，王翠茹，王保义，张振兴.数据挖掘技术及其在高校教学系统中的应用[J].计算机工程，2003.29（11）：87-89.
[3] 刘林东. Web挖掘在考试系统中的应用[J].计算机应用研究，2005（2）：150-154.
篇3
一、数据挖掘和客户关系管理含义
数据挖掘技术（Data Mining可以简称为DM），简单来说，就是一种把隐藏在大型数据库或者数据仓库中所需要的有用信息提取出来的新技术，这是一个对数据库进行研究的非常有价值的领域。数据挖掘技术可以帮助用户从数据库中准确的提取出有用的商业信息，为用户在进行决策时提供重要的支持。
客户关系管理（Customer Relationship Management可以简称为CRM），也有人称之为“顾客关系管理”，关于客户关系管理的定义，目前有两种说法：一，最早的Gartner Group定义为一种商业策略，就是把客户进行分类，并依据分类情况来对企业的资源进行有效的组织，进而企业的业务流程实施以及经营活动都要以客户为核心来进行，以此来提高企业的盈利能力以及客户满意度，取得最大利润；二、是由CRMguru．com给出的定义，客户关系管理就是一个在企业的营销、销售以及服务的业务范围内，把企业现有的客户以及潜在客户，还有业务伙伴多渠道进行管理的过程，或者说技术。
二、数据挖掘在客户关系管理中的应用
随着社会经济的不断发展，市场竞争力也在逐步的增大，商家想要获得最好的利益，就必须对市场的变化迅速的做出反应，能够引起市场变化的重要因素就是客户需求的变化，也就是说，企业必须集中注意力，观察客户需求的每一变化，并把这些资料收集在一起，作为企业发展的宝贵资源进行管理。在企业管理客户信息的过程中，就需要应用到了数据挖掘技术。
数据挖掘技术在客户关系管理中的应用过程中，主要方法有：神经网络法、遗传算法、决策树法、粗糙决算法以及可视化技术、K—最近邻技术等，每个公司的客户关系不同、需求也不同，所以要用到的方法也不同。
数据挖掘技术主要应用于客户关系管理中的这几个方面：（1）挖掘新客户，数据挖掘技术可以对现有的客户信息和市场环境进行统计总结以及归纳，准确的确定潜在客户以及市场目标。因为数据挖掘技术具有统计、聚类和关联的作用，比如说，数据挖掘技术在数据库中发现了这样一个信息“某客户在购买A商品之后，过了一段时间又购买了B商品，最后还购买了C商品”那么数据挖掘技术就会通过次序关联，把这个信息形成“A—B—C”的行为模式。（2）可以保持优质客户。现在社会竞争相当激烈，企业客户更是企业发展的重要因素，优质客户对每个企业来说就更加的重要。数据挖掘技术可以对数据库中的流失客户信息进行分析，并且对流失客户的特征进行准确的描述，然后利用关联、近邻的方式对整个数据库中的消费客户信息进行分析，分析出容易流失的客户，随后就需要采取相应的措施来减少这些客户的流失，尤其是那些可能流失的优质客户，更要采取有力的措施来进行挽留。（3）可以提升客户价值。目前提升现有客户的价值的方式有两个：一是提供特色服务或者产品；二是销售新产品或者服务。想要准确的提升客户价值，就需要数据挖掘技术的帮助了，他可以把之前的客户信息研究分析，并依据新产品或者服务的特征，发现和客户的已购买产品之间的关联，因而准确的找到具有最大购买趋势的客户。
三、加强客户关系管理中数据挖掘的意义
应用数据挖掘技术对客户关系进行管理，可以有效的提高企业的核心竞争力，现代社会的激烈竞争，也就是对客户的竞争，数据挖掘技术对企业的客户关系进行详细的分析，并为企业提供有价值的商业信息，为企业的重大决策提供了重要的参考依据，进而有力的提高了企业的核心竞争力；可以有力的增强企业的执行力，利用信息技术对客户关系进行管理，降低成本，并简化执行任务，有效的实现了资源共享，大力的提高了企业的自动化水平，企业职工的执行能力也进一步得到了提高，也就是增强了企业的执行力[3]；可以为企业的下一步战略发展提供帮助，数据挖掘技术对现今的市场环境进行分析，可以预测到每个业务的发展状态，以及每个业务与发生过的商业行为之间的关系，有了这些信息，可以准确的制定企业未来的发展战略，并且可以制定与市场环境相适应的营销策略。
综上所述，目前数据挖掘技术是企业进行客户关系管理的最有效的工具，准确的掌握了客户信息，就是准确的把握了市场需求，可以为企业制定完全适应于市场的发展方向。数据挖掘技术的关键作用就是找出潜在客户，保留忠诚客户，并利用企业有限的资源，对这些客户提供最好的服务，促进企业的不断发展。
参考文献：
篇4
1数据挖掘技术概述
数据挖掘技术指的是在信息技术发展背景下，对信息数据展开处理的技术。与过去的信息处理技术相比，数据挖掘技术功能更加强大，可以应用在各个领域，无论是数据处理、数据转换还是数据分析，都能够完成相互之间的联系，并对数据进行最终评估。将数据挖掘技术应用在软件工程中，能够提高企业处理信息数据的效率，避免操作失误，保护企业数据准确[1]。
2数据挖掘技术在软件工程中的重要性分析
2.1高效整合多样化信息数据
由于数据挖掘技术的功能比较多，其中包含了传统处理技术的功能，实现多样化信息的收集与分类，并将数据按照类别存储与整理。数据挖掘技术可以在多样化数据中实现数据的系统化管理，为人们进行数据查阅工作带来方便。在软件工程中应用该技术，方便信息数据的高效整合，帮助企业全方位了解信息与数据[2]。
2.2保证信息数据的准确率
数据挖掘技术拥有强大数据运算功能，以往的数据信息系统运算数据时需要耗费大量时间与成本。如果信息数据体系庞大，系统运算时会面临瘫痪问题。在软件工程中，一旦系统发生瘫痪，系统将无法正常使用，数据也会受到破坏。应用数据挖掘技术之后可以有效解决以上问题，实现系统的优化，使系统可以在最短时间内处理数据，防止信息数据发生丢失现象，提高数据处理的时效性。面对大量的信息数据，有的数据得不到利用，但长期处于系统中会影响系统运行效率，应用数据挖掘技术可以将无价值的数据剔除，留下有用的信息数据，保证系统的运行效率和数据质量。
2.3缩短信息数据处理时间
在软件工程中应用数据挖掘技术可以分类处理杂乱无章的数据，实现数据的转换与调用。对数据进行深入挖掘处理时也可以应用数据挖掘技术进行数据的分类，并对模糊数据及时清理，提高系统内现存数据的实用价值。人们获取到的信息数据需要进行反复核对，以此保证数据真实性，通过数据挖掘技术的应用减少时间浪费，提高数据核对效率。
3数据挖掘技术在软件工程中的应用分析
3.1系统结构
数据挖掘技术应用流程主要分为三个阶段：数据预处理、数据挖掘、模式评估与知识表示。在数据预处理阶段中，高效得到原始数据的根本原因在于确定任务处理对象，得到符合软件工程需求的数据。通过数据清洗弥补原始数据存在的缺陷，确保数据的完整性。数据抽取需要从数据库中选择与软件工程任务相符合的信息。数据转换需要将数据格式加以转化，实现数据的适用性。在数据挖掘中需要制定一定的挖掘任务，通过对数据的分类与评价总结，合理应用运算方法进行数据推敲。在模式评估与知识表示中，其实际用途在于挖掘成功的表达，将兴趣度作为衡量标准，提高数据表达的识别能力。
针对软件工程中数据挖掘技术的优化应用，可以从系统结构方面入手，具体如下：（1）检测软件工程中的克隆代码。以软件工程为标准，将一部分代码复制，结合实际情况更改一部分代码，并对这些代码进行检测，代码检测与更改可以同时进行，能有效提高检测效率，实现系统的维护工作。当前应用数据挖掘技术进行克隆代码检测的方式一共有四种，具体为比较标识符、对比文本、检测系统程序结构与度量圈。在实际操作中，要求人们结合实际情况选择相应的克隆代码检测方法。（2）数据信息挖掘法。这是以横切关注点为主的挖掘方法，在软件工程中应用该方法可以改造系统，对数据信息达到良好的处理效果[3]。
3.2软件管理
为了让数据挖掘技术更好地应用在软件工程中，需要从软件管理角度入手，采用以下两方面举措。一方面，深入挖掘数据的组织关系，另一方面，挖掘版本控制信息。软件工程系统比较繁琐，挖掘组织关系时较为困难，人们需要合理调配各项信息，以此作为挖掘的依据。如果以软件工程管理流程作为主题，对电子邮件与共享文件展开组织关系挖掘，可以有效避免系统流程发生混乱，保护软件管理的秩序。当信息数据发生变化时，应用数据挖掘技术进行软件管理，将版本控制作为重要依据，将数据挖掘技术与版本控制相联系，降低系统运行成本，并达到警示的效果，提高软件工程的管理水平。
3.3软件开发
在软件工程初期阶段，人们将数据挖掘技术看成数据库，随着技术的发展，软件工程发展到现实应用，系统和现实共同发展。软件工程将各项指标与要求紧密结合，研发出最新产品，以往的软件工程中软件开发十分困难，而如今应用数据挖掘技术，可以将其与数据库相融合，发挥数据库内信息的最大价值，有效推动软件开发的进步。不仅如此，软件工程可以对信息进行更深层次的挖掘，充分发挥软件工程的价值，利用数据挖掘技术实现数据的更新，保证软件开发质量，优化软件操作流程。在技术的支持下，人们可以合理划分软件内部，方便及时发现问题，并展开积极有效的问题处理。利用数据挖掘技术可以进行网站设计，对网站内容进行挖掘，特别是对文本内容的挖掘，随后整合网站信息，通过自动归类技术实现信息的层次性组织。在软件或网站管理中，应用数据挖掘技术可以根据用户对网站的访问记录，进行记录信息挖掘，从中了解用户对该网站内容的兴趣，进而对用户提供信息推送服务和定制服务，以此吸引更多用户访问该网站。
在软件开发阶段，可以使用DataAnalytics轻量级业务数据可视化分析平台，这是数据挖掘技术的一项成果。该平台能够实现异构数据源的高效整合，可以兼容各种数据源类型，支持海量数据。可接入Excel/CSV等数据文件、企业各种业务系统、第三方互联网数据、公共数据服务平台等来源，轻松整合所有相关业务数据，帮助企业消灭数据孤岛。企业利用该平台可以完成数据的深度交互分析，DataAnalytics基于探索式分析，支持智能推荐图形与图表，二者可以协同过滤，帮助用户快速定位，通过数据挖掘找出问题，以拖拽式操作方法解决问题。
3.4聚类
在数据挖掘技术中聚类指的是对各个环节数据加以分析，结合软件工程的具体要求实现数据细化，以类型细化作为基础，为原始数据类型做出保障。通过聚类可以让同种类型数据具有相似性特点，在存在相似性的同时，也存在一定的差异，突出各自的特点。应用数据挖掘技术实现聚类划分时，面对的对象无法预测，与其他算法相比，聚类拥有更加广泛的应用范围，进行数据分析时更加独特，挖掘信息数据时可以确保检测结果的有效性与真实性。
4结论
总而言之，随着信息技术的深入发展，人们已经步入信息时代，数据挖掘技术也成为对信息数据展开处理和存储的有效方式。在软件工程中应用数据挖掘技术，有利于提高软件开发效率，提升软件管理质量，加强数据挖掘力度，使数据挖掘技术发挥巨大效果，人们可以应用数据挖掘技术完成数据的聚类和网站设计，为人们的生活带来便利。
软件工程硕士论文参考文献：
[1]张立鉴.数据挖掘技术在软件工程中的应用研究[J].网络安全技术与应用，2019（6）：47-48.
篇5
[3] J.M.Kleinberg. Authoritativesources in ahyperlinked environment. Proc.9th ACM-SIAM Symposium on Discrete Algorithms. 1998：668-677.
[4] 李晓明，刘建国.搜索引擎技术及趋势.大学图书馆学报，2000，（16）.
[5] 陈新中，李岩，谢永红，杨炳儒. Web挖掘研究.计算机工程与应用，2002_13.
[6] 刘军.基于Web结构挖掘的HITS算法研究.硕士学位论文.中南大学，2008.
[7] 刘悦.WWW上链接分析算法的若干研究：（博士学位论文）.北京：中国科学院，2003.
[8] A. Blum and T. Mitchell. Combining labeled and unlabeled data with Containing. In COLT：Proceedings of the Workshop on Computational Learning Theory.Morgan Kaufmann Publishers. 1998.
[9] Chakrabarti S， Gerg M， Dom B. Focused Crawling：A New Approach to Topic-Specific Web Resource Discovery. Computer Networks. 1999，31（11）：1623-1640.
[10] S. Brin and L. Page. The anatomy of a large-scale hypertextual Web search Engine. In seventh International World Wide Web Conference. Brisbane. Australia， 1998.
[11] Haveliwala T H. Topic-sensitive PageRank[C]. Proceedings of the Eleventh International Word Wide Web Conference. Hoho Lulu Hawaii，2002.
[12] 江裕明.基于超链接的Web结构挖掘算法的研究.硕士学位论文.西安电子科技大学，2006.1.
[13] Jiawei Han， Micheline Kamber. Data Mining： Concepts and Techniques. Morgan Kaufmann 2000.
[14] 刘芳芳.Web链接分析中HITS算法的研究.硕士学位论文.大连理工大学，2006.
[15] 李秋锐.基于蜜罐网络的邮件捕获系统分析与部署[J].信息网络安全，2012，（01）：64-67.
[16] 郎为民， 杨德鹏， 李虎生.智能电网WCSN安全体系架构研究[J].信息网络安全，2012，（04）：19-22.
基金项目：
篇6
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non – Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。与其他数据库应用相比，数据仓库更像一种过程，即对分散的业务数据进行整合、加工和分析的过程，而不是一种可以购买的产品。
数据仓库包括如下几个部分，如图1所示。
（1）原数据部分，数据提取、清洗、转换和装载（ETL）部分，以及中心数据仓库部分。经过这些环节，可以完成将数据从源数据装载到数据仓库中的过程。
（2）数据集市。根据部门的需要，可以从数据仓库中形成数据集市，以满足部门及数据分析的需要。
图1 数据仓库的体系结构
（3）数据访问和分析部分。在数据访问和分析的过程中，可以采用OLAP分析及数据挖掘技术进行分析，得出有关的分析结果。
2 数据分析技术
数据分析技术是建立在一定数据基础上，进行分析的方式和方法，通常包括：OLAP、数据挖掘、统计分析、联机挖掘等技术。需要说明的是，数据分析技术并不一定需要建立在数据仓库的基础上，但有了数据仓库之后，数据分析的效率和能力将大大提高。通过与数据分析技术的结合，才能发现许多前所未有的分析结果，并为管理者提供科学的决策依据。
2.1 OLAP（联机分析处理）
OLAP分析与数据仓库的关系非常紧密。数据仓库的建立，解决了依据主题进行数据存储的问题，提高了数据的存取速度，而OLAP分析构成了数据仓库的表现层，将数据仓库中的数据通过不同的维和指标，灵活的展现出来，提高数据的展现能力，进而提高数据的分析能力。
OLAP涉及以下术语：维度（Dimension）、量度（Measure）、级别（Level）、成员（Member）、多维数据集/立方体（Cube）、时间粒度（Time granularity）、星型结构/维度（Star schema）、雪花型结构/维度（Snowflake schema）。
OLAP对不同维度进行肉眼观察，并非运用更科学的概率论或其它数学工具去测度；而肉眼观察带有主观的“有色眼镜”，故缺乏科学客观的评判手段和方法。其次，当遇到维度过多、数据量过大的实际情况时，OLAP工作效率急剧下降。再次，若自变量和自变量之间存在的线性关系或交互作用，OLAP无法分辨“混杂因子”或找出主要影响因素。因此，OLAP无法完全满足在分析信息系统中最基本、最重要和最关键的要求：面对主题(商务需求)进行分析；而在实际信息处理中，OLAP无法实现分析的主题或任务，则需要数据分析或数据挖掘更强大的分析工具、技术来实现。计算机论文
2.2 数据挖掘
数据挖掘亦称为数据开采，它首先由W. J. Frawley、G. Piatesky-Shapiro等人提出。数据挖掘是一种数据分析工具，它从大量的、不完全的、有噪声的、模糊的、随机的数据中提取人们感兴趣的数据模式、数据的普遍关系及其隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识，提取的知识表示为概念(Concepts)、规则(Rules)、规律(Regularities)、模式(Patterns)等形式，其目的是帮助管理者寻找数据间潜在的关联，发现被忽略的要素，而这些信息对预测趋势和决策行为将起到一定的支持作用。
数据库中的数据挖掘是一个多步骤的处理过程，这些步骤有：
（1）数据定义阶段。主要了解相关领域的有关情况，熟悉背景知识，弄清楚用户决策分析对信息的要求。
（2）数据提取阶段。根据要求从数据库中提取相关的数据。
（3）数据预处理阶段。主要对前一阶段产生的数据进行再加工，检查数据的完整性及数据的一致性，对其中的噪音数据进行处理，对缺损的数据进行填补。
（4）数据挖掘阶段。主要是运用选定的知识发现算法，从数据中提取出用户所需要的知识，这些知识可以用一种特定的方式表示或使用一些常用的表示方式。
（5）知识评估阶段。将发现的知识以用户能了解的方式呈现，根据需要对知识发现过程中的某些处理阶段进行优化，直到满足要求。
2.3数据仓库、0LAP和数据挖掘之间的关系
在数据仓库化的决策支持系统中，应将数据仓库、OLAP、数据挖掘进行有机结合，其所担当的角色分别为：
（1）数据仓库用于数据的存储和组织，它从事务处理系统中抽取数据，并对其进行综合、集成与转换，提供面向全局的数据视图；OLAP致力于数据的分析；数据挖掘则专注于知识的自动发现。
（2）在数据仓库和OLAP、数据仓库和数据挖掘之间存在着单向支持的关系；在数据挖掘与OLAP之间，存在双向联系，即数据挖掘为OLAP提供分析的模式，OLAP对数据挖掘的结果进行验证，并给予适当的引导。三者关系如图2所示。
图2 数据仓库、OLAP、数据挖掘的关系
3、数据仓库技术及在人力资源系统的设计
人力资源系统的数据量大，但相对分散，统计功能不足，利用率低。为了更好的发挥其数据的功能，提出人力资源数据仓库系统的设计。该系统主要由ETL系统、OLAP系统、客户端组件系统三部分组成，其整体框架如图3所示。
图3 人力资源数据仓库系统框架图
ETL系统负责定期的从OLTP系统中将业务数据库的数据导入数据仓库，在导入过程中会依据OLAP系统中模式设计的要求对数据进行清洗和转换，以符合数据仓库的结构要求。
OLAP系统由三部分组成：OLAP引擎、OLAP数据展示模块和元数据管理模块。OLAP引擎负责读入数据仓库中的数据，并根据模式定义构建多维数据集，使数据以多维格式展示。OLAP数据展示模块负责将多维数据集展现为一个联机分析处理（OLAP）页面，用户可以在页面上执行典型的联机分析处理导航操作，如上卷、下钻和旋转等。元数据管理模块负责对模式设计文件进行管理。
客户端组件系统负责访问用户的登录验证，并根据访问用户的访问权限提供对应的数据展现。
4、结束语
本文阐述了数据仓库、OLAP、数据挖掘的概念，并对OLAP和数据挖掘技术进行了探讨。并在此基础上，提出了人力资源数据仓库系统的设计方案。数据仓库已经成为现代信息领域的必不可少的基础设施之一，我们应该使用好数据仓库，使之成为迎接挑战的有力武器。
参考文献
[1] W. H. Inmon 数据仓库[M] 机械工业出版社 2003
[2] 王珊等 数据仓库技术与联机分析处理[M] 科学出版社 1998
篇7
在高校教育领域，就当前阶段数据挖掘还是一种较新的技术。如何在高校的学生成绩管理中合理的利用数据挖掘技术，对存放了大量学生的信息的数据库中的数据进行挖掘处理，从而提取出可以对教师的教和学生的学都起到积极促进作用的关键性规律，获得更加良好的教学效果是我们目前高校的教育工作者面临的一大急需解决的有价值的问题。随着数据挖掘技术的成熟，它的应用领域也在不断的扩展，被关注程度也不断提高，很多高校已经投入大量的人力物力在这项研究工作上，并逐渐的将其研究成果应用于日常的教学及管理工作中。比如，将其应用在学生信息的管理、学生的各门课的成绩分析和考试系统、教育教学的评估工作等，这些应用都将对提高高校的教学和管理水平等各方面都起到十分显著的的指导作用[1]。
1 当前很多高校学生的成绩管理面临的问题
目前大部分高校教务管理系统是采用联机的事务处理系统对学生成绩进行管理，成绩数据只能简单地存储于数据库中，而对数据的处理也停留在单纯的数据查询和插入修改等功能上，仅有的对成绩的分析可能也只是求总和、平均值、均方差和合格率等之类的统计。教务管理系统中的数据单纯的保存了相关数据信息而没有能够挖掘出这些数据背后所隐藏的可能有用信息――例如学生每门课程取得的成绩的可能原因、每门课程的诸多知识点之间以及课程和课程之间的联系。庞大的数据库里数据和数据之间存在着很多的关联，我们如何充分利用这些数据关联，为高校教育教学决策者提供一定的决策依据，从而科学的指导教学，提高高校的教学及管理水平，进一步提高办学效益和水平，是目前高校需要去面对和解决的问题。
2 利用数据挖掘技术管理学生成绩
数据挖掘技术就是从大量的、有噪声的、不完全的、随机的、模糊的应用数据中来提取隐藏在其中的潜在并且十分有用的信息过程[2]。利用数据挖掘对存储在高校成绩数据库中的学生成绩数据信息进行全面的深层次的分析和挖掘，达到全面地分析成绩数据的优劣及产生原因、各种因素之间隐含的内在联系的目的。挖掘分析这些数据所隐藏的有用信息，找到对指导教师教学和学生学习有用的知识，帮助高校管理者对未来高校的发展进步的决策。由此可见，数据挖掘技术一定会在教师提高教学质量、学生增加学习效率和学校强化管理水平等方面起到至关重要的引导作用[3]。
第一，使用计算机对高校学生成绩进行信息管理相对于传统管理方法有着十分明显优势：在现代的互联网时代，信息的管理早已经超越传统概念，使用计算机存储量大且成本低，可以长久保存，同时对信息的检索更迅速也更方便，结果的可靠性也是传统管理方法不可比拟的，这些也正是高校管理正规化和教育单位的科学化所必需的。
第二，学生成绩管理系统对于任何一个教育单位来说都是一个不可或缺的组成部分。它对于高校的管理者的办学思路的抉择来说是至关重要的。高校的成绩管理系统不仅应该做到为用户提供方便快捷的查询手段还用改能够提供充分的信息量以满足不同用户的不同查询需求。学生可以通过这个系统方便的查找自己到各门课的考试成绩及其他的教学相关信息；教师也能够通过系统提供的查询和分析工具非常准确的掌握学生的成绩变化，及时获取教学效果反馈信息，改进教学方式方法等；对高校的管理者来说，运用了最新的数据挖掘技术的学生成绩管理系统也可以让他们更及时快捷的从海量的数据中找到有用的信息，从而为不断提高高校的办学质量和管理水平提供保障。
3 学生成绩管理系统的设计
3.1数据挖掘的过程
数据挖掘是一个多阶段的复杂过程，如图1所示直接数据目标数据净化数据数据源知识数据选择清理与集成数据转换数据挖掘模式评价数据预处理数据挖掘解释和评价。
主要分为以下六个主要步骤[4]：
1）确定数据源。数据源的确立是整个系统的基础，是挖掘结果准确的保证。对学生成绩信息进行数据挖掘时，面向对象是各类不同的学生，例如教务处要挖掘的信息是面向全校学生的成绩，从而掌握全校学生的学习情况，而每个系所要掌握的学生的学习情况是针对本系的学生来说的，所以要挖掘的对象也只是每个系学生的成绩信息。他们面向对象和数据挖掘的目的都是不同的；
2）选定模型。为所挖掘的问题选择恰当的数据挖掘方法，并且针对该挖掘方法选择几种或是一种的算法。选择何种算法将直接影响挖掘信息的质量；
3）采集数据。这个阶段在整个开发过程中将会占用开发者大部分的工作量和时间。因为开发者需要收集在以往的教学实践中的数据信息，这些信息中，有些数据他们可以以直接的方式获得，而有些数据可能需要对学生以问卷调查等形式获得。
4）数据预处理。开发者在这一步需要将收集到的大量的不同的数据预处理，使其为一个分析数据模型；数据预处理是数据挖掘很重要的一步，数据只有经过预处理才能提高挖掘对象的质量；
5）数据挖掘。算法在这一步得到具体的实现，开发者将对经过预处理的数据信息进行挖掘；
6）解释和评价。分析和验证上一步的挖掘结果，并从中找到有价值的信息，将其集成到教师的教学环节和学生的学习环节中去，使教师和学生可利用所得信息改进教和学的策略，指导学生进一步更好的学习。
3.2数据挖掘的方法
在实际应用中需要根据对信息的实际需求选择恰当的挖掘算法。通过对几种常用的数据挖掘方法进行比较和分析，本文选择了以下两种适合的算法：关联分析方法以及决策树分类方法。
1）关联分析
利用关联分析对数据进行挖掘的目的就是挖掘出隐含在数据之间的关系。首先给定一组或一个记录的集合，然后，通过分析此记录集合从而推导出信息之间的相关性[5]。一个适用于关联规则的最有说服力的例子就是“90%客户在购买黄油和面包的同时也会选择购买牛奶”，即：规则“购买黄油和面包也会同时购买牛奶”的信息可信度高达90%。在大型的数据库系统中，类似的关联规则会产生很多，因此需要开发者进行筛选。一般来说，我们会采用 “可信度”和“支持度”这两个闽值去淘汰一些没有太多实际意义的规则。
关联规则算法主要有以下两个步骤：第一步要求开发者查找出所有的频繁项集。频繁项集就是指其支持度大于或是等于最小支持度的那些项目集。第二步是指由频繁项集所产生的强关联规则，即所产生的以上规则一定要满足最小置信度和最小支持度[6]。
在实际教学中应用关联分析的数据挖掘方法对学生成绩信息进行分析和处理，研究课程的开设先后关系以及各门课程的成绩相关性，分析的结果将对一些课程的教与学提供很多有用的信息，使高校的教学工作迈上一个新的台阶。
2）决策树算法对学生成绩的分析
决策树算法是以实例为基础的归纳学习算法，用来形成数据挖掘的预测模型和分类器，同时可以对大量未知数据进行预测或分类、数据的预处理以及数据挖掘等。通常包括两部分：树的生成和树的剪枝[7]。
使用决策树算法来提取分类规则时，规则使用以“if――then”的形式表示。决策树算法和其他算法相比具有以下的优势：处理速度较快；从结果上来说，分类准确率也更相近，算法更容易转换为SQL语句。
4 结论
利用数据挖掘技术进行高校学生的成绩、心理分析和德育评估、教学及管理决策、教学质量评估等，能够为学生、教师以及教学管理人员等用户提供相应的数据信息支持，对教务管理和教学过程有着极为重要的指导意义，同时也为高校教与学、管理与决策的服务提供了一种新的思路。
参考文献
[1]刘春阳，数据挖掘技术在高校成绩管理中的应用研究，学位论文大连交通大学，2009.
[2]J.Braehaan，T.Anand.The Proeess of Knowledge Diseovery in Databases.A Human一eentered APProaeh.1996：37-58.
[3]刘军.决策树分类算法的研究及其在教学分析中的应用[D].河海大学，2006.
[4]邓景毅.关联规则数据挖掘综述[J].电脑学习，2006(3)：2-3．
篇8
目前大部分高校教务管理系统是采用联机的事务处理系统对学生成绩进行管理，成绩数据只能简单地存储于数据库中，而对数据的处理也停留在单纯的数据查询和插入修改等功能上，仅有的对成绩的分析可能也只是求总和、平均值、均方差和合格率等之类的统计。教务管理系统中的数据单纯的保存了相关数据信息而没有能够挖掘出这些数据背后所隐藏的可能有用信息——例如学生每门课程取得的成绩的可能原因、每门课程的诸多知识点之间以及课程和课程之间的联系。庞大的数据库里数据和数据之间存在着很多的关联，我们如何充分利用这些数据关联，为高校教育教学决策者提供一定的决策依据，从而科学的指导教学，提高高校的教学及管理水平，进一步提高办学效益和水平，是目前高校需要去面对和解决的问题。
2 利用数据挖掘技术管理学生成绩
数据挖掘技术就是从大量的、有噪声的、不完全的、随机的、模糊的应用数据中来提取隐藏在其中的潜在并且十分有用的信息过程[2]。利用数据挖掘对存储在高校成绩数据库中的学生成绩数据信息进行全面的深层次的分析和挖掘，达到全面地分析成绩数据的优劣及产生原因、各种因素之间隐含的内在联系的目的。挖掘分析这些数据所隐藏的有用信息，找到对指导教师教学和学生学习有用的知识，帮助高校管理者对未来高校的发展进步的决策。由此可见，数据挖掘技术一定会在教师提高教学质量、学生增加学习效率和学校强化管理水平等方面起到至关重要的引导作用[3]。
第一，使用计算机对高校学生成绩进行信息管理相对于传统管理方法有着十分明显优势：在现代的互联网时代，信息的管理早已经超越传统概念，使用计算机存储量大且成本低，可以长久保存，同时对信息的检索更迅速也更方便，结果的可靠性也是传统管理方法不可比拟的，这些也正是高校管理正规化和教育单位的科学化所必需的。
第二，学生成绩管理系统对于任何一个教育单位来说都是一个不可或缺的组成部分。它对于高校的管理者的办学思路的抉择来说是至关重要的。高校的成绩管理系统不仅应该做到为用户提供方便快捷的查询手段还用改能够提供充分的信息量以满足不同用户的不同查询需求。学生可以通过这个系统方便的查找自己到各门课的考试成绩及其他的教学相关信息；教师也能够通过系统提供的查询和分析工具非常准确的掌握学生的成绩变化，及时获取教学效果反馈信息，改进教学方式方法等；对高校的管理者来说，运用了最新的数据挖掘技术的学生成绩管理系统也可以让他们更及时快捷的从海量的数据中找到有用的信息，从而为不断提高高校的办学质量和管理水平提供保障。
3 学生成绩管理系统的设计
3.1数据挖掘的过程
数据挖掘是一个多阶段的复杂过程，如图1所示直接数据目标数据净化数据数据源知识数据选择清理与集成数据转换数据挖掘模式评价数据预处理数据挖掘解释和评价。
主要分为以下六个主要步骤[4]：
1）确定数据源。数据源的确立是整个系统的基础，是挖掘结果准确的保证。对学生成绩信息进行数据挖掘时，面向对象是各类不同的学生，例如教务处要挖掘的信息是面向全校学生的成绩，从而掌握全校学生的学习情况，而每个系所要掌握的学生的学习情况是针对本系的学生来说的，所以要挖掘的对象也只是每个系学生的成绩信息。他们面向对象和数据挖掘的目的都是不同的；
2）选定模型。为所挖掘的问题选择恰当的数据挖掘方法，并且针对该挖掘方法选择几种或是一种的算法。选择何种算法将直接影响挖掘信息的质量；
3）采集数据。这个阶段在整个开发过程中将会占用开发者大部分的工作量和时间。因为开发者需要收集在以往的教学实践中的数据信息，这些信息中，有些数据他们可以以直接的方式获得，而有些数据可能需要对学生以问卷调查等形式获得。
4）数据预处理。开发者在这一步需要将收集到的大量的不同的数据预处理，使其为一个分析数据模型；数据预处理是数据挖掘很重要的一步，数据只有经过预处理才能提高挖掘对象的质量；
5）数据挖掘。算法在这一步得到具体的实现，开发者将对经过预处理的数据信息进行挖掘；
6）解释和评价。分析和验证上一步的挖掘结果，并从中找到有价值的信息，将其集成到教师的教学环节和学生的学习环节中去，使教师和学生可利用所得信息改进教和学的策略，指导学生进一步更好的学习。
3.2数据挖掘的方法
在实际应用中需要根据对信息的实际需求选择恰当的挖掘算法。通过对几种常用的数据挖掘方法进行比较和分析，本文选择了以下两种适合的算法：关联分析方法以及决策树分类方法。
1）关联分析
利用关联分析对数据进行挖掘的目的就是挖掘出隐含在数据之间的关系。首先给定一组或一个记录的集合，然后，通过分析此记录集合从而推导出信息之间的相关性[5]。一个适用于关联规则的最有说服力的例子就是“90%客户在购买黄油和面包的同时也会选择购买牛奶”，即：规则“购买黄油和面包也会同时购买牛奶”的信息可信度高达90%。在大型的数据库系统中，类似的关联规则会产生很多，因此需要开发者进行筛选。一般来说，我们会采用 “可信度”和“支持度”这两个闽值去淘汰一些没有太多实际意义的规则。
关联规则算法主要 有以下两个步骤：第一步要求开发者查找出所有的频繁项集。频繁项集就是指其支持度大于或是等于最小支持度的那些项目集。第二步是指由频繁项集所产生的强关联规则，即所产生的以上规则一定要满足最小置信度和最小支持度[6]。
在实际教学中应用关联分析的数据挖掘方法对学生成绩信息进行分析和处理，研究课程的开设先后关系以及各门课程的成绩相关性，分析的结果将对一些课程的教与学提供很多有用的信息，使高校的教学工作迈上一个新的台阶。
2）决策树算法对学生成绩的分析
决策树算法是以实例为基础的归纳学习算法，用来形成数据挖掘的预测模型和分类器，同时可以对大量未知数据进行预测或分类、数据的预处理以及数据挖掘等。通常包括两部分：树的生成和树的剪枝[7]。
使用决策树算法来提取分类规则时，规则使用以“if——then”的形式表示。决策树算法和其他算法相比具有以下的优势：处理速度较快；从结果上来说，分类准确率也更相近，算法更容易转换为SQL语句。
4 结论
利用数据挖掘技术进行高校学生的成绩、心理分析和德育评估、教学及管理决策、教学质量评估等，能够为学生、教师以及教学管理人员等用户提供相应的数据信息支持，对教务管理和教学过程有着极为重要的指导意义，同时也为高校教与学、管理与决策的服务提供了一种新的思路。
参考文献
[1]刘春阳，数据挖掘技术在高校成绩管理中的应用研究，学位论文大连交通大学，2009.
[2]J.Braehaan，T.Anand.The Proeess of Knowledge Diseovery in Databases.A Human一eentered APProaeh.1996：37-58.
[3]刘军.决策树分类算法的研究及其在教学分析中的应用[D].河海大学，2006.
[4]邓景毅.关联规则数据挖掘综述[J].电脑学习，2006(3)：2-3．
篇9
一、数据挖掘技术的概念
随着数据库技术和人工智能技术的不断进步，数据挖掘技术逐步发展起来，主要是指从大量的数据中发现和挖掘一些隐含的有价值的有用信息和知识，这些被提取的知识通常会表现为模式、规律、规则和概念，将数据挖掘的所有对象定义成数据库或者是文件系统以及其他的一些组织在一起的数据集合，当前数据挖掘技术已经逐渐被应用于了医药业、保险业、制造业、电信业、银行业、市场营销等不同的领域，随着计算技术、网络技术以及信息技术的不断进步，在故障诊断过程中所采集到的数据可以被广泛地存储在不同的数据库当中，如果依然采用传统的数据处理方法来对这些海量的信息数据进行分析处理，不仅会浪费大量的实践而且也很难挖掘到有效的信息数据，同时，尽管智能诊断以及专家系统等方式在故障的诊断过程中已经被得到了广泛的应用，但是这些方法却仍然存在着很多推理困难、知识瓶颈等一些尚未完全被解决的问题，采用数据挖掘技术就可以比较有效地来解决这些难题，在故障诊断的过程中发挥其独特的优势。从不同的角度进行分析，数据挖掘技术可以分为不同的方法，就目前的发展现状来看，常用的数据挖掘技术方法主要有遗传算法、粗集方法、神经网络方法以及决策树方法等。
二、数据挖掘技术在保护设备故障信息中的实现方法
1.基本原理。在设备出现故障时采用数据挖掘技术对设备进行一系列的故障诊断，也就是说根据这一设备的运行记录，对其运行的趋势进行预测，并对其可能存在的运行状态进行分类，故障诊断的实质就是一种模式识别方式，对机器设备的故障进行诊断的过程也就是该模式匹配和获取的过程。
2.对故障诊断的数据挖掘方法建模。针对机械故障的诊断来说，首先就应当获取一些关于本机组的一些运行参数，既要包括机器在正常运行以及平稳工作时的信息数据，也应当包括机器在出现故障时的一些信息数据，在现场的监控系统中往往就会存在着相应的正常工作状态下以及出现故障时的不同运行参数，而数据挖掘的任务就是从这些杂乱无章的信息样本库中找出其中所隐藏着的内在规律，并且从中提取各自故障的不同特征，在对故障的模式进行划分时，我们通常可以借助概率统计的方式，在对故障模式进行识别时可以采用较为成熟的关联规则理论，实现变量之间的关联关系，并最终得到分类所需要用到的一些规则，从而最终达到分类的目的，依据这些规则，就可以对一些新来的数据进行判断，而且可以准确地对故障进行分类，找出故障所产生的原因和解决故障的正确方法。
三、数据挖掘技术保护设备故障信息管理的基本功能
1.数据传输功能。数据挖掘技术保护设备故障信息管理与分析系统的主要数据来源就是故障信息的分站系统，而分站系统中的数据是各个子站的一个数据汇总，而保护设备故障信息管理与分析系统所采用的获取数据的主要方式就是一些专门的通信程序构建起系统与分站之间的联系，将分站上的一些汇总数据传输到故障信息系统的数据库中，分析系统所具有的数据传输功能，在进行数据的处理时又能做到不影响原先分站数据库的正常运行，并且具备抗干扰能力强、计算效率高的优点。
2.数据的分析功能。系统在正常运行时，会从故障信息子站或者是分站采集相关的数据并且对这些采集到的数据进行分析整理，最终得到有用的数据信息，利用数据挖掘技术对庞大的故障数据进行分析、分类以及整理，能够有效地找出有用的信息，归并一些冗余的信息，对信息进行有效地存储和分类。另外，数据挖掘技术还具有信息查询的功能，可以进行不同条件下的查询，例如按时间段、报告类型、设备型号以及单位等进行查询，实现查询后的备份转存等，根据故障信息系统所提供高的数据信息以及本系统库中所保存的一些整定阻抗值，可以通过逻辑判断生产继电保护动作的分析报告，主要包括对故障过程的简述、故障切除情况以及保护动作情况等，可以便于继电保护人员直观的对保护装置的动作情况进行分析。
四、结语
随着企业自动化程度的不断提高以及数据库技术的迅速发展，很多企业在一些重要的设备方面都安装了监测系统，对设备运行过程中的一些重要参数和数据进行采集，采用数据挖掘技术可以有效地解决设备故障诊断中的一些知识获取瓶颈，将数据挖掘系统充分应用到监控系统中，有效解决故障诊断中的一些困难，事实证明，将数据挖掘技术应用到故障诊断中是非常有效的，也是值得研究和学习的新型技术手段。
参考文献：
[1]李勋,龚庆武,杨群瑛,罗思需,李社勇.基于数据挖掘技术的保护设备故障信息管理与分析系统[j].电力自动化设备,2011,9
篇10
CRM是一种旨在改善企业与客户之间关系的新型管理方法。它是企业通过富有意义的交流和沟通,理解并影响客户行为,最终实现提高客户获取、客户保留、客户忠诚和客户创利的目的。它包括的主要内容有客户识别、客户关系的建立、客户保持、客户流失控制和客户挽留。通过客户关系管理能够提高企业销售收入，改善企业的服务，提高客户满意度，同时能提高员工的生产能力。
二、数据挖掘（DM）
数据挖掘(DataMining，简称DM)，简单的讲就是从大量数据中挖掘或抽取出知识。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感兴趣的知识，这些知识是隐讳的、事先未知的、潜在有用的信息。
常用的数据挖掘方法有：(1)关联分析。即从给定的数据集中发现频繁出现的项集模式知识。例如，某商场通过关联分析，可以找出若干个客户在本商场购买商品时，哪些商品被购置率较高，进而可以发现数据库中不同商品的联系，进而反映客户的购买习惯。(2)序列模式分析。它与关联分析相似，其目的也是为了控制挖掘出的数据间的联系。但序列模式分析的侧重点在于分析数据间的前后(因果)关系。例如，可以通过分析客户在购买A商品后，必定(或大部分情况下)随着购买B商品，来发现客户潜在的购买模式。(3)分类分析。是找出一组能够描述数据集合典型特征的模型，以便能够分类识别未知数据的归属或类别。例如，银行可以根据客户的债务水平、收入水平和工作情况，可对给定用户进行信用风险分析。(4)聚类分析。是从给定的数据集中搜索数据对象之间所存在的有价值联系。在商业上，聚类可以通过顾客数据将顾客信息分组，并对顾客的购买模式进行描述，找出他们的特征，制定针对性的营销方案。(5)孤立点分析。孤立点是数据库中与数据的一般模式不一致的数据对象，它可能是收集数据的设备出现故障、人为输入时的输入错误等。孤立点分析就是专门挖掘这些特殊信息的方法。例如，银行可以利用孤立点分析发现信用卡诈骗，电信部门可以利用孤立点分析发现电话盗用等。
三、数据挖掘在客户关系管理中的应用
1.进行客户分类
客户分类是将大量的客户分成不同的类别，在每一类别里的客户具有相似的属性，而不同类别里的客户的属性不同。数据挖掘可以帮助企业进行客户分类，针对不同类别的客户，提供个性化的服务来提高客户的满意度，提高现有客户的价值。细致而可行的客户分类对企业的经营策略有很大益处。例如，保险公司在长期的保险服务中，积累了很多的数据信息，包括对客户的服务历史、对客户的销售历史和收入，以及客户的人口统计学资料和生活方式等。保险公司必须将这些众多的信息资源综合起来，以便在数据库里建立起一个完整的客户背景。在客户背景信息中，大批客户可能在保险种类、保险年份和保险金额上具有极高的相似性，因而形成了具有共性的客户群体。经过数据挖掘的聚类分析，可以发现他们的共性，掌握他们的保险理念，提供有针对性的服务，提高保险公司的综合服务水平，并可以降低业务服务成本，取得更高的收益。
2.进行客户识别和保留
(1)在CRM中,首先应识别潜在客户,然后将他们转化为客户
这时可以采用DM中的分类方法。首先是通过对数据库中各数据进行分析，从而建立一个描述已知数据集类别或概念的模型，然后对每一个测试样本，用其已知的类别与学习所获模型的预测类别做比较，如果一个学习所获模型的准确率经测试被认可，就可以用这个模型对未来对象进行分类。例如，图书发行公司利用顾客邮件地址数据库，给潜在顾客发送用于促销的新书宣传册。该数据库内容有客户情况的描述，包括年龄、收入、职业、阅读偏好、订购习惯、购书资金、计划等属性的描述，顾客被分类为是或否会成为购买书籍的顾客。当新顾客的信息被输入到数据库中时，就对该新顾客的购买倾向进行分类，以决定是否给该顾客发送相应书籍的宣传手册。
(2)在客户保留中的应用
客户识别是获取新客户的过程，而客户保留则是留住老顾客、防止客户流失的过程。对企业来说，获取一个新顾客的成本要比保留一个老顾客的成本高。在保留客户的过程中，非常重要的一个工作就是要找出顾客流失的原因。例如，某专科学校的招生人数在逐渐减少，那么就要找出减少的原因，经过广泛的搜集信息，发现原因在于本学校对技能培训不够重视，学生只能学到书本知识，没有实际的技能，在就业市场上找工作很难。针对这种情况，学校应果断的抽取资金，购买先进的、有针对性的实验实训设备，同时修改教学计划，加大实验实训课时和考核力度，培训相关专业的教师。
(3)对客户忠诚度进行分析
客户的忠诚意味着客户不断地购买公司的产品或服务。数据挖掘在客户忠诚度分析中主要是对客户持久性、牢固性和稳定性进行分析。比如大型超市通过会员的消费信息，如最近一次消费、消费频率、消费金额三个指标对数据进行分析,可以预测出顾客忠诚度的变化，据此对价格、商品的种类以及销售策略加以调整和更新，以便留住老顾客，吸引新顾客。
(4)对客户盈利能力分析和预测
对于一个企业而言，如果不知道客户的价值，就很难做出合适的市场策略。不同的客户对于企业而言，其价值是不同的。研究表明，一个企业的80%的利润是由只占客户总数的20%的客户创造的，这部分客户就是有价值的优质客户。为了弄清谁才是有价值的客户，就需要按照客户的创利能力来划分客户，进而改进客户关系管理。数据挖掘技术可以用来分析和预测不同市场活动情况下客户盈利能力的变化，帮助企业制定合适的市场策略。商业银行一般会利用数据挖掘技术对客户的资料进行分析，找出对提高企业盈利能力最重要的客户，进而进行针对性的服务和营销。
篇11
一、数据挖掘概述
所谓的数据挖掘，具体指的就是在海量且模糊随机数据当中提取出隐含其中，同时具有潜在价值的信息与知识过程。将数据挖掘技术应用在教育教学当中，可以对海量数据予以深入挖掘与分析，进而获得数据当中所隐含的潜在信息内容，更好地为高校教育教学管理人员决策提供有力支持[1]。
二、高校教育教学管理中的数据挖掘技术应用
2.1在教学质量提升方面的应用
高等院校为了更好地提高教学管理的质量，教务管理部门会在学期期末测评学员领导与任课教师的教学思想、态度以及教学方法等，并且根据最终的评分结果来明确教师的教学质量。然而，受评价人员对标准理解以及把握程度的影响，学生评价仍存在随意性特征。
在这种情况下，导致评分结果很难对教学效果进行真实地反映，因而也影响了教学质量的评估。
但是，将数据挖掘技术应用在教学质量评估方面，通过对关联规则算法的合理运用，可以将教学质量评价当中的不同指标权重系数进行设定，并通过Apriori的算法来扫描数据集，在数据挖掘的作用下，获取学历、年龄以及职称三者之间存在的联系，同样也可以获得教学质量和方法的关系[2]。
为此，高校教务管理部门就可以将获得的规律应用在教学管理实践当中，合理地设置督学小组并制定出听课制度，将教学课堂教学的质量真实且客观地反映出来，实现高校教学水平的全面提升。
2.2课程体系结构的有效完善
高等院校教育体系当中的专业建设作用十分重要，所以，必须要具备高质量的课程体系结构设置。在对学生成绩数据库以及毕业生去向数据库等多种数据信息进行数据挖掘以后，可以通过对关联分析与序列模式的分析和探究，获得数据与数据间存在的相关性。
其中，课程间的关系和先后顺序亦或是课程和课程体系结构之间的关系等等。在此基础上，保证学习高级课程前事先学习先行课程。以计算机专业《数据结构》为例，在教学中将《C语言》作为重要的先行课程，以保证学生在学习《数据结构》内容的时候可以具备良好语言基础，更深入地理解并灵活地应用数据结构当中的算法。
而在完成《数据结构》学习以后，应根据学生就业走向和市场的实际需求来确定是否安排《JAVA语言程序设计》课程教学。这样一来，学生的学习成绩实现了有效地提高，更利于学生未来就业。除此之外，对内容重复的课程进行有效地压缩，将落后的课程内容适当地删除，与专业特点相结合。
由此可见，将数据挖掘技术应用在高校教学中，对于专业建设以及课程改革决策具有积极的作用。
三、网络教学中的数据挖掘技术应用
在网络教学中应用数据挖掘技术，可以从Web文件以及Web活动当中选择出用户较为感兴趣的有价值模式以及信息，这就是所谓的Web挖掘[3]。因为接受教育对象在多个方面都存在差异，具体表现在个人学习目标、学习能力与知识基础的差异等。为此，网络教学也必须要能够适应个性化的学习需求。可以把不同用户学习状况与轨迹详细记录并存放至数据库当中，通过对WEB挖掘技术的合理运用，在序列模式挖掘的作用下合理地分类文档，以保证学生信息检索速度的提高。
另外，也可以根据学生访问浏览的数据挖掘并分析，针对访问的数据展开聚类分析，以保证更好地了解学生感兴趣的内容，并为其推送相关内容。与此同时，可以在相关联的页面当中合理地设置超链接，对网站结构予以有效地改善，确保页面间的链接与用户访问的习惯更吻合。
结束语：
总而言之，在高校教育教学中合理地运用数据挖掘技术可以在大量数据信息当中处理并提取出更具价值的信息内容，促进高等院校教育教学管理工作的正常开展，特别是评估与决策方面，数据挖掘技术的作用更为明显。
除此之外，该技术也可以应用在网络教学当中，使得网络教学资源配置更加合理，在教育教学中充分发挥自身的效用。上文针对数据挖掘技术在高校教育教学中的实际应用展开了相关性地研究和分析，主要的目的就是为了更好地帮助高校进行决策，为学生提供更为理想的学习环境，在提高学生学习兴趣的基础上，增强高校教育教学的质量与效率。
参考文献
篇12
1方法
笔者所统计的文献数据全部来源于美国ISI的SCI网络版（SCIofWeb），以与文本挖掘相关的自由词textmining，Literaturemining，Knowledgediscoveryintext，Textdatamining和以生物医学相关的自由词Biomedicine，Systemsbiology，Medicine，Genomics，Proteomics，Metabolomics，Bioinformatics，Biology，TraditionalChineseMedicine对上述数据库进行主题词搜索。然后对下载的所有文献进行数据的筛选和清理后，最终选择纳入文献797篇。检索完成时间为2014年3月20日。
2结果
2.1年度发表量我们整理出来的2004～2013年生物医学领域文本挖掘文献总共有797篇，每年的发文数量从2004年的43篇到2013年的124篇，总体呈现增长趋势。
2.2国家/地区经统计，在所有797篇文章中总共有53个国家参与了文章的发表，遍及全世界五个大洲，但各个大洲的对该领域的研究极不平衡。虽然欧洲有着最高的发文总量，但是北美洲的美国却以最高发文量（289篇）位居全球国家排名的第一位，紧随其后的是英国（125）和中国（82）.
2.3高被引论文根据普赖斯定律[3]可以算出在纳入统计的文献中被引频次≥42的为高被引文献（注：Mp=42.21，Npmax=3177）。797篇文献中被引频次≥42的论文共79篇。高被引论文排名前3位的文章为。《SystematicandintegrativeanalysisoflargegenelistsusingDAVIDbioinformaticsresources》（被引3177次），《TheGeneOntologyAnnotation（GOA）Database：sharingknowledgeinUniprotwithGeneOntology》（366次）和《RegulonDB（version6.0）：generegulationmodelofEscherichiacoliK-12beyondtranscription，active（experimental）annotatedpromotersandTextpressonavigation》（274次）
2.4核心作者分析在生物医学领域文本挖掘研究的797篇文献中，共有2565位作者（包含所有合著者），根据普赖斯定律，核心作者最低发文数m的值为：。其中指发文最多的作者发表的论文数。本次研究中为23，故m取整数为4。作者论文4篇以上为80人，其发表的论文为468篇，占总论文量58.7%，高于总论文数的50%，说明在生物医学领域的文本挖掘研究已经形成了较为稳定的研究群体。
3结论
篇13
网络技术、数据库技术、软件工程方法等快速发展和改进，医院已经上线了门诊挂号系统、医学影像管理系统、病历档案管理系统、药房管理系统、病房管理系统等，这些系统保存了海量的病例信息[1]。
目前，医院在开展诊断、治疗过程中，已经开始实施精准化治疗模式，因此利用支持向量机、BP神经网络、遗传算法、K近邻算法等数据挖掘技术总结、分析病例中诊断治疗成功的信息显得尤为重要，已经成为医院信息化发展的趋势和方向[2]。
二、数据挖掘技术及应用分析
数据挖掘技术经过多年的研究和改进，已经提出了许多先进的算法，伴随着多媒体、云计算、互联网等技术的发展，数据挖技术已经在医疗卫生等多个领域取得了显著的应用，为人们提供了丰富的数据内容和有价值的信息。在医疗诊断、治疗过程中，医院已经在主治医师自动化推荐、医学图像识别分析等领域取得了显著的成效，开发了智能医疗专家系统、医院发展智能决策库系统等，归纳起来，医院诊疗过程中常用的数据挖掘算法主要包括支持向量机、K近邻算法、BP神经网络，利用这些算法可以从宏观、微观等多维度挖掘医院信息数据中潜在的有价值信息，指导医院开展诊疗工作和行政管理，具有重要的作用[3]。
2.1支持向量机
支持向量机是一种基于分类的大数据挖掘技术，该挖掘技术可以针对非线性、高维空间的样本数据实现挖掘分析，能够利用核函数等优化数据挖掘过程，从海量的医院信息数据中挖掘高价值信息，并且能够为医疗诊断提供病灶定位、图像识别等决策知识。支撑向量机可以与遗传算法、模糊数学、粒子群等思想集成在一起，实现算法优化，挖掘更多的信息知识。
2.2 BP神经网络
BP神经网络是一种自适应和自组织的大数据挖掘技术，其可以从海量数据中挖掘样本数据特征，把数据划分为多个类别，以便能够获取有价值的潜在信息。目前，BP神经网络数据已经具备数据分布式存储、并行处理和较强的容错能力等特点，并且具备非常强大的抗干扰能力。神经网络主要包括输入层、学习层和输出层，每一层都可以设置不同的权值，并且这些权值可以自适应调整，提高算法的自适应能力和优化能力。
2.3 K近邻算法
K近邻算法采用线性统计分类算法，已经数据挖掘算法中得到了广泛的普及，是一种非常成熟的算法。K近邻算法的思路如下：给定一个样本数据，计算该样本与K个样本相似程度，选择相似程度最大的一个类别，将该样本划分为这个类别中[4]。
三、数据挖掘在病例分析中的应用
数据挖掘在病例分析中的应用主要包括以下三个关键内容：
3.1基于病例分析结果为患者推荐医师
患者在就诊过程中，为了提高患者参与的积极性、主动性和精确性，利用数据挖掘构建一个模型，该模型可以录入患者的病历信息，然后模型自动与数据库保存的病例进行对比分析，寻找治疗措施最优的医师推荐给患者。
3.2构建智能病例信息专家库
医院在开展诊断、治疗业务时，难以避免误诊，误诊的原因很多，比如患者自身体质、患者隐瞒病史、医师判断不准确等，为了提高医院诊断、治疗的精准化，可以构建智能病例信息专家库，自动化的分析诊断失败、治疗不成功的原因，从而全面提升医院救治水平。
3.3构建远程会诊推荐系统
目前，医院通过互联网可以与上级医院、科研结构合作会诊，会诊过程中，利用数据挖掘技术可以更加清晰地识别核磁共振、CT等医学图像中的病灶部位，提高诊断的准确性，便于设计治疗方案。
四、结束语
随着医院信息化水平的提升，医院信息化系统运行积累的海量数据资源是一座非常宝贵的财富，与BP神经网络、遗传算法等先进的挖掘技术相整合，可以从中发掘潜在的指导救治知识，有利于提高医院科研、治疗水平，更好的救死扶伤，保护人们的生命健康。
参 考 文 献
[1] 陈晓琛. 医院病案信息系统的数据挖掘在医院中的重要意义[J]. 当代医学， 2014， 31（25）：8-9.
