引论:我们为您整理了13篇大数据平台解决方案范文,供您借鉴以丰富您的创作。它们是您写作时的宝贵资源,期望它们能够激发您的创作灵感,让您的文章更具深度。
篇1
电信数据平台承载着电信网中各类用户数据的收集过滤,存储聚合,分析挖掘等功能,为企业对于用户的各种决策提供一定数据支撑。同时,电信数据平台也通过收集相关的信令数据,监控电信网的实际运行情况,是企业的核心系统之一。
传统电信数据平台由数据仓库和关系型数据库构成。数据采集端收集各种信息,如用户状态,用户位置,终端日志,网络状态等一系列异构的数据信息,并统一汇总到数据仓库。数据仓库中存储有全量信息,通过运行各种ETL程序,将庞大的数据仓库的信息分门别类转移到例如Oracle,DB2,Sybase等各类关系型数据库的各个表中。数据分析人员一般通过类似于商业智能的平台,通过撰写SQL语句,提取关系型数据库中的有用数据,来简单的分析各类问题。传统的电信数据平台,具有集中式,造价昂贵,部署和运维复杂等特点。在相当长一段时期内,由于单位时间生成的数据规模没有显著增加,没有到达数据库的使用瓶颈,传统的电信数据平台可以较好的应对各种需求。但随着单位时间内,采集端生成的数据飞速膨胀,每天生成数十亿乃至上百亿的各类异构数据需要存储和分析,传统的电信数据平台逐渐暴露了其不足之处。
传统的电信数据平台组织方案有以下两个方面的不足需要改进。首先是对于海量数据存储和查询较为困难。中心型的关系型数据库难以承受较高的用户查询负载,并且关系型数据库的成本开销较为昂贵,并不支持简单的线性扩展,若采用数据库分库和分表等辅助手段,则整个数据平台的复杂性有较大提升并且难以维护,所以传统的电信数据平台不能应对海量数据的存储和查询。第二点不足是实时性不足。一般而言,数据在数据仓库构建就需要很长的数据,由数据仓库经ETL程序归并到各类数据库同样耗时巨大且有很多冗余的处理,同时批处理系统分析数据的延时在小时级别以上,随着越来越多数据采集端的部署,数据产生速度越来越快,规模越来越大,实时对数据进行分析,并把结果进行可视化,对于实时监控的需求越来越重要,传统的电信数据平台延时较大,不能够适应数据实时性的要求。
针对以上分析的不足,本文提出一种基于Lambda架构的电信数据平台解决方案。Lambda架构,是Nathan Marz提出的一个实时大数据处理框架,具备高吞吐量和低延时的特点。本文结合Lambda架构,阐述了新型电信数据平台的基本构成和各层的职责,同时也具体介绍了各层使用的互联网开源大数据项目,描述了整个工作流程和数据流向,体现了新型电信数据平台具备的高吞吐量,低延时,高容错性的特点,解决了传统电信数据平台难以应对海量数据存储和查询,以及不能实时分析的不足。为电信网各数据平台在新需求下的转型提供了一个良好的尝试。
2 相关技术介绍
2.1 Lambda架构
Lambda架构是由Nathan Marz提出的一种大数据处理架构,结合了批处理计算和实时计算的特点,融合了不可变性,读写分离和复杂性隔离等一系列架构原则,具备高容错、低延时和可扩展等特点。一般分为批处理层,服务层和速度层,如图1所示。
批处理层对全量数据进行迭代计算,全量数据可以认为是一个不可变的持续增长的数据集。批处理层对于全量数据进行批处理计算,得到批处理视图,存储到服务层。服务层可以根据查询条件,对批处理视图的结果进行再次合并等处理。批处理层通过定时的重复批处理视图的更新,可以保证数据的高容错性,但是计算时间一般较长,延时较大,适用于全局规模的分析和预计算。批处理层一般由大数据批处理框架来实现。
服务层的任务是对于用户查询提供支持。它根据查询条件,随机访问视图,组合批处理视图和实时视图的结果,最终反馈给用户。服务层一般由NoSql数据库实现,但是为了降低复杂性,不允许对视图结果进行随机写操作,仅提供对于批处理视图和实时视图的加载和随机读取操作。
速度层负责实时计算增量数据。由于批处理计算比较耗时,随时而来的实时增量数据等不到有效计算,通过引入速度层解决这一问题。速度层只处理最近的数据,采用快速,增量的算法,通过实时计算,维护较小规模的实时视图,是对批处理视图更新是较高延时的一种补充。同时,由于全量数据计算的准确性,允许批处理视图最终覆盖实时视图。速度层一般由消息系统随时拉取新增的数据,并通过实时流式计算框架完成实时视图的生成。
2.2 Hadoop
Hadoop是一个处理海量数据的分布式系统基础架构。Hadoop 2.0架构由HDFS,YARN和MapReduce构成。HDFS是Hadoop中的分布式文件系统,它将海量数据存储于DataNode中,由NameNode维护各DataNode的元数据信息。YARN是Hadoop中的资源管理系统,监控每个节点,并协调MapReduce任务的分配。MapReduce是Hadoop中分布式数据处理框架,它将数据处理分为两个阶段,即Map和Reduce两个阶段,提供批处理并行计算的框架。对于Map阶段,对输入数据应用Map Function,执行结果为Key和Value的元组,相同Key的元组通过执行Reduce Function进行合并,最终生成结果。Hadoop有很丰富的其他组件支持各种需求的分析,如Pig,Hive,Impala等,这些高级工具可以自动将高级原语翻译为MapReduce任务执行,有更好的使用体验。本文,Hadoop作为Lambda架构中批处理层实现,全量数据存储在HDFS上,应用MapReduce计算,生成批处理视图。
3 结束语
本文结合Nathan Marz提出的Lambda架构和电信数据的特点,提出了基于Lambda架构的电信数据平台解决方案。本方案既可以通过全量数据的定期迭代计算,离线分析电信网收集的相关数据,生成批量视图,同时也可以通过流式计算框架,对增量数据进行实时分析,生成增量视图。同时,将批量视图和增量视图聚合,一起组合为查询服务,使得平台既有实时系统的吞吐量,有具备离线系统的完备性。
参考文I
[1]Marz N,Warren J.Big Data:Principles and best practices of scalable realtime data systems[M].Manning,2015.
[2]Chaudhri A B."Next Gen Hadoop:Gather around the campfire and I will tell you a good YARN"[J].
篇2
在IBM看来,Power平台是构建大数据应用的一把“利器”。“大数据是一个跨行业的需求,不仅在互联网公司,传统企业客户,像金融、政府、电信等行业也有非常多的有关大数据的应用。” IBM大中华区副总裁及系统与科技部Power Systems总经理侯淼表示,“Power平台所具有的大内存、大Cache、多线程等技术特征,使之非常符合大数据的应用需求。”
数据仓库、数据挖掘、业务数据库,这些都是Power平台传统的优势领域。在IBM系统与科技部大中华区Power Systems产品总监李红看来,这些既有优势为Power平台在大数据领域的应用奠定了基础。
“首先,大数据应用需要与既有系统进行平滑、无缝的连接和交互。在此基础上,Power平台可以拓展新的需求,例如开源的非结构化数据、流数据的分析等,都可以集成到新的需求中去。在这个过程中,传统方案需要和新方案实现很好的整合,Power平台的价值进一步得到体现。此外,软件生态系统至关重要,对软件以及并发处理等场景的广泛支持(包括DB2、GPFS等)使基于Power的解决方案具备更多优势。”李红告诉记者。
面向数据类型的解决方案
多样性是大数据的一个典型特征,在IBM看来,面向不同大数据类型,大数据应用可分为静态批量大数据处理、实时大数据处理、数据仓库整合、数据集市构建四类,IBM面向这四类应用都有专门的解决方案。“以数据仓库应用为基础,发展出了新的大数据应用场景和需求,例如静态数据的批处理、流数据的实时分析等。 IBM的思路是提供整合的解决方案,帮助用户最终获得完整的数据价值。”李红表示。
在静态大数据解决方案中,Power可支持Open Hadoop、 BigInsights、 Symphony 等大数据解决方案,并能够与传统数据仓库系统无缝集成。李红解释说:“Symphony专门面向计算密集型大数据应用,BigInsight在Hadoop框架上增加了安全管理、工作流等特性,并融入了IBM独特的数据分析、机器学习和文本数据分析挖掘等技术。”
篇3
许多人一提到大数据,首先想到的是复杂的数据分析。这让有些希望采用大数据分析工具的用户产生了畏难情绪,也让有些用户产生了误解,认为大数据分析只是那些拥有复杂业务流程和海量数据的大企业的事。市场研究机构麦肯锡的研究人员表示:“要创造新的重大价值,并不一定要采用复杂的大数据分析方法,有时只要能保证数据的可用性或对数据应用进行基本的分析,就能获得所需的重要价值。”
不同的企业或一个企业内部不同的部门对数据分析和数据价值的理解都不相同。企业处于不同的信息化发展阶段,也会设定不同的数据分析目标,采用不同的数据分析工具。正是基于此,戴尔率先提出了大数据成熟度模型。戴尔公司全球企业级解决方案副总裁Cheryl Cook表示:“这一模型已经得到了业内许多分析机构的认可。所有行业以及所有数据应用都适用于此模型。”
如下图所示,大数据成熟度模型分成五个阶段。第一个阶段,数据处于混乱状态,数据存储无章可循,数据难以访问,企业的信息系统处于高风险状态。第二个阶段,实现数据的保留。在这个阶段,企业被动地对数据进行存储。数据虽然经过一定的处理,但还不具有高质量,数据的访问也会受到一定限制。第三个阶段,实现存储的优化。在这个阶段,通过对存储系统的进一步优化以及基于策略的控制与管理,用户可以逐步发现数据的价值。第四个阶段,实现简单的分析。在存储优化的基础上,用户可以进行数据建模和简单的数据分析,对归档数据进行搜索等。第五个阶段,实现复杂的分析。在这个阶段,大数据分析工具将得到充分应用,用户可以进行比较复杂的建模、分析和决策。经过上述五个阶段,曾经杂乱无章的数据也将经历从数据到信息再到知识的转变过程,最终成为企业决策的重要依据。
这个大数据成熟度模型可以解答人们对于大数据应用的几个疑惑。第一,用户使用大数据分析工具,并不意味着一定要进行复杂的分析。举例来说,处于存储优化阶段的用户就可以实现无障碍的数据访问,并能获得所需的数据价值。第二,大数据的应用要经历一个逐步完善的过程,必须循序渐进,先做好数据存储和优化,然后再进行数据分析。第三,大数据解决方案通常包括两个部分:一是大数据保留解决方案,二是大数据分析解决方案。将两类解决方案有机地结合在一起,才能有效降低大数据分析应用的成本,更好地挖掘数据的价值。Cheryl Cook表示,戴尔可以提供上述两种解决方案。一方面,戴尔可以提供针对结构化和非结构化数据的大数据保留解决方案,主要包括存储虚拟化与整合、应用程序优化、数据保护、灾难恢复以及数据保留与管理解决方案;另一方面,戴尔还能提供支持Hadoop、Cloudera等开源软件的大数据分析解决方案。
记者曾与包括大庆油田、太平洋保险公司等在内的一些用户进行过交流。它们目前都没有计划部署大数据应用。“从全球范围来看,大数据应用还处于起步阶段。”戴尔亚太及日本地区商用事业部企业解决方案副总裁Philip A. Davis表示,“与云计算兴起时一样,可能要经过两三年的市场培育,用户才能逐渐接受大数据应用。”
中国东方航空股份有限公司信息部总经理严振红介绍说:“在大数据的概念出现以前,我们就在做客户数据、经营数据的分析工作。但是客户数据库、经营数据库等都是相互独立的,数据不能共享。现在,我们要做的是将这些系统的数据整合起来,统一进行分析。”
Hadoop不是万能的
简单来说,Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最独特的优势在于为用户提供了一个分布式的、高容错的文件系统和加速数据处理的办法。随着Web 2.0、社交网站的大规模兴起,人们需要一个高效的处理非结构化数据的平台。Hadoop正好可以满足人们的需求。有些人甚至在Hadoop和大数据之间划上了等号。Hadoop能够解决大数据应用的所有难题吗?
“Hadoop是一个复杂的工具套件。如果没有厂商或专业技术人员的帮助,用户自己部署Hadoop是一件十分困难的事。目前,Hadoop的应用并不普及。互联网用户是最早采用Hadoop平台的。”Philip A.Davis表示,“如果想让大数据解决方案充分发挥其作用,就必须搭建一个高效的信息基础架构,实现信息基础架构的自动化、智能化,同时提高其可管理性。”
Hadoop的应用是有一定技术门槛的。如今,许多IT厂商都推出了基于Hadoop的解决方案包,其目的是帮助用户简化Hadoop的部署与应用。Philip A.Davis表示:“戴尔提供的基于Hadoop的大数据分析方案可以将Hadoop的部署周期从原来的两个月缩短至两天。”
VMware全球高级副总裁范承工也认为,由于缺少精通Hadoop技术的专业人才,Hadoop的部署对于用户来说是一件费时费力的事。如今,VMware可以将Hadoop部署在虚拟化架构之上,将部署工作从半自动化变为全自动化,从而减少了人工干预,使得Hadoop的部署变得更加简单,也不容易出错。
“很多中国企业的CIO认为,大数据解决方案是有价值的,但实施起来确实有许多困难。”戴尔全球副总裁、中国区大型企业及公共事业部总经理容永康举例说,“国内懂得在Hadoop上进行开发的专业技术人员非常少。一些金融行业的用户很想现在就部署大数据解决方案,但是苦于找不到既懂Hadoop技术,又懂得金融业务的专业人才。”
Informatica首席技术官James Markarian表示:“在IT环境中,Hadoop不可能作为一个孤岛存在。为了让Hadoop跨越不同平台,用户需要将Hadoop作为其IT大环境中的一部分来管理,并通过Hadoop重复使用他们的开发技巧、资产及数据,同时还要统筹管理全部数据。”
在美国市场上,70%的大数据应用处理的还是结构化的数据。从技术的角度看,虽然Hadoop也能处理结构化的数据,但是目前基于Hadoop的大数据分析解决方案主要还是用于处理非结构化的数据。因此,用户处理结构化数据和非结构化数据通常是用两套不同的分析工具。这种混合的大数据处理模式是一种普遍现象。
从未来的发展看,非结构化数据的快速增长是大数据分析的主要驱动因素。从这个角度讲,Hadoop的应用前景还是十分广阔的。
篇4
HDS是一家典型的技术型厂商,一贯奉行“少说多做”的原则,所以人们很少听说或看见HDS在跟风炒作某个新概念。闪存、软件定义存储、云计算等,HDS都不是第一个推出相关产品或解决方案的。但是,一旦产品后,HDS就一定能保证这些产品是具有HDS特色的、成熟且可以大规模商用的,能够给企业客户带来实实在在的价值。
在存储虚拟化技术领域,HDS基于存储控制器的虚拟化技术在业界一枝独秀,尽管当时基于存储网络的虚拟化技术风光正劲,但HDS始终“我行我素”。最终结果表明,HDS的存储虚拟化技术是过硬的,其存储虚拟化产品一直保持着很高的用户认可度。在很多用户的印象中,HDS一直是一家专业的存储厂商。
但是进入云计算时代,一向比较谨慎、低调的HDS开始变得活跃起来。从技术和产品的角度看,HDS很快便采纳了“融合”的理念,推出了业界影响力可与其经典的存储产品相媲美的统一计算平台。如今,在亚太地区,HDS统一计算平台已经成了最受企业客户欢迎的解决方案。
多在技术上下功夫,很少谈及理念的HDS如今也开始热衷于谈论新的概念,并陆续抛出了与云计算、软件定义等最新趋势相关的战略、技术框架和蓝图。许多人能够脱口而出的HDS“三朵云”战略――基础架构云、内容云、信息云,成了HDS云计算的行动纲领。HDS的新产品研发和市场推广策略都是围绕着“三朵云”展开的。
云计算是基础架构,是工具,它的价值在于可以更好地支持行业客户的应用。在以大数据、物联网、智慧城市等为代表的新一波应用浪潮兴起时,云计算开始慢慢走向后台,成为推动大数据、物联网、智慧城市等应用发展的幕后的那只手。云计算技术与大数据、物联网、智慧城市等应用之间的互相渗透、融合将成为IT市场发展的主旋律。
HDS全球解决方案、社会化创新营销副总裁Ravi Chalaka表示:“以前,人们都知道HDS是一家存储公司。但是今天,HDS的技术和解决方案已经跨越了多个市场和应用领域。HDS已经从一家专注于存储的厂商演变为提供融合性解决方案的厂商,产品包含服务器、存储、网络、嵌入式软件等。近几年,HDS一直在大力发展自己的软件,并取得了突破性的成果。HDS的软件解决方案主要包括虚拟化软件、管理软件和应用软件等。”
今天的HDS已经不再是人们印象中那个专注于存储的HDS了。特别是经过过去几年云计算、大数据的洗礼,HDS已经有了新的定位,制定了新的战略。
HDS的变化主要表现在以下几方面。第一,HDS最直接的竞争对手已经不再是EMC、IBM这样的存储厂商,而是像通用电气公司、西门子、Oracle这样在社会化创新领域有很大投入的企业。第二,HDS进一步明确了自己的目标市场,就是大中型企业客户。目前,HDS在全球拥有1.4万个客户。在“财富100强”企业中,81%是HDS的客户。第三,HDS公司内部软件和硬件的收入比重也发生了很大变化。最新的统计数据显示,HDS业务收入的54%来自于软件和服务,而三年前这一比例只有25%。在过去4年中,HDS进行了大大小小9次收购,被收购的厂商大部分是做软件、服务或大数据解决方案的。从收入比例来看,HDS不再是一家单纯的提供存储硬件的厂商,而是正慢慢转型为一家解决方案提供商。
为了配合解决方案的需要,HDS越来越重视与生态系统中的合作伙伴的合作,特别是与增值分销商、系统集成商的合作。通过这些合作伙伴,HDS可以更好地为企业级客户提供服务。
Pentaho是敲门砖
以前,HDS也能为大数据提供支持,但仅限于硬件和存储架构。以收购数据集成、可视化和分析软件厂商Pentaho为标志,HDS真正融入了大数据领域,并打开了通往物联网市场的大门。
在今年4月举行的HDS Connect 2015大会上,HDS对Pentaho的收购成了谈论最多的话题之一。当时,由于HDS还没有完成对Pentaho的收购,Pentaho这样一个很可能决定HDS未来大数据策略走向的产品是继续保持其独立性,还是完全融入HDS原有的产品中成了人们关注的焦点。
6月,尘埃落定,HDS正式完成了对Pentaho的收购。Pentaho成为HDS公司旗下一员,但原品牌名称保持不变。Pentaho平台除了继续独立提供服务以外,也会与HDS的其他相关分析软件结合,从而进一步扩展HDS的大数据解决方案。
以前,HDS的大数据解决方案主要集中在基础架构层面,为大数据分析提供平台支撑。有了Pentaho的分析软件以后,HDS可以深入大数据分析的核心,也更贴近客户的应用,可以把大数据分析的主动权尽量掌握在自己手中。
还记得HDS著名的“三朵云”吗?在HDS公布的大数据愿景中,基础架构云、内容云和信息云仍起到了核心的支撑作用,但也有了细微的变化,变成了相对应的软件定义基础架构、内容管理云架构和信息智能云。在这三层云架构之上是HDS通用的高端数据分析和访问平台。三层云架构与数据分析与访问平台合在一起,构成了HDS社会化创新的基石。
HDS倡导的社会化创新与物联网市场是遥相呼应的。在社会化创新方面,HDS选定了六大行业作为突破口,包括电信、医疗、商业分析、公共安全、石油和天然气、汽车。“物联网是下一轮技术革新的重点。”Ravi Chalaka分析说,“一台大型机可以支持数百个客户,一台小型机可以支持数千个客户,而在物联网时代,数以十亿计的设备被连接在一起,每个设备,甚至每双鞋都在产生数据。这就是物联网的能量。在未来的20~30年中,大部分的数据分析和计算都会围绕着由物联网产生的数据和信息进行。HDS关注的只是物联网中能够产生价值的那部分数据。只有通过对这些有价值的数据和信息进行分析,才能产生洞见,才能让整个社会变得更加健康、安全、美好。HDS希望更快速地交付能够达到上述目标的物联网解决方案。”
确立主导地位
篇5
在产品方面,泰一指尚依托自身大数据技术和商业模式创新,构建大数据、数字营销、移动化三大商业能力开放平台,面向传统企业、传统媒体及传统广告公司提供一体化“互联网+”转型升级服务。同时,旗下大数据全媒体营销企业AdTime,可为广告主提供一站式整合营销服务及解决方案。泰一指尚旗下主要产品有:
DataMust,大数据能力开放平台,拥有全网实时数据分析系统。利用数据挖掘算法、标签体系以及全网数据技术,借助骨干数据网络以及自由数据沉淀,逐步研发出行业领先的大数据产品,为客户搭建用户数据管理平台,提供商业决策服务。
Admatrix,数字营销能力开放平台,凭借多年的数据积累和算法优势, 有效整合媒体资源,为客户优化广告内容,向广告业生态链开放八项数字营销能力,通过开放模式为行业客户定制营销平台。
篇6
姜欣介绍,今年Teradata通过《经济学人》杂志在全球所做的一个调研结果显示,在大数据利用方面,企业主要存在以下三方面问题:第一,数据整合问题,57%的被访企业认为难以获取重要的业务数据;第二,数据应用问题,42%的受访企业认为数据过于繁杂,应用不够友好;第三,数据治理问题,75%的受访企业为因异构数据而浪费时间感到困扰。
“我们目前推出的解决方案和技术,就是为了解决以上三方面问题。”姜欣介绍说,为此Teradata提出了五级转型战略:
其一,坚定地走一体化数据分析平台的道路,不断完善一系列平台产品,其中包括最近推出的Teradata IntelliFlex数据仓库架构和Teradata Aster大数据探索平台
其二,全面向云转型,支持私有云、公有云和托管云等多种部署方式,并在这种云生态下提供咨询和开发部署服务。
其三,打造分析生态系统,将统一数据架构(UDA),以及Unity、QueryGrid和Listener等工具整合起来,形成一个大数据生态,并在这个生态下提供咨询和实施服务。
其四,从完全技术中立的角度为客户提供大数据咨询服务,如大数据战略规划服务、敏捷开发咨询服务、数据建模服务。
其五,坚持客户至上而非产品至上,用多元化的产品全面满足客户需求,帮助客户挖据数据价值。
由此可见,Teradata在大数据领域,除了不断完善产品和技术以外,还不断强化咨询服务能力。
推出无边界分析功能
作为Teradata多年的老客户,瑞典最大的工业企业集团沃尔沃汽车公司从2006年开始建立数据分析平台。一直以来,沃尔沃汽车公司面临的一个问题,就是数据散布在超过30个系统中。公司的整合数据存储库和数据模型中,除了有客户、经销商、车辆与车辆配置信息、质保和故障诊断等数据外,还有很多外部数据。这些数据有结构化数据,也有非结构化数据。
沃尔沃汽车公司亟须一个弹性好、敏捷性高的平台来处理所有这些数据。为此,沃尔沃汽车公司部署了Teradata统一数据架构,将所有需要处理的数据全部整合起来进行处理,从而解决数据孤岛和数据治理混乱问题。在部署了Teradata统一数据架构后,沃尔沃汽车公司构建了全球统一的敏捷的数据驱动环境,从而可以借助可靠的数据分析结果降低运营成本,提高盈利能力和客户满意度;形成基于事实的决策机制和文化,使得公司更加开放和透明;有效支撑“数据创客”活动,员工和合作伙伴可以基于数据平台开发数据产品。
沃尔沃汽车公司成功应用Teradata统一数据架构的案例,是Teradata新推出的无边界分析功能的一个应用典范。据悉,Teradata无边界分析打破了过去在进行数据分析时单一系统、单一技术分析的界限,突破时间、地点,以及所需数据和平台的限制,帮助企业高效完成数据分析工作。
Teradata无边界分析功能通过最新版本的Teradata QueryGrid软件和可以自动协调多系统Teradata环境的Teradata Unity软件来实现。其中,Teradata Unity软件具有高可用性特点和工作负载分配功能,从而确保用户在权限范围内可随时访问相关数据和分析。全新升级的Teradata Unity具有强大的跨系统功能,可进一步消除分析环境界限。
电子专业制造服务公司伟创力公司数据与分析团队主管森迪尔(Sendil Thangavelu)认为,采用多个分析引擎来分析来自多个数据存储库的数据以获得更全面、可视化的分析结果,将成为企业强化竞争优势的重要因素。“我们的Teradata数据管理环境已经非常卓越,但我们一直还在寻找解决方案来提高我们的能力。Teradata的无边界分析概念与我们的企业发展方向不谋而合。”森迪尔补充说。
推出快速分析咨询服务
姜欣告诉记者,2015年年底,Teradata总结出了在新形势下具有较强竞争力的新型企业――技术感知型企业。技术感知型企业应具有敏捷平台、行为分析、协同思维、自助应用和自动决策五大核心能力。
姜欣表示,技术感知型企业对内能够提供数据洞察能力,实现数据驱动流程,提升运营的ROI;对外可以整合数据价值,创新数据盈利模式,实现信息运营。
但是,成为技术感知型企业并不容易。为了帮助客户更加顺利、快速地成为技术感知型企业,Teradata还推出了Teradata RACE(快速分析咨询服务)和Teradata业务价值框架。据介绍,RACE是一套敏捷、技术中立的方法论,能够帮助客户在正式投资前了解分析解决方案的潜在业务价值。不仅如此,借助丰富的行业经验和专业的数据分析技术,Teradata还可以帮助客户将项目实施所需时间从数月缩短至6~10周。
据悉,作为Teradata RACE服务的核心,Teradata业务价值框架是Teradata从数千次与客户成功合作中积累的丰富经验的结晶。该框架通过发现切实有用的分析解决方案,帮助客户更快地从分析和数据技术投资中获取回报。
值得一提的是,随着物联网传感器数据等新型数据源的不断出现,新分析技术的不断涌现,用户部署和应用分析解决方案的难度越来越大。但依托适用Teradata业务价值框架详尽的可视化信息,接受RACE服务的客户可以在实施分析解决方案时,掌握清晰的路线图,了解该项目在何时、以怎样的方式带来投资回报。
姜欣介绍,RACE方法包含三个主要阶段:
第一阶段,沟通(Align)。Teradata的分析业务咨询顾问以业务价值框架作为出发点,帮助客户发现最具潜在价值的业务案例,并对准该业务案例开展工作,确认支持该使用案例关键数据资产的可用性。
第二阶段,创建(Create)。Teradata的数据科学家为选中的业务案例载入并准备数据,开发新分析模型或调整既有模型。本阶段数据科学家会与业务发起人对方案进行多次快速迭代,以确保分析结果能带来预期业务效果。
第三阶段,评估(Evaluate)。Teradata的分析业务咨询顾问分析结果,评估部署分析使用案例的潜在投资回报率,并为客户设计、部署方案。
篇7
近年来,亨通立足光通信主业、突破产业关键核心技术,不断完善“光棒-光纤-光缆-光器件-光网络”的光纤通信全产业链。与此同时,亨通瞄准产业尖端前沿,不断延伸产业链,调整结构,转型升级,积极拓展互联网+发展新空间,布局量子通信产业,进入宽带接入网、智慧社区、通信工程的建设运营,并构建大数据应用及网络安全等业务体系,“形成‘产品+平台+服务’的综合服务模式。”亨通光电总经理尹纪成表示。
布局网络安全
网络安全是当下互联网领域最突出的问题,受到人们的广泛关注,也是本届通信展上一项重要的展示内容。而在这一背景下,亨通适时推出了优网科技大数据、安全、通信软件解决方案和量子保密通信行业级解决方案这两套保障网络信息安全的解决方案。
据了解,优网科技大数据、安全、通信软件解决方案包括用于通信网络维护的综合性能监控解决方案、重点场景保障解决方案、客服支撑解决方案,用于网络安全领域的信息安全态势感知解决方案、网络安全态势感知解决方案、大数据云防护解决方案、云安全防护解决方案及运营,用于大数据运营的大数据平台解决方案、互联网综合服务平台解决方案等一系列的维护、安全、大数据解决方案,为通信、互联网等数据运营提供全方位的支撑。
今年8月份,亨通光电与安徽问天量子科技股份有限公司共同投资设立江苏亨通问天量子信息研究院有限公司,双方强强联合、优势互补,积极布局量子通信产业,加快启动量子网络建设,并在本届展会上推出了政务网解决方案、电力调度保密通信解决方案、数据中心信息安全解决方案等一系列量子保密通信解决方案,为通信及互联网的信息安全保驾护航。
聚焦高铁通信
国内高铁建设正加快推进,乘客对于乘坐高铁时手机上网和通话的需求量逐渐增加,因此运营商在高铁沿线的基站建设方面将进一步加大投资力度。
据了解,高铁沿线无线信号覆盖主要依靠沿线的通信基站,为高铁列车提供无线信号。由于高铁列车的运行速度较快,导致基站的密集程度高,投资费用较高。同时,在大部分偏远地区,高铁沿线基站仅用于列车信号覆盖,功能单一,并且用户量少,运营商的投资收益率低,资金回收周期长。
针对现有情况,亨通推出高铁无线覆盖解决方案,为客户提供建设效率高、投资费用低、运维便捷的产品和方案。据介绍,该方案采用铜合金导体作为主要供电电缆,可选配1-144芯光纤,能够同时为高铁沿线基站提供电力和通信接入服务。铜合金导体相比传统铜芯电缆产品,产品施工难度低,相同重量长度更长,抗强风能力好,同时由于导体采用铜合金导体,无法回收利用,具有防盗效果。高铁无线覆盖解决方案采用100V-600V可变直流电远程集中供电,通过铁路信源站取电后,能够双向辐射,最远可满足8个基站的供电需求。因此减少了用户的取电费用和协调难度。在基站端仅需要配置对应的终端设备即可完成快速建站,节约用户建站时间,降低客户无形建设成本。
目前,亨通的高铁无线覆盖解决方案已经在兰新线铁路中大范围使用,为客户提供了更优质的产品和解决方案。
深耕海洋业务
海洋板块是亨通近两年颇为重视的业务板块,同时也是今年上半年营业收入增幅最大的业务之一。据亨通2016年上半年报告,亨通海洋电力通信产品营收2.43亿元,同比增长249.12%。
在本届通信展上,亨通重点推出了海底观测系统以及江河湖泊水质监测系统解决方案。
篇8
文思海辉执行副总裁刘君博先生参加领导力大会时表示:“IBM灯塔奖是个有高度的新起点,未来文思海辉将与IBM继续通力合作、共同成长。在智慧金融、智慧城市等重点领域不断提升技术水平和研发能力,为客户创造更大的价值!”
篇9
在数据管理产品趋向融合的今天,数据集成软件会不会也被集成到一些综合性的管理解决方案中呢?
托尼·杨表示:“Informatica之所以能够保持快速成长,一个关键的因素就是始终保持中立的地位。我们的数据集成软件可以与其他所有应用和管理软件平台相集成,比如微软、SAP等厂商的产品。”
大数据促进业务增长
“数据分析是今后企业在竞争中保持优势的一个主要手段。如果你现在不认真对待大数据,那么竞争对手就有可能超过你,并取代你。”托尼·杨表示,“大数据与SOA(面向服务的体系结构)不同。SOA不能直接给企业带来商业价值,而大数据与企业的业务绩效直接相关。企业的CIO必须重视大数据的处理与应用。”
篇10
行业的颠覆和重构早已开始,全方位客户体验、灵活高效的业务流程、智慧化产品与服务、创新的商业模式被各大运营商不约而同地选择为其转型战略的核心,而这些方面的基础则都是大数据。
用户行为和需求的变化已成为电信转型的核心驱动力。正如中国移动董事长奚国华所说:“要做可靠的数字化服务专家。”运营商向数字服务提供商转型势在必行。从语音、短信、宽带服务等简单的传统电信业务转变为提供音乐、物联网、视频、智能家居等多样的数字业务。
在产业环境正从消费互联网向产业互联网发展的时代契机下,研究机构数据显示,全球超过60%的企业已成为数字化转型的探索者和实践者,而在电信行业,预计到2024年,包括数字媒体、云服务市场、垂直行业解决方案等领域,电信行业数字化转型将酝酿超过15亿美元的巨大市场机会。
在国内,三大运营商的各级公司已经将大数据作为其在移动互联网时代企业转型的战略性工作,并在不同程度上开始试点大数据系统的建设与应用,以充分挖掘数据资产价值,创造新的利润点。
把握大数据引擎
电信运营商的业务模式正在悄然发生着转变,电信运营商坐拥社会化的信息传输管道,是数据的共享和交换的天然平台和中心,拥有无可比拟的海量数据。
对于大数据的整合和挖掘深化了信息技术的应用,催生新的运营模式、应用和新的业态的出现,运营商目前对于大数据的的应用提升了管理和决策的智能化水平。
若要登上互联网时代的高地,在华为看来,要做国家ICT规划师、成为全业务运营商、数字使能运营商与智能管道运营商将是运营商数字化转型的四大战略定位。
“从数据、到洞察、到形成商业模式,华为在实现大数据价值的各个阶段愿为运营商业务运营、业务调度提供大数据分析的综合平台解决方案。”王纪奎表示。华为大数据平台解决方案FusionInsight,正是基于华为对电信行业大数据应用的深刻理解,深谙行业ICT转型的需求,通过联合创新、深度探索运营商新的商业模式和盈利增长点而提出的。
为了帮助电信运营商要真正利用自身海量的数据资源优势,将数据分析运用到实际运营中,以进一步提升业务模式、利润及用户体验,华为FusionInsight大数据解决方案自设计之初就是以业务为中心,真正形成业务驱动的大数据架构,为运营商的数字化转型提供全方位的支持。
记者了解到,华为FusionInsight大数据解决方案包括多个平台。其中大数据基础处理平台提供海量结构化、非结构化数据的采集、存储、批处理、内存计算和实时流计算的能力;大数据洞察平台提供百万维大数据特征的提取、管理、建模的能力,使客户更专注大数据业务开发本身。
王纪奎介绍,目前,华为的大数据解决方案通过建立融合的数据模型,可提供超过900种数据适配模式,为运营商的数据整合和处理效率获得30%的提升。
在平台层面,已经聚合了超过1000家合作伙伴,包括500种数据产品,具备超过300个开放的API接口,能够为运营商更方便地使用大数据提供快速部署能力。在智能控制中心层面,3000多个客户标签和300多个业务知识的形成和积累,能够为客户提供小时级的分析能力以及数百万/秒的处理能力。
在此基础上,拥有多种成熟、高效、灵活的方案实践和场景,华为大数据解决方案能够帮助运营商把握大数据这一业务发展的引擎,引领电信大数据应用的方向。
为运营商谋数字红利
在数字化转型的具体路径方面,华为认为,电信模式、平台模式、数据模式再到全连接模式,是电信数字化转型呈现出的四个主要阶段。全球运营商分别处在不同的阶段。虽然全球的运营商在转型架构方面目标统一,但是,不同运营商实施的步骤和发力点却各有异同。
与国外相比,国内运营商从大部分收入以传统语音、短信等基础服务为主的享受“人口红利”的阶段,已经迈向了以语音和数据业务为主的“流量红利”的阶段,但仍不如国外运营商所享受到的效益高。
篇11
第一大趋势是DM系统将成为大数据技术在移动终端平台上应用的重要渠道。
随着近年来企业信息化的快速发展,社会化网络的兴起以及云计算、移动互联网、物联网等新一代信息技术的广泛应用,信息数据以每年超过50%的速度爆发式增长,大数据成为“信息爆炸”背景下IT发展的必然。
目前,数据分析已经不再局限于结构化的历史数据,而是更倾向于分析来自于社交网络、在线交易记录、视频、电子邮件以及来电信息等非结构化的数据信息,而这些非结构化的大数据信息将会更多聚集在移动终端平台上。DM系统可有效地探知移动终端的信息及用户使用行为信息,这些信息最终会形成庞大的信息数据库,大数据的应用将使这些有意义的数据信息得到专业化处理。因此,未来DM系统作为一种获取移动终端信息数据的有效渠道,将会和大数据交融发展。
篇12
凭借多年的发展路径和能力沉淀,基于技术、数据、应用三大核心能力,通过大数据技术和商业模式创新,泰一指尚整合构建了包括营销大数据平台、移动化平台及广告平台在内的三大能力开放平台,面向传统媒体、传统广告公司及传统企业提供数据咨询、数据能力开放、数据平台和广告平台定制开发、移动电商和移动媒体解决方案等一体化的“互联网+”服务,帮助传统企业形成数据商业化能力、业务移动化以及自有数字营销能力,打通品牌公信、销售通路以及用户获取。
数据商业化能力是指依靠对智能管道数据、全网爬虫数据及第三方合作数据的抓取,再基于对DMP(大数据管理平台)的数据进行标准化和细分,进而提供极具价值的商业化能力,最终实现数据可视化的多样性应用。泰一指尚拥有移动电商和移动媒体解决方案,能为企业提供移动互联网一站式服务,助力企业快速、低成本的拥有移动电商能力和形成媒体能力,使企业具备业务移动化能力,助其构建移动化平台。此外,泰一指尚以大数据平台为基础,结合传统媒体自身的强势资源,使其具备自有数字营销能力,通过高效而科学的投放策略提升在线广告价值,助力其构建广告平台。目前,泰一指尚通过敏锐的市场洞察和行业服务经验,形成了覆盖金融、汽车、传媒、电商等在内的“互联网+”解决方案,推动企业的商业创新和转型升级。
基于对大数据技术的深入应用和不断创新,泰一指尚于2013年推出国内首个大数据管理平台――Atlas云图。该平台具备海量数据、实时计算等特点,旨在对数据的深层次关系进行挖掘,构建可视化的大数据平台。
三大能力+ Atlas云图是泰一指尚为传统企业勾画的以“大数据”为核心的转型升级新蓝图,这使得企业生态链上的各个环节实现真正的数据化,打破了“传统时代”的信息局限,全面实现互联网化变革。
加快“互联网+”落地,
泰一指尚在行动
付海鹏认为,“互联网+”的落地实施,重点应包括一系列技术平台和商业模式顶层设计在内的“互联网+”解决方案,而大数据应成为 “互联网+”的核心引擎。
篇13
相信大家都还记得2013年5月10日淘宝十周年晚会上,阿里巴巴集团董事局主席马云在其卸任集团CEO职位的演讲中说到:“大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。”
什么是大数据?
早在1980年,当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年,“大数据”才开始成为互联网信息技术行业的流行词汇。
环顾四周,我们都已经切身感受到了当今的信息量正在以前所未有的速度膨胀。当我们的普通民众在上世纪90年代刚刚接触个人计算机的时候,1MB的磁盘,1GB的硬盘已经是不错的配置。然而现在呢?GB、TB都已经无法满足我们丈量数据大小的需要,PB、EB、ZB已经义无反顾地承担起了丈量数据的大任。
随着互联网自媒体的普及,每天都有数以亿计的人在发微博、写微信、更新个人主页、使用社交网站、发表个人评论……全球互联网上每天会有220万TB的新数据产生,90%的数据都是在过去的24个月内创造出来的,如今,这个比例还在不断上升。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,他们对大数据的表述是:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。他们对大数据的特性进行了归纳,提出了4V特点,即Volume(数据量大)、Velocity(要求实时性强)、Variety(数据的种类多样)、Value(数据是有价值的)。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术,或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务,而这些事务在小规模数据的基础上是无法实现的。换句话说,大数据让我们能够以一种前所未有的方式,通过对海量数据进行分析,获得具有巨大价值的产品和服务,或者深刻的洞见,进而最终形成变革世界的力量。
2大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么,然而究竟我们能获取到什么呢?
一个被广为传播的典型案例是:在2012年初美国的一家Target超市,一位愤怒的父亲突然闯进来对店铺经理咆哮道:“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”经理下意识地认为是店里出了问题,也许是误发了优惠券,于是立即向这位父亲道歉。然而经理却没有意识到,其实这是公司正在运行的一套大数据系统得出的分析结论。
Target会从其会员的购买记录中去了解该顾客的性格、类别等一些列业务活动。上面的例子正是Target为适龄女性创建的一套怀孕期变化分析模型,如果相关客户第一次购买了婴儿用品,系统将会在接下去的几年中根据婴儿的生长周期向顾客推荐相关的产品,从而培养和提高客户的忠诚度。
果然,一个月后,该名愤怒的父亲打电话给商铺道歉,因为Target发来的婴儿用品优惠券不是误会,他的女儿确实怀孕了。
利用数据挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后发掘出更符合用户兴趣和习惯的信息、产品和服务,并对这些目标化的信息、产品和服务进行针对性地调整和优化,这便是大数据能带给商家最诱人的价值之一。
随着社交网络在人们生产生活中地位的快速提升,大量UGC(User Generated Content用户自生成的内容)进入互联网,上述价值的实现也变得越来越明显。
事实上,全球IT业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括IBM、EMC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。
目前典型的大数据应用领域有:
商业智能。例如:用户行为分析,即结合用户资料、产品、服务、计费、财务等信息进行综合分析,得出细致、精确的结果,实现对用户个性化的策略控制,这在营销网络的流量经营分析中占有越来越举足轻重的地位。个性化推荐,即在各类增值业务中,根据用户喜好推荐各类业务或应用,这已成为运营商和门户提供商服务用户的一个最有效方式之一,比如应用商店的软件推荐、IPTV视频节目的点播推荐、购物或旅游网站的猜你喜欢等。
公共服务。一方面,公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用,从而提供更为广泛和深度的公共服务,如实时路况和交通引导;另一方面,公共机构也可以通过对某些领域的大数据实时分析,提高危机的预判能力,如疾病预防、环境保护等,为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘,从而有效提高政府决策的科学性和时效性。例如:日本大地震发生后仅仅9分钟,美国国家海洋和大气管理局(NOAA)就了详细的海啸预警。并且随即NOAA通过对海洋传感器获得的实时数据进行了计算机模拟,制定出详细的应急方案,并将制作的海啸影响模型实时在了YouTube等网站上。
3大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及,通常指的是解决问题的一种方法,即通过收集和整理生产生活中方方面面的数据,然后对其进行整理、挖掘、分析、处理,进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为,但要实现这种通常的行为,往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是:大数据包络万象,而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长,加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据,现有的,或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
于是革命爆发了!
哈佛大学社会学教授加里·金就说道:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
数据需要存储,存储需要设备,存储设备的容量和可扩展性以及读取的速度成为了一大问题(容量问题);大数据不是一日而成的,往往都需要一定周期的积累,在数据的积累过程中,以前的数据和现在的数据在存储上应该是能保持一致的,无论设备升级与否,而且这些数据要长期有效,这是一个持久的问题(积累问题);与持久相对应的,互联网是变化的、经济活动是变化的、整个世界都是变化的,针对某些实时问题,如交易、金融等,用已经过去的数据显然是不合适的,这也是一大问题(延迟问题);大数据包络万象,有些是可以随意获得、和消除的,有些,如金融数据、医疗信息、政府情报等,则是需要按不同级别进行保护和加密的,特别是在需要交叉数据参考的应用中,不同部分的数据有着不同的安全需要,这又是一大问题(安全问题);为了满足上述问题,我们显然可以通过不断加大投入,购买更多的存储设备、雇佣跟多的工作人员、建设更多的数据中心和分析中心,但这一切都是由成本的,特别是对于以盈利为目的的商业机构而言,成本和收益永远都是最优先考虑的问题之一(成本问题);当然还有很多其他的问题,这里就不一一罗列了。
驱动商业机构解决上述问题的动力肯定是商业利益。以全球知名的IT制造与服务和咨询提供商IBM为例,其全球CEO调研显示,唯有在数据获取、将数据转换为洞察力、再将洞察力转化为行动力等方面表现优秀的企业,才能有持续的绩效表现。绩效突出者从海量数据中挖掘出有价信息的能力是绩效不佳者的2倍。
IBM认为由于当今企业、市场、社会、政府之间的联系变得越来越紧密,传统的数据分析正日益呈现出“大数据”时代的新特点,即容量要求更高、速度要求更快、数据类型多样和数据来源复杂4个方面。结合多家领先市场咨询机构的调研数据显示:
2010-2015年,“大数据”市场年均符合增长率为39.4%,将是整个信息与通信技术市场增速的7倍;管理及维护数据的成本将是购买存储设备所需成本的4倍;全球数据量的年均复合增长速度为59%;未来需要分析的信息源中,混合类型数据所占比重将高达85%;数据分析直接受到服务器性能制约的数据量将占到总体的87%;仅2012年一年,服务器在整体“大数据”市场投资中就将占去14%的比重。
这就意味着传统计算的低效正在为企业发展带来阻碍,企业感到当前的IT系统变得更加复杂且难以管理。数据显示:企业用于运营和维护IT系统的费用已经超过整体预算的70%,并且这一比例仍在持续增长;企业有三分之二的IT项目及解决方案部署超出了原定计划;IT架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了:IT部门,这个曾经作为企业现代化和创新化能力标志的部门,正越来越成为企业新创新的阻力而非动力。
怎么办?
很多人立即想到了另外一个热词:“云计算”。
IBM全球高级副总裁Rod Adkins认为,当前全球IT领域有了令人振奋的发展趋势和挑战,现在每天有大量数据和信息生成,这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会,比如云计算,能降低数据中心成本。
EMC资深产品经理李君鹏认为,大数据本身就是一个问题集,云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理,也是云计算思想的一种具体体现。Teradata技术总监Stephen Brobst则表示,公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上,那样很危险。然而,是私有云架构确实有影响:第一,通过私有云,可以巩固数据集市,减少利用率不足的问题;第二,可以通过灵敏的方式将数据集成,实现业务价值。
于是有人就此理解为:大数据的最佳解决方案是采用云计算和分布式处理,利用互联网将运算能力、存储能力都做分布式的处理,认为这样做就可以最大程度上地降低成本、增加扩展性和灵活性。
然而事实真的如此吗?
让我们来分析一下最近IBM公司在国内针对百万人口的城市级信息中心制定的解决方案:
面对数量庞大且增长迅速的各类交通信息:120万辆机动车电子卡、4万辆机动车的实时GPS定位、200万笔公交IC卡数据、518个高清卡口的113亿张图片等,该市信息中心的领导意识到,当前多个项目能源消耗大、占地要求非常高、并且原有的网络设备难以满足新增的需求,网络设备经常更换,并且这些相互独立的数据库、服务器和存储,以及不同的访问权限和没有统一的管理界面,让本就压力巨大的数据中心的效率大打折扣,同时也极大浪费了宝贵的人力、能源和其他各种资源。
IBM给出的解决方案是:
首先,在基础平台上摒弃了分布式的服务器架构,而是采用大型服务器在基础架构上对处理能力、I/O吞吐和主存储进行了整合,这样做的最大亮点是,将原有成百计的分布式服务器整合到了个位数,极大地节省了空间和能源,做到绿色环保;因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配,节省了相当数量的管理人员;另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架,有效帮助信息中心实现中心控制,实现极高的性能。
其次,在整合的基础平台之上,采用“云计算”框架虚拟化设计,实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机,在统一云管理软件URM的配置下,能够提供统一的管理视图和管理机制,简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的SAN网络架构,具有很好的稳定性,能为前端各应用提供可靠的数据存储平台,并且整个SAN网络中的部件都配置了双冗余组件,保证任一部件的损坏不会影响整个系统的运行,而关键数据库的数据都通过合理的备份策略,定期备份在了物理磁带上,保证关键数据的绝对安全。
总结下来,整合的基础平台,“云计算”框架的虚拟化设计,和定制化的高速存储,打造出了最稳定、最可靠、最安全、最绿色的运行环境,让政府的大数据应用完美落地。
可见,大数据的解决方案不同于纯粹云计算的解决方案,虽然云计算带来了看上去更便宜的处理能力和存储能力,但对于往往都有相当数量级规模的大数据应用而言,在基础架构上巧妙地整合和部分的集中,反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。