海量数据处理技术的发展

大数据时代的来临并不仅仅意味着数据量的增加，更重要的是，它表明处理数据的技术已经上升到了一个新的高度。

正如英特尔公司创始人戈登 摩尔的“摩尔定律”所描述的那样，“集成电路上能容纳的晶体管数量每18个月翻一番”。直到现在，这种情况也一直在持续着。

晶体管的数目极大地影响着CPU的处理性能。2010年晶体管的数目是2003年的32倍，而近10年来，CPU的处理性能已提升至以前的100倍。

有所进步的并不只有CPU。随着网络无线化的发展，传送数据的网络环境也在迅速变化。如今，数据传输速度已提升至10年前的1600倍。

在数据存储器的容量不断增加、价格不断降低的同时，运用了闪存技术的SSD(Solid State Drive，固态硬盘)逐渐进入了大众的视野，能够高速处理海量数据的环境也因此而明朗起来。

移动信息终端、传感器和云计算推动大数据发展！

还有一点让我们更加难以忽视，那就是发送数据的移动终端设备和收集数据的传感器的更新换代。

SSD(Solid State Drive，固态硬盘)作为一种存储器，SSD是一种运用了闪存技术的驱动装置。比起旋转轴式硬盘驱动器，SSD不管是在读写速度、耗电量，还是在抗撞击性上都更胜一筹。

iPhone、iPad、安卓终端等移动终端设备的普及对社交媒体的发展起着重要的作用，这一点是不言而喻的。

智能电表拥有数据传输功能，是使用数码测电方式的第二代电表。人们正期待智能电表利用自身的数据传输功能，在智能电网的自动查表等活动中大放异彩。

另外，由于传感器体积的不断缩小，人们开始将其应用于所有领域，甚至包括被大众普遍看好的智能家电。随着智能城市的不断发展，智能电表逐渐开始深入千家万户。假设有25万户家庭安装了智能电表，电表每隔15分钟发送1次信息，那么每年就要进行3500亿次信息处理。如果所有家庭都安装了这种电表，可想而知它的数据量会有多么庞大。

再者，云(Cloud)的普及成为大数据发展的“东风”。

依靠云计算，企业可以在开展新服务的初期构建短期系统，也就再也不用担心服务器或存储器的空间不够了。云计算还可能将初期投资降到低，而且，即使是在信息收集的高峰期，云计算也可以轻松应对，不使收容能力饱和。正因如此，曾经一度有人认为它是为了应对社交媒体而生的。显然，如今的云计算已经成为我们生活中不可或缺的一部分。

在数据量不断增加的大背景下，正是因为收集、分析和预测数据的技术、产品和服务的出现，大数据时代才算是真正到来了。而这些技术的进步也为大数据时代的来临提供了有力的技术支持。

大数据创造“32万亿元规模的市场”

市场调研公司IDC日本将以大数据为中心的平台定义为“第三IT平台”。

及时IT平台的构成主体是“大型机”，第二IT平台的构成主体是“个人计算机(PC)”和“互联网”。而第三IT平台则是由“云服务”“移动性”“社交性”和“大数据”四部分构成。

IDC日本的分析师和田英穗预测：“到2020年为止，第二IT平台的年平均增长率(CAGR)为2.5%，基本保持平稳态势。而第三IT平台将持续保持高增长，其年平均增长率将达到15%。”

截至2020年，由于第三IT平台对市场的引导作用，预计世界IT市场的规模将达到5兆美元(约合人民币32万亿元)。

大型机是企业基础业务系统使用的传统大规模计算机系统，也被称为“大型主机”。使用者一般通过终端机连接中央计算机。

实际上，传感器无处不在

简而言之，大数据的价值在于“使以前无法了解的东西变得明朗了”。而造成这种变化的原因之一是，我们收集到了那些以前无法获得的数据。收集社交媒体上的状态和留言就是一个典型的例子。当然这也要归功于传感器技术的发展，正是它使这些信息的获得成为可能。

环顾自己的周围，如果你认为安装了传感器的只有搭载了GPS和陀螺仪传感器的智能手机的话，那你就大错特错了。

GPS/陀螺仪传感器GPS(全称Global Positioning System，也称“全球定位系统”)是一种利用卫星确定所在位置的系统。陀螺仪传感器是一种测量物体角度和角速度的仪器。

冰箱上安装了感知冰箱门开关的传感器，空调中搭载着控制温度的传感器，就连通过自动感应人的存在来控制照明开关的装置上，也安装了传感器。而遍布大街小巷的监控摄像头也发挥着与传感器相同的作用。

这其中，有很多数据并没有被储存起来。但是，如果我们进入了智能家电、智能城市的时代，这些信息就会被储存和发送，最终作为大数据被人们有效利用。

智能城市是一种将智能电网、能源、水、通信、交通、建筑、行政服务等所有城市基础设施垂直整合，最终实现高效城市的城市构想。

冰箱中也有大数据

这样一来，我们就能收集到以前无法获得的数据、看见以前看不见的事物了。

开关冰箱门的次数、冰箱内温度的变化以及开关冰箱门的时间……如果能够将这些数据储存起来，我们就能控制冰箱的运转。

如果早上开关冰箱门的次数较多，就要确保该时间段内冰箱内的温度不变；如果是在开关门次数较少的深夜，就要切换到省电模式……冰箱要将这些规律摸清，按照最适合每个家庭的运转规律运转。

单就开关冰箱门的数据来看，有些人可能认为这不算大数据。然而，大数据的本质并不在于数据的大小、多少，而是在于IT系统的结构是否发生转变。也就是说，大数据的核心在于，收集到以往无法收集到的数据、看见以往看不见的事物。

因此，我们可以将冰箱门的例子理解为人们活用大数据，并将其具体应用于冰箱这个领域的典型范例。

海量的“显性知识”使“隐性知识”可见化

NEC公司(日本电气股份有限公司)社长远藤信博认为：“大数据的有趣之处在于，在大量收集显性知识的过程中，那些隐藏在表面之下的隐性知识就会渐渐浮现在我们眼前，从而带来不同的价值。”

从上文冰箱的例子中我们也可以看出，大数据的特点在于：大量聚集那些可以直接得到的信息(显性知识)，进而导出隐藏在表面之下的隐性知识。

冰箱门开关的时间数据，就是“可知的信息(显性知识)”。

但是，如果将这样的数据大量收集起来，根据“在经常开关冰箱门的时间段中，有部分地区的冰箱门开关次数有所减少”这一现象，我们就可以大胆推断该地区可能举办了诸如“夏日祭”这样的大型活动，大多数人都外出了。

这样一来，“显性知识”就变成了看不见的“隐性知识”。

通过对多种数据的整合，得出正确预测

迄今为止，大部分信息系统都是独立进行数据管理的。但是大数据的特别之处在于，不论是结构化数据还是以各种形式呈现的非结构化数据，都可以在相互协作的状态下对其进行数据分析。

据说，某服务提供商正在收集约10万个商铺的销售数据，而该数据的数据量24小时就能达到数TB。

如果将这些销售数据与该区域的烟火大会、运动会等活动数据以及气温变化、气象数据等其他数据相结合，我们就可以预测今后一个星期内，哪些店铺中的哪些东西可以畅销。

如果是烟火大会，那么啤酒、便当等商品就很容易热销。在该数据的基础上， 可以采取增加采购量、在零售店间进行商品调动等措施；还可以根据不同情况，在人流较为集中的店铺策划清仓促销活动。