本书提出一种SMART方法,助你建立智能业务,掌控大数据的力量,无论企业大小。全文结构依据SMART方法展开,每章讲解模型的一部分,然后提供一些有用的案例。
全书共6章,第1章主要介绍当前使用大数据进行商业分析的一些成功案例,从这些案例中可以发现大数据的魅力。第2章介绍制定战略时,需要先抛开数据,从企业目标和愿景开始,切合实际地找到适合自己企业的战略。第3章主要介绍商业数据的分类,可分为文本数据、声音数据、图像数据、视频数据和传感器数据,并介绍这些不同类别数据的特点。第4章介绍数据的分析方法,包括文本分析、语义分析、视频/图像分析、联合分析等分析方法,通过使用这些方法,从大数据中提取有用的想法,回答战略问题。第5章着重介绍数据可视化的形式,包括图形和表格、传统的报告、显示地图、文本、数据、行为、情绪和联系的信息图,并介绍进行数据可视化应注意的问题。第6章介绍使用大数据改变商业运行模式的典型案例,主要包括:美国零售超市Target的怀孕预测模型、沃尔玛超市通过大数据处理改进优化业务流程、亚马逊运用大数据分析来改进业务流程和零售体验、早产婴儿房的大数据监控、个人分析和健康监控设备、IBM的智能分析平台SlamTracker研究网球锦标赛、飞机引擎制造商劳斯莱斯的大数据运营商业模式等。
通过对这些案例的讲解,使读者进入大数据的世界了解到大数据前沿应用者正在以闻所未闻的方式改变着商业模式。
大数据是智能革命的核心。大数据背后的基本思想是,人类一切行为都会留下数字痕迹(或数据),我们(或他人)可以对其加以利用,变得更加智慧。掌握数量日益增加的数据并利用技术能力将其转化成具有商业价值的想法,是推动新世界的主要力量。无疑大数据正在改变世界,我们的居住、择偶、治疗癌症、科研、提升绩效、管理城市、治理国家和管理企业的方式都因此而发生改变。
本书从如何使用大数据的角度入手,给出了一套详细且可行的分析框架,以简明扼要的方式教会我们如何从庞杂的数据中生成一个完整的解决方案。尤为重要的是,该书深刻地揭示了大数据分析所需要的智能化思维方式,对企业的科学决策有着至关重要的作用,同时对政府和学者掌握大数据技术有着非常好的指导意义。
作者简介
Bemard Marr(伯纳德 马尔):一位商业畅销书作家,大数据、分析学、战略管理、绩效管理和关键业绩指标方面的主题演讲者和咨询师。他帮助公司收集和分析数据,借此改进战略决策和经营业绩。他和世界上诸多大公司、组织及政府的尖端合作获得了广泛的称赞,作为一位咨询师、研究员和老师,他屡获大奖。被《首席执行官日报》称为当今世上的商业智囊,LinkedIn提名入围世界前100名商业影响者。
译者简介
秦磊,毕业于中央财经大学统计与数学学院,获经济学博士学位。现为对外经济贸易大学统计学院讲师,硕士生导师,对外经济贸易大学大数据与风险管理研究中心成员,研究方向为数据挖掘。
曹正凤,统计学博士,人大经济论坛大数据中心总工程师,人大经济论坛Hadoop大数据分析师培训负责人,北京石油化工学院实验师。致力于大数据分析前沿领域研究,主持人大经济论坛基于Hadoop架构的论坛主题推荐系统项目,参与国家社科基金项目《基于大数据整合的空气质量测度方法研究》,发表多篇论文。出版著作《从零进阶:数据分析的统计
引 言 欢迎来到更为智能的世界 / 1
智能运动 / 2
智能保健 / 3
智能家居 / 4
智能恋爱 / 5
智能育儿 / 6
第 1 章 商业智能化 / 8
谁是大数据用户? / 9
公司是如何运用大数据的 / 11
别慌! / 15
专心收获成果 / 16
第 2 章 S:制定智能战略 / 19
大数据世界,小就是美 / 22
SMART 战略板 / 25
梨树隐喻 / 27
实践中的 SMART 战略板 / 29
问对了问题是成功的一半 / 35
SMART 分析技术和谷歌 / 37
案例研究:Oxygen 计划 / 38
重点和行动纲领 / 43
第 3 章 M:度量指标和数据 / 44
数据类型 / 45
结构化数据 / 46
非结构化数据和半结构化数据 / 47
内部数据 / 48
外部数据 / 49
数据库:数据的新形式 / 50
活动数据 / 51
会话数据 / 54
照片和音频数据 / 55
传感器数据 / 58
物联网 / 61
大数据的分解 / 63
大数据反弹 / 64
如何测量和使用数据来获得战略性优势 / 67
确认你需要测量的数据 / 68
行动上的指标和数据 / 80
重点和行动纲领 / 82
第 4 章 A:运用数据分析技术 / 84
文本分析法 / 87
文本归类 / 88
文本收集 / 88
概念提取 / 89
情感分析 / 89
文件归纳 / 94
小结 / 94
言语分析法 / 96
小结 / 97
视频和图像分析技术 / 99
人脸识别 / 100
行为分析 / 102
态势感知 / 104
视频/图像分析技术已经被投入使用 / 104
负面效应 / 107
联合分析技术 / 108
联合分析技术的医疗应用 / 108
联合分析技术的其他应用 / 110
被点赞说明什么 / 112
透明度 / 115
不断创造附加值 / 119
预测 VS .隐私 / 120
做正确的事! / 122
重点和行动纲领 / 123
第 5 章 R:展示数据分析结果 / 125
数据可视化 / 126
新式数据可视化 / 131
展示地图 / 131
展示文本 / 132
展示数据 / 134
展示行为和情绪 / 135
展示关联 / 136
无限可能 / 139
如何提升数据可视化水平 / 141
信息图表 / 143
注意自助式商业智能工具 / 148
成功的数据可视化和信息图的要素 / 152
管理仪表盘 / 154
终有一日壮志凌云 / 155
开发管理仪表盘 / 158
重点和行动纲领 / 161
第 6 章 T:改变商业模式 / 163
更好地理解并定位客户 / 164
改进优化业务流程 / 168
提高人们的健康和幸福水准 / 170
增强安全性,减少欺诈 / 175
鼓励提高企业和员工业绩 / 176
改善工作场所和其他基础设施的条件 / 180
新的商业机遇 / 181
智能化也将改变就业 / 187
重点和行动纲领 / 190
结论 / 192
关于作者 / 197
致谢 / 199
商业智能化
大数据是智能革命的核心。大数据背后的基本思想是,人类一切行为都会留下数字痕迹(或数据),我们(或他人)可以对其加以利用,变得更加智慧。掌握数量日益增加的数据并利用技术能力将其转化成具有商业价值的想法,是推动新世界的主要力量。
无疑,大数据在改变世界。我们的居住、择偶、治疗癌症、科研、提升绩效、管理城市、治理国家和管理企业的方式都因此而发生了的改变。因此,出现了对大数据大量的吹捧和赞美。人人都在谈论大数据。大数据也是各个董事会以及包括《经济学人》、《财富》和《哈佛商业评论》在内的商业出版物经常探讨的热门话题,甚至连主流媒体也加入了。但是尽管人人都在发声,多数人仍不理解何为大数据,几乎没人知道如何利用。就个人而言,我不太喜欢这个新词,因为它过于简化,可能误导人。诚然,如今,我们追踪和记录一切信息,所以我们确实拥有获取海量数据的潜在能力——也就提出了大数据的概念。但是真正的价值不在于数据多少,而在于我们如何利用。与数据量相比,掌握分析大量复杂数据的能力才让我们与过去不同。云计算与升级的网络和创新的数据分析能力相连接,让我们能够将海量复杂的数据转换为价值。除此之外,分析能力的取得不再依赖建造超级计算机。也就是说,任何能够运用大数据的企业、政府部门或个人都能提高决策能力。
分析所谓“非结构化数据”的能力作用巨大(更多内容见第3章)。基本上,非结构化数据不易存储,在传统格式和数据库(如电子邮件交流、社交网络帖子、视频内容、照片、录音和声音等)中难以索引。将无序复杂的数据与更传统的数据融合是价值所在。许多公司开始利用大数据分析技术完善传统数据分析流程,以增加利润,提升认识,更明智地决策。从效果上看,大数据应该指代智能数据,同时,我认为大数据一词会逐渐消失,而智能数据的收集和使用必将长存。
谁是大数据用户?
该领域主要选手是:亚马逊、谷歌、沃尔玛和Facebook 等巨头,且已经取得相当成就。例如,沃尔玛每小时处理的消费交易超过100万次,交易数据所占空间为500万亿字节。沃尔玛现在可将数据与多种资源联系在一起,包括客户历史采购记录和手机定位信息、内部存货控制记录、社交媒体和外部来源消息(如天气),并发起定向促销活动。例如,如果你从沃尔玛买了烧烤相关的产品,你的位置处在距离一家沃尔玛门店 3 英里半径范围内,且阳光明媚,沃尔玛就会向你的手机发送一张烧烤架清洁剂打折券!
另一个例子是我的一个客户,那是一家经验丰富的通信公司,正在使用大数据分析预测消费者满意度和潜在流失率。根据电话、短信和社交媒体数据分析,该公司能将消费者分成不同的类别。分析显示,某类消费者更倾向于取消订单,转投竞争者。这类极为有用的信息帮助该公司密切监测消费者满意度,并采取优先措施防止流失,维持满意度。
今天,即使是中端车也配有40个微处理器监测运行状况。这些电子设备通常占新车成本的三分之一左右。当然,汽车制造商产生、收集并分析这些信息也带来了明显的竞争优势。一家汽车公司与第三方分析公司合作发现,一台由德国供应商提供的油箱传感器性能糟糕。该汽车公司可以告知供应商,要求他们修复,但是与该供应商合作的其他公司也能享用这个改进。所以,该公司开发了一个软件补丁修复这一问题,申请专利,然后将其回卖给了供应商。
大数据正在改变商业本质,重塑制造业、保健、零售、农业等各行各业。每个可感知活动的信息率和可收集的信息量意味着,在微调流程和业务操作,以及消除后一点低效率方面,机遇越来越多。
公司是如何运用大数据的
不同行业对此的回应方式不一。零售行业尽可能地收集消费者生活的各类信息,以期高效地满足不断变化的消费需求。制造业寻求精简流程,记录和改良装备校准设定,监测产品存储环境,调节周围环境,限度地降低流失和浪费。
对跨国公司来说,这意味着从全球工厂收集和分析信息,然后研究细微变量,消化和理解研究成果。
例如,2013年,制药巨头Merck公司使用分析技术大幅降低由生产环境条件变化导致的浪费。该公司在三个月的时间里,针对550万批次疫苗的独立生产数据进行了共150亿次运算。这使得他们发现发酵过程中的工况,一旦美国食品药品管理局批准,可大幅提高产出。
2014年,机动车研究中心的一份报告显示,先进的IT解决方案和大数据带来的进步是“创新引擎”。该报告强调了机动车和汽车行业正在日趋复杂化,是汽车制造商的挑战。
每台机器和每个人在产品制造过程中的效率都可以得到记录,这样公司知道什么有效,以及如何做出必要改进。
在农业方面,数据分析正在为应对粮食增产的挑战做出贡献,专家预测,到2050 年,世界粮食产量必须提高 60%才能养活不断增加的人口。拖拉机和农机制造商John Deere公司已经在其产品中安装传感器。农户可访问myjohndeere.com获取数据,一项名为Farmsight的服务帮助农民为农作物生长创造条件。而且,该数据还能帮助John Deere公司推测零部件更换需求。
当然,对企业来说,产品种出来或生产出来后还要卖出去。零售巨头收集的包括你我在内的顾客信息告诉他们,谁会买什么,以及何时何地购买。例如,亚马逊使用S3系统监测数百万条存货信息,这些存货位于全球数十个仓库和分销中心。操作员能实时追踪送货信息,了解货物位置和去向。
在销售时,零售商使用数据决定存货的展示位置,发现哪家门市销售的某款产品多,并追踪消费者的店内移动方式。优惠卡不是什么新事物,但是对消费习惯日益复杂的分析会让商家多派发优惠卡,从而预测消费者的购买选择。这项技术的进步让亚马逊相信,很快,在你买东西之前,精准预测就会使优惠卡派发到你的手中。
互联性也在改变着商业形态。2014年,Cisco公司宣布,将为在融合虚拟和实体世界领域打拼的初创企业提供1.5亿美元的资金。对一个企业来说,将生产、库存控制、分销和安全系统互联互通,会极大地提升效率并减少浪费。GE 公司将数据和机器的融合称为“产业互联网”,并认为此举将为全球产业避免1500亿美元的浪费。
工业的各个领域都在学习利用大数据分析技术,显然,发现收集、存储和分析数据的新方法,将是可预见的未来中企业发展的重头戏之一。
即使是人力资源管理这样主观和人性化的事物也在经历大数据变革。发现和留住合适的人才是多数企业面临的棘手问题。人才管理充满挑战,失败的管理和领导层会带来严重损失。据估计,管理层失败的平均成本为270万美元。 3公开数据显示,糟糕领导的比例在33%到67% 之间。也就是说,目前,三分之一到三分之二的领导层人员都是不称职的。
不仅是财务成本,失败的高管任命也会带来客观的隐性成本,包括流失的机遇、不理想的公共关系、品牌损失、生产率低下,以及员工离职和疏远。糟糕的领导对员工士气的影响很严重:40%的美国雇员认为工作有压力;75%的成年工作者表示,工作中的压力来自直接上司。任何职位上的任何失误都可能造成事故。而首席执行官或领导者的错误任命则可导致灾难。
要知道,雇员是公司重要的资产,也可能成为的负债,这是有数据支撑的。难怪,企业会对诸如Evolv等大数据解决方案感兴趣。
Evolv是一个软件工具,将来自13个国家、18个行业的5亿多个数据点融合在一起,囊括燃气价格、失业率、社交媒体使用、居民旅行或工作时间、与经理的沟通频率等各项内容,协助评估并了解员工和候选人。尽管数据收集方式包括富有争议的智能门禁卡(可监控雇员动作和与他人互动的内容 ,但包括美国银行在内的客户对此很满意。
据称,仅通过允许更多的员工一起休息的方式,美国银行就将绩效标准提升了23%,将压力水平(通过测量被试者声音取得)降低了19%。
该软件正在被用来进行多项预测, 包括雇员在一份工作上的停留时间。Evolv也得到了一些既神奇又意想不到的结论,例如,一些类型的工作中(比如呼叫中心),有犯罪记录的雇员表现好于没有犯罪记录的雇员。还有,改变电脑上默认的浏览器设置,使用非标准浏览器(如Firefox或Chrome)的雇员表现好于使用电脑默认浏览器(如Internet Explorer或Safari)的雇员。(当然,现在大家也都知道,人们可以操纵预测因素,在采访前,改变默认的浏览器设置,从而使预测无效。)
尽管此类大数据分析目前聚焦于客户服务领域,但引起高管层的关注也只是时间问题。当然,提升高管绩效对公司的益处巨大,因此,大数据解决方案当然值得考虑。根据研究机构经济学人智能库(Economist Intelligence Unit)的数据,2010年以来,逾半数的人力资源管理部门采用了数据分析技术。
“Bernard 在大数据领域见地超群,他这本书的出现也是非常及时的。就在我们对大肆鼓吹的保障感到失望时,他给我们带来这本大数据专著,并阐明了且可信的方法(SMART 数据分析思维)来应对我们这代人面临的机遇(或挑战)。别再找借口了!”
——Richard Phillips ,Barclay 数据分析总监
“真是一次让人深思和愉快的阅读体验!有效且简约的 SMART 模型让人人都能以多种方式运用大数据——提升盈利能力,留住客户,赢得体育比赛等,不一而足!在如何更好地帮助公司利用内部数据方面,每章都能激发新想法,发现新机遇。”
——Marcus Barlow ,美国运通运营总监
“数据和分析推动我们工作的方方面面。本书是 2015 年数据领域的必看指南。真是一本好书!”
——Henrik von Scheel ,谷歌、EMEA 和和 Gazprom 等公司咨询委员会成员
LEADing Practice 公司 CEO
“在将一系列复杂的话题整合成清晰的观点以供从业者参考方面,Bernard Marr 是大师。在他的新作中,Bernard 将有关大数据的海量信息精炼成一本简洁且实用的 SMART 方法论,有助于组织机构从一系列令人眩晕的数据、工具和技术中提取出真正的价值。”
——Wayne Eckerson ,Eckerson 集团首席顾问
“Bernard Marr 又来了——选择一个复杂的主题,将其分解成简洁的模块,以供商业领袖们汲取利用大数据机遇方面的实用策略。”
——Dave Kellogg ,HostAnalytics 公司 CEO
“这是一本智者所著的智慧之书。Bernard Marr 抛开种种对大数据的溢美之词,为寻求竞争力提升的经理人提供真实的案例研究和切实的行动要点。”
——Lars Rinnan ,Nextbridge 公司 CEO
“本书将助你揭开大数据的神秘面纱。人们谈论大数据时抛出的时髦词汇和专业术语造成的迷惑也将迎刃而解。本书列举了大量组织机构利用多种形式的数据达成商业目标的范例,其提出的 SMART 方法也将助你避免一个常见而又代价不菲的错误,即收集了海量数据,却不知如何利用。”
——Robert Stackowiak ,Oracle 公司数据架构和大数据部副总裁
“Bernard Marr 是个聪明人,他在本书中描绘了大数据的世界,提供了分析,讲解了大数据将如何彻底改变商业世界,让本书读起来非常令人愉悦。”
——Kai Mertins 教授,Interop VLab 公司总裁
“大数据仅仅只是当下的一个热词,还是具备实际商业应用价值的新概念呢?Bernard Marr 没有对大数据进行吹捧,而是为商业人士提供了一个智能解决方案,助他们理解自身定位、发展目标以及如何利用数据和工具实现目标。”
——Roberto Croci ,经理人,谷歌分析师(SEEMEA )
“我会向那些希望实施数据驱动战略的人推荐本书。SMART 方法论是大数据分析战略关键概念的简明方法。”
——Benjamin Mercier ,Barclays 银行副总裁,高级数据分析经理
“对寻求利用信息爆炸和信息分析提升生产力的经理人来说,Bernard Marr 的这本书提供了既浅显又实用的操作指南。 Marr 令人信服地超越了人们对大数据的传统理解(即大数据仅仅是商业操作催生的一个技术问题),将其解读为一种根植于领导力和战略领域的管理问题。他告诉读者,如果不能理解数据或不能将这样的理解与人分享,数据就是无意义的。”
——Robert M. Mauro ,博士,波士顿学院和全球领导力研究院院长、创始人
“当今世界,过去两年产生的数据占了人类历史数据总量的 90%,大数据和相关分析为消费者、企业和政府提供了大量机遇。Bernard 的这本书应该成为经理人的必读书,因为它是一本理解第四类生产要素(即数据)真实价值的实用指南!本书为你拨开大数据的光环。运用 Bernard 提出的SMART 数据分析思维会让你使用数据驱动的决策机制大幅提高绩效。”
——Berry Diepeveen ,Ernst & Young 会计师事务所企业情报和分析部合伙人
“这是一本实用、深刻且诚恳的大数据之书,它展示了大数据对我们生活和业务影响的方方面面。Bernard 是一位化繁为简的大师和意见领袖,他对大数据的呈现方式让所有的人都能理解。”
——Nandhini Sampath ,Cisco 系统公司业务转型和分析部高级经理
“Bernard 凭借多年的经验,绘制了实用的路线图,让你快速理解大数据之旅带来的收获。”
——Kurt J. Bilafer ,ClearStory Data 公司副总裁
“在 Bernard Marr 的帮助下,你可以绕过与管理学热词(即大数据)相关的种种聒噪,他提醒我们‘海量数据并没有价值,除非我们对其加以利用’,以及‘现状是多数企业掌握大量数据,但是缺乏洞见’。本书的建议是聚焦 SMART 数据分析思维,而不是大数据本身。这么做后,你就能利用数据优势,建立智能业务。”
——Paul Barnett ,战略管理论坛创始人兼 CEO
“在这样一个无组织而又充满机遇的世界,我终于找到了一个连续性框架,从而让大数据成为我们业务战略执行的切实部分。这无关技术,而是在于如何转变业务模式以应对新世纪的挑战。”
——Pedro Pereira ,SAP 公司 SAP 大数据部负责人
“与其他大数据相关的书籍不同,本书的焦点在于大数据的商业价值。本书分步骤讲解,利用多个实战案例告诉我们如何将数据转化成睿智的洞见,并以此改变我们处理商业、社会、政治和健康问题的方式。Bernard为那些想要理解数据和分析革命的人们写成了一本必读之书。”
——Lucile Hyon-Le Gourrierec ,IBM 法国分公司大数据及分析营销部负责人
“遇到与 IT 相关的问题时,公共和私营部门的董事会成员和高管们选择逃避,给股东和纳税人带来损失。别再对大数据犯同样的错误了!毫无疑问,受技术和商业模式创新驱动的大数据和数据分析技术会深刻地重塑和颠覆现有的产业、经济和社会格局,影响空前。Bernard Marr 以发人深思和扣人心弦的方式,为我们深刻地阐释了智能革命之核心——大数据的力量。大数据让人不忍释卷。”
——Marie Johnson
数据商业中心首席数字官、前微软全球公共服务和数字政府部总监