大数据正在改变人们的生活、社会的运行方式以及各行业的竞争生态,是提升政府治理水平和企业竞争力的核心要素。然而,政府和企业如何才能抓住大数据带来的宝贵机遇,改善公共服务、激发商业创新?推进大数据应用的进程对现有技术框架、管理机制、评价体系又有哪些新的要求?
针对这一系列问题,《大数据与智慧社会》一书做出了系统的回答。《大数据与智慧社会:数据驱动变革、构建未来世界》从全局出发,对大数据的基本内涵进行了系统描述,概括了大数据的前世今生,揭示了其哲学本质;以技术为主线,深刻剖析了大数据的技术框架,预测了大数据的技术发展趋势;理论与实践相结合,形成大数据系统评价标准;选取大数据在生活、政务、交通、医疗、金融领域落地应用的实战案例,进行深入分析和解读,以期为我国的政府治理、经济发展、企业创新提供有效的指导和帮助。
大数据与云计算、可视化技术、数据挖掘技术、系统评价标准;大数据对日常生活中的食、住、行、游、购有哪些影响?大数据在政务、交通、医疗、金融等领域有哪些重大作为?如何造就智慧社会?这本书的两位作者,一位是智慧城市领域专家,一位是大数据领域专家,二位结合各自的专长,共同打造了这本精品力作。工业和信息化部原副部长杨学山、中国工程院院士倪光南倾情作序!中国科学院微电子研究所所长叶甜春、井通网络科技有限公司执行董事兼总经理武源文、雪松控股CIO徐斌、Gartner全球高管合伙人赵光等多位行业专家联合推荐!
张克平
江苏省无锡市信息化和无线电管理局局长、北京邮电大学兼职教授、清华大学客座教授、2016中国智慧城市百城会首任执行会长,长期致力于无锡物联网和智慧城市建设并取得突出成绩,曾先后荣获“2009年中国创意策划领袖人物”“2010年中国物联网十大人物”“2011年中国城市信息化领军人物”“2011-2012年度推动中国云计算产业发展突出贡献人物”“2016中国智慧城市建设领军人物”等称号,以及“2012年中国物联网产业杰出贡献奖”“2013-2015年中国智慧城市推进杰出贡献奖”等奖项。
陈曙东
中科院微电子研究所百人计划研究员、博士生导师,长期从事分布式计算、数据挖掘领域的应用技术研究,主持了多项国家、省部级、欧盟等科技专项,发表学术论文40余篇,拥有专利与软件著作权20多项,入选国家、北京市大数据与云计算领域专家库。
第1章 大数据概述 1
1.1 什么是大数据 2
1.1.1 大数据的定义和特征 2
1.1.2 大数据的发展历程 6
1.1.3 大数据的来源 11
1.2 大数据的哲学本质 12
1.2.1 大数据与世界观 13
1.2.2 大数据与认识论 14
1.2.3 大数据与方法论 15
1.2.4 大数据与价值观 18
1.3 大数据技术框架 19
1.3.1 大数据处理系统综述 19
1.3.2 大数据平台基础 20
1.3.3 大数据存储系统 22
1.3.4 大数据计算模型 23
1.4 大数据发展趋势 26
1.4.1 大数据的技术发展趋势 26
1.4.2 大数据的应用发展趋势 30
第2章 大数据的云计算基础 33
2.1 虚拟化技术 34
2.1.1 虚拟化的概念 34
2.1.2 虚拟化技术分类 35
2.1.3 虚拟化解决方案 36
2.1.4 虚拟化技术与大数据 39
2.2 OpenStack 技术 40
2.2.1 OpenStack 概述 40
2.2.2 OpenStack 历史 41
2.2.3 OpenStack 系统架构 41
2.2.4 OpenStack 的优势和劣势 44
2.2.5 虚拟化与OpenStack 技术比较 46
2.3 IaaS 平台建设 47
2.3.1 IaaS 平台介绍 47
2.3.2 IaaS 云平台的种类 49
2.3.3 IaaS 平台设计 51
2.3.4 IaaS 平台解决方案 53
2.3.5 IaaS 平台搭建 55
第3章 Hadoop 基础组件 57
3.1 Hadoop 概述 58
3.1.1 Hadoop 简介 58
3.1.2 Hadoop 系统架构 59
3.1.3 Hadoop 的优势与不足 60
3.1.4 Hadoop 的适用场景 63
3.1.5 Hadoop 的商业模式 64
3.2 Hadoop 分布式文件系统HDFS 65
3.2.1 HDFS 的设计目标 65
3.2.2 HDFS 的基本架构 67
3.2.3 HDFS 的特点 68
3.2.4 HDFS 的优势与缺点 70
3.3 Hadoop 分布式计算框架MapReduce 72
3.3.1 MapReduce 简介 72
3.3.2 MapReduce 的运行流程 73
3.3.3 MapReduce 与DataFlow 比较 75
3.4 Hadoop 统一资源管理框架YARN 76
3.4.1 YARN 架构简介 76
3.4.2 YARN 架构框架 77
3.4.3 YARN 与旧MapReduce 框架对比 79
3.4.4 YARN 与Mesos 框架对比 79
3.5 Hadoop 分布式集群管理系统ZooKeeper 81
3.5.1 ZooKeeper 简介 81
3.5.2 ZooKeeper 总体架构 82
3.5.3 ZooKeeper 的运行模式 84
3.5.4 ZooKeeper 的设计要点 85
3.5.5 ZooKeeper 的使用 87
第4章 Hadoop 其他常用组件 89
4.1 Hadoop 数据仓库工具Hive 90
4.1.1 Hive 简介 90
4.1.2 Hive 架构设计 91
4.1.3 Hive 部署模式 92
4.1.4 Hive 与关系型数据库比较 94
4.2 Hadoop 分布式数据库HBase 97
4.2.1 HBase 简介 97
4.2.2 HBase 体系架构 97
4.2.3 HBase 性能分析 99
4.2.4 HBase 容错机制 101
4.3 Hadoop 实时流式处理引擎Storm-YARN 102
4.3.1 流式处理概述 102
4.3.2 Storm 简介 103
4.3.3 Storm 架构 105
4.3.4 Storm 与Spark Streaming 比较 106
4.4 Hadoop 交互式查询引擎 Impala 108
4.4.1 Impala 简介 108
4.4.2 Impala 架构分析 109
4.4.3 Impala 与Hive 比较 110
第5章 Spark 内存计算框架 113
5.1 内存计算与Spark 114
5.1.1 内存计算概念 114
5.1.2 内存计算分类 116
5.1.3 Spark 与内存数据处理系统 118
5.2 Spark 概述 119
5.2.1 Spark 架构 119
5.2.2 Spark 的RDD 模型 121
5.2.3 Spark 与Hadoop 的性能对比 121
5.3 Spark 核心组件介绍 122
5.3.1 Spark SQL 122
5.3.2 Spark MLlib 123
5.3.3 Spark GraphX 123
5.3.4 Spark Streaming 124
5.4 Spark 集群管理 125
5.4.1 Spark 部署方式 125
5.4.2 Spark 资源调度 126
5.4.3 Spark 任务调度 127
第6章 大数据可视化技术 129
6.1 数据可视化的基本概念 131
6.2 数据可视化的发展趋势 132
6.3 数据可视化应用与设计 135
第7章 数据挖掘技术 139
7.1 什么是数据挖掘 140
7.2 数据挖掘的流程 142
7.3 数据挖掘典型算法 143
7.4 数据挖掘与大数据 151
第8章 大数据系统评价标准 153
8.1 大数据系统评价概述 154
8.1.1 信息时代的“云大物移” 154
8.1.2 大数据项目失败的常见原因 155
8.2 评价指标选取原则 157
8.3 大数据系统评价标准 159
8.3.1 通用评价要素 159
8.3.2 专有评价要素 160
8.4 大数据系统定位 161
8.4.1 与企业战略相匹配 161
8.4.2 与企业架构相匹配 162
8.4.3 与企业需求相匹配 162
8.5 大数据价值评估模型 164
8.6 大数据质量评价 165
8.6.1 数据流程视角 165
8.6.2 数据技术视角 167
8.6.3 数据管理视角 168
8.7 大数据安全评价 169
第9章 大数据在生活中的应用 173
9.1 食:食品安全 174
案例:阿里巴巴大数据协助食品安全风险控制 175
9.2 住:智能家居 176
案例:无锡市智能家居 177
9.3 行:智能交通 177
案例:深圳市智能综合交通运行指挥中心 180
9.4 游:智慧旅游 180
案例:无锡市智慧旅游立体化营销体系 181
9.5 购:电商营销 183
案例:京东大数据营销 185
第10章 大数据在政务领域的应用 187
10.1 条块分割拖累政务发展 188
10.2 数据统筹助力决策参考 190
案例:佛山市南海区数据统筹 192
10.3 服务整合创新社会管理 193
案例:无锡市智慧城管系统 194
10.4 资源整合强化公共服务 196
案例:无锡市政务服务平台 197
10.5 数据公开辅助政府监督 200
案例:上海市利用大数据实现市场监管 201
第11章 大数据在交通领域的应用 203
11.1 频繁拥堵造就城市顽疾 204
11.2 客流分析改进公交线路设计 205
案例:北京市大数据路线优化 206
11.3 多源数据辅助交通调查 206
案例:上海市综合交通特征分析 208
11.4 整合信息优化资源配置 210
案例:无锡市智慧交通信息工程 211
11.5 智能数据释难一公里 213
案例:共享单车便捷出行 214
第12章 大数据在医疗领域的应用 215
12.1 医疗数据挖掘行业价值 217
案例:无锡市智慧健康工程 218
12.2 海量数据助推远程医疗 221
案例:中日医院基于大数据让远程医疗、分级诊疗深入临床一线 222
12.3 移动医疗缓解资源紧缺 223
案例:春雨掌上医生 224
12.4 健康数据实现精准医疗 226
案例:微软亚洲研究院利用大数据推动癌症精准医疗 226
第13章 大数据在金融领域的应用 229
13.1 交易数据饱含金融商机 231
13.2 智能分析防范金融欺诈 232
案例:天下无贼反信息诈骗联盟 235
13.3 征信预测改善金融风控 236
案例:ZestFinance 公司 237
13.4 “互联网 ”催生金融产品 239
案例:蚂蚁金服 239
参考文献 241
在大数据时代,数据科学帮助我们从数据中认识到人类社会的复杂行为模式。掌握数据知识,培养数据思维,需要进行系统的学习。我相信,这本《大数据与智慧社会》能够帮助读者从技术、思维等维度学数据知识,系统培养对大数据的认知。 ——叶甜春中国科学院微电子研究所所长 人类社会的发展在信息技术的推动下愈发智能。数据是信息的载体,也是智能的基础,本书对智慧社会的精彩讲解直指大数据本源。 ——武源文井通网络科技有限公司执行董事、总经理 未来的社会和企业都是数据化的存在,我们对数据的利用也从获取信息发展到产生知识和智慧。本书对大数据的技术和大数据的应用等多方面进行了的分解和阐述,帮助读者获得了解大数据生态的视野,值得大家仔细阅读。 ——徐斌雪松控股CIO、《大数据管理》作者 《大数据与智慧社会》能让你从相关知识的碎片中找到寻找已久的整体思路。从大数据的概念、历史、技术、应用及案例等不同的角度,你都能从书中找到想知道的内容。如果你想聚焦到某一个焦点,这本书也能为你提供一些线索。 ——赵光Gartner全球高管合伙人 未来,大数据将使大量异质性企业相互依存,形成再生、互生乃至共生的价值循环体系;将融合业务、技术,形成产业合作体系;将跨越地域、层级、部门、组织,形成社会协同体系。《大数据与智慧社会》这本书给我们认识未来产业生态带来了启发。 ——赵国栋中关村大数据产业联盟秘书长 本书作者作为业内知名专家,在不遗余力地推动大数据产业的发展。这本书的出版是他们对大数据产业的又一贡献。书中系统地描述了大数据的概念、技术、思维等重要问题,特别是在生活、政务、医疗、金融等领域的具体应用案例为我们打开了思路,启发了我们的思维。 ——张涵诚中关村大数据交易产业联盟副秘书长
货物已经收到,很喜欢,物流超级快。点赞。
朋友推荐买的,翻了翻内容确实不错!
不错,内容新颖,视野打开了,受益颇丰
专家推荐,内容充实,不仅结合了专业知识和应用,而且有许多指导案例,推荐~
大数据时代,社会如何智慧化,很想知道。希望这本书能提供指导。
这本书讲了数据科学的一些基础知识,同时也讲了一些比较专业的工具,还讲了很多行业的案例,可以借鉴
工信部原副部长杨学山、中国工程院院士倪光南等知名专家作序推荐、大数据领域大咖联袂推荐的书,份量足足的。期待从这本解析智慧社会的实战书中找到大数据的本源。
书里讲了好多案例,很有借鉴意义,可以了解一下大数据产业的具体发展。还有这些推荐人,不是见过就是经常听说,杨学山是工信部退休的老领导,倪光南也是一位很厉害的老院士,在很多大型的活动上经常见他们演讲,可以获得不少新知识。