Contents?目 录

前言

第1章企业大数据战略定位 1

1.1宏观 1

1.2微观 4

1.2.1资源协同 5

1.2.2战略定位 6

1.2.3启动契机 7

1.2.4大数据历程 9

1.3本章小结 12

第2章企业大数据职能规划 13

2.1大数据组织架构体系 13

2.1.1大数据部门在企业中的角色 13

2.1.2常见的大数据职能及职责 17

2.2大数据职位构建体系 24

2.2.1基础平台类 24

2.2.2数据管理类 26

2.2.3技术研发类 27

2.2.4产品设计类 30

2.2.5数据挖掘类 32

2.2.6数据分析类 33

2.3大数据制度和流程规范 35

2.3.1制度和流程规范意义 35

2.3.2制度和流程规范内容 35

2.3.3制度和流程规范模板 42

2.4本章小结 44

第3章企业大数据解决方案 45

3.1企业大数据解决方案实现方式 45

3.1.1独立研发 45

3.1.2第三方解决方案 46

3.1.3联合开发 57

3.2如何选择解决方案 58

3.2.1外部环境分析 58

3.2.2内部环境分析 59

3.2.3需求规划分析 62

3.2.4解决方案特性分析 63

3.2.5解决方案费用评估 67

3.3本章小结 70

第4章企业大数据自主实施思路 71

4.1制定规划原则 71

4.1.1价值性 71

4.1.2实时性 72

4.1.3高效性 72

4.1.4安全性 72

4.1.5延展性 73

4.1.6全局性 74

4.2制定目标蓝图 75

4.3制定建设目标 76

4.4明确组织规划 78

4.4.1组织结构设计的作用 79

4.4.2组织结构设立的导向 79

4.4.3组织结构的最终设立 81

4.5设计技术方案 85

4.5.1大数据系统建设方案 85

4.5.2大数据系统与传统BI的融合方案 91

4.6制定人才规划 94

4.6.1指导思想 94

4.6.2规划原则 94

4.6.3核心内容 95

4.7投入产出评估 97

4.7.1数据投入与产出的内涵 97

4.7.2数据投入与产出的特征 98

4.7.3数据投入与产出的管理 99

4.8数据风险管理 105

4.8.1数据风险管理的概念 105

4.8.2数据风险管理的类型 106

4.8.3数据风险管理的原则 109

4.8.4数据风险管理与控制 110

4.9本章小结 114

第5章大数据技术介绍 115

5.1核心技术 115

5.1.1Hadoop生态 115

5.1.2NoSQL 142

5.1.3实时计算 150

5.1.4全文检索 160

5.2相关技术 204

5.2.1数据可视化 204

5.2.2数据缓存 220

5.2.3中间件 227

5.2.4关系型数据库 236

5.2.5数据ETL 245

5.3大数据算法库 250

5.4本章小结 276

第6章大数据架构设计 277

6.1大数据架构设计原则 277

6.2大数据核心架构要素 279

6.3大数据架构设计模式 284

6.4本章小结 289

第7章大数据技术开发 290

7.1数据采集 290

7.1.1批量采集 291

7.1.2增量采集 292

7.2数据存储 293

7.2.1HDFS文件存储引擎 294

7.2.2Hive数据存储引擎 295

7.2.3HBase列式存储引擎 295

7.2.4MySQL关系型数据存储引擎 296

7.3多维计算 296

7.4功能服务 299

7.5平台管理 301

7.5.1监控管理 301

7.5.2调度管理 302

7.5.3权限管理 304

7.6应用域 307

7.7本章小结 308

第8章大数据工作流 309

8.1数据源 310

8.1.1日志/文件 310

8.1.2数据库 310

8.1.3网络爬虫 311

8.1.4第三方API/合作 311

8.2数据处理 312

8.2.1数据质量校验 312

8.2.2清洗转换 316

8.2.3质量提升 320

8.2.4数据脱敏 321

8.2.5集成整合 323

8.3数据存储 324

8.3.1关系型数据库 324

8.3.2分布式文件系统 325

8.4数据计算 325

8.4.1三种数据计算时效性 325

8.4.2结构化数据计算 327

8.4.3半/非结构化数据计算 333

8.4.4深度挖掘学习 360

8.5数据应用 376

8.5.1辅助决策 376

8.5.2数据驱动 377

8.6数据质量管理 379

8.6.1数据质量建设的内涵 379

8.6.2影响数据质量的常见因素 380

8.6.3数据质量建设的框架 381

8.7本章小结 392

第9章企业大数据业务应用 393

9.1大数据应用场景概述 393

9.1.1场景商业目的分析 394

9.1.2场景数据来源分析 394

9.1.3场景数据难易分析 397

9.1.4场景应用举例 397

9.2用户画像 407

9.2.1业务应用背景 407

9.2.2主要实现过程 408

9.2.3关键应用场景 414

9.2.4应用价值提炼 415

9.2.5场景总结回顾 417

9.3个性化营销 419

9.3.1业务应用背景 419

9.3.2主要实现过程 421

9.3.3关键应用场景 424

9.3.4应用价值提炼 425

9.3.5场景总结回顾 426

9.4精准广告 427

9.4.1业务应用背景 427

9.4.2主要实现过程 429

9.4.3关键应用场景 438

9.4.4应用价值提炼 439

9.4.5场景总结回顾 440

9.5征信 441

9.5.1应用场景背景 441

9.5.2主要实现过程 442

9.5.3主要应用场景 447

9.5.4应用价值提炼 449

9.5.5场景总结回顾 449

9.6本章小结 450

第10章 企业大数据价值评估 451

10.1 资产价值 451

10.1.1 数据规模 451

10.1.2 数据价值度 452

10.1.3 数据鲜活性 454

10.1.4 数据关联维度 454

10.1.5 数据粒度 455

10.2 业务价值 455

10.2.1 用户体验提升 455

10.2.2 运营优化 457

10.2.3 销售贡献 460

10.2.4 供应链优化 461

10.3 本章小结 462

第11章 大数据的社会价值 463

11.1 民生价值 463

11.2 政务价值 465

11.3 产业价值 468

11.4 本章小结 470

第12章 大数据当前问题及挑战 471

12.1 数据挑战 471

12.2 安全挑战 472

12.3 价值挑战 474

12.4 认知挑战 475

12.5 技术挑战 478

12.6 人才挑战 480

12.7 本章小结 481

第13章 大数据未来趋势 482

13.1 价值资产化 482

13.2 产业生态化 487

13.3 主体社会化 490

13.4 应用智能化 491

13.5 本章小结 492