前言

本书的编写受益于中央财经大学联合中国人民大学、北京大学、中国科学院大学和首都经济贸易大学五所高校与政府部门和产业界联合共建的大数据分析硕士培养协同创新平台。我有幸作为该平台主要课程设计和讲授的教师之一, 负责大数据分析方向研究生课程\大数据分布式计算" 的建设和教学。本教材是以该课程2014|2015 年的教学内容和讲义辅以教学案例为蓝本编写的。

目前市面上与大数据相关的计算类书籍有很多, 但是均面向计算机相关专业人员。有的侧重于大数据分布式平台Hadoop 或者Spark 的架构, 有的侧重于大数据计算相关计算机语言介绍, 有的侧重于大数据平台的系统开发, 但是针对大数据分析最为重要和骨髓部分之一的统计模型, 相关实践类书籍还相对较少。

本书侧重于统计和机器学习模型在大数据分布式平台的应用, 从案例入手, 介绍常见统计模型的大数据分布式计算原理。基于单机共享内存背景开发的统计软件很难直接应用于分布式存储的海量数据。对于初学者而言, 在大数据平台下, 即便是开发简单的回归模型或者逻辑斯蒂模型都非常困难, 更不用说复杂的统计、机器学习算法, 这直接阻碍了高效的统计模型在大数据中的开发和部署。

考虑到数据相关工作者在企业实际策略开发和建模中R 语言与Python 语言是基础语言, 为了方便相关读者快速入门, 本书的主要语言采用R 语言和Python 语言, 但是本书中提到的大数据建模思想是不受语言限制的, 读者可以根据自己擅长的语言实现相关模型的大数据开发。

与传统的大数据计算类书籍不同, 本书的侧重点是统计模型的实际案例解决, 因此本书每章均附有较完整的统计案例。考虑到市面上对于大数据平台的搭建和配置书籍已经很多,而且对于企业而言, 这样的平台往往已经很完善, 本书淡化了该部分, 感兴趣的读者可以参考相关书籍或者本书的附录。

本书按照如下结构组织: 第1 章介绍大数据分布式计算的背景和基于R 语言和Python语言的单机并行原理, 让读者熟悉分布式的基本概念。第2 章介绍目前流行的大数据分布式计算框架Hadoop 的历史、文件存储系统以及大数据分布式计算的各个击破原理, 即MapRe-duce。与Hadoop 相关的安装配置参见附录A。第3 章介绍现有大数据分布式平台中常见的统计模型的原理以及案例分析。与之相关的Mahout 安装和配置参见附录B。第4 章以多个案例的形式介绍如何在大数据平台开发常见统计模型。第5 章介绍分布式文件系统的访问和操作。与此相关的Hive、HBase 的安装参见附录C 和附录D。第6 章对学有余力的读者介绍Spark 平台下统计分析的基础, 并配有PySpark 使用基础和基于Scala 语言的案例。附录E 介绍Spark 和Scala 的安装和配置。

在此要特别感谢中国人民大学统计学院吕晓玲老师以及李天博、王小宁、丁维悦、曹昕、李荣庆、王张浩、王高斌同学在本书的编写过程中对文字和内容的大力贡献。感谢参加五校大数据分析方向研究生课程的同学对本书案例的贡献, 他们是成慧敏、陈思聪、陈晞、刘利恒、刘智彬、魏诗韵、吴雅雯、辛思、张楚妍、张诗玉、赵哲汇、郑巧筠、朱述政。没有吕老师和几位同学的协助, 就没有《大数据分布式计算与案例》一书的最终及时成稿。感谢百度大数据部高级工程师康雁飞博士、中央财经大学统计与数学学院方剑和刘静同学对本书的认真校对。

由于编写时间仓促和本人水平有限, 书中的错误和纰漏一定有很多, 恳请读者不吝指出以便作出修正。