《大型网站系统与Java中间件实践》围绕大型网站和支撑大型网站架构的 Java 中间件的实践展开介绍。从分布式系统的知识切入,让读者对分布式系统有基本的了解;然后介绍大型网站随着数据量、访问量增长而发生的架构变迁;接着讲述构建 Java 中间件的相关知识;之后的几章都是根据笔者的经验来介绍支撑大型网站架构的 Java 中间件系统的设计和实践。希望读者通过《大型网站系统与Java中间件实践》可以了解大型网站架构变迁过程中的较为通用的问题和解法,并了解构建支撑大型网站的 Java 中间件的实践经验。对于有一定网站开发、设计经验,并想了解大型网站架构和支撑这种架构的系统的开发、测试等的相关工程人员,《大型网站系统与Java中间件实践》有很大的参考意义;对于没有网站开发设计经验的人员,通过《大型网站系统与Java中间件实践》也能宏观了解大型网站的架构及相关问题的解决思路和方案。
推荐购买:
《ZeroMQ:云时代极速消息通信库》
大规模|可扩展|低成本|高效率解决之道,大规模分布式|多线程应用程序|消息传递架构构建利器
《从Paxos到Zookeeper:分布式一致性原理与实践》
分布式一致性及ZooKeeper实战力作 来自国内大型、复杂、悠久系统
《ElasticSearch:可扩展的开源弹性搜索解决方案》
ES技术书 剖析这一快速、灵活、可扩展的搜索解决方案
《Spark大数据处理技术》
(Shark|Spark SQL|Spark Streaming|Graphx|Tachyon深度解密Spark完整生态 Committer凝聚实力与超前视野 Spark创始人及实践先驱联合推荐)
《Hadoop硬实战》
学习Hadoop和Mapreduce不二之选 85个Hadoop高级技巧实战案例
《写给大忙人看的Java SE 8》
Java 8极佳入门 将lambda|JavaFX|Nachorn等诸多新特性完整覆盖 Horstmann大师新作 从头学语言与专业人士跟进新版皆宜
《大型网站系统与Java中间件实践》
到底是本什么书,拥有这样一份作序推荐人列表:阿里集团章文嵩博士|新浪TimYang|去哪网吴永强|丁香园冯大辉|蘑菇街岳旭强|途牛汤峥嵘|豆瓣洪强宁|陈皓/林昊……
这本书出自技术部总监之手,他也是近10年来历次技术飞跃的参与者、贡献者和带领者,其中的经验直接来自服务框架、消息中间件及数据访问层。
《技术这十年》勾勒出Java技术变迁波澜壮阔的轮廓,本书则给出详尽、深入、系统的解读与演示,实用到足以让任一层级的学习者如获至宝。
看过的人无不暗中叫它“那些年我们一起走过的坑”,领略超大型网站陈年积淀的宝贵经验、经验丰富思路和具体手法,后来者就有机会弯道超车!
曾宪杰,现任美丽联合集团技术副总裁,花名顶天。前技术部负责人,花名华黎,2002年毕业于浙江大学计算机系。2007年加入网平台架构团队,负责构建自主的消息中间件系统,同期主导了数据层的创建,这两个产品也是中间件中较为重要的两个。2010年下半年起开始负责整个中间件团队,帮助团队成为业内知名的Java技术团队。2012年开始从中间件走向应用系统的研发工作,2013年初负责新组建的技术部。熟悉C 和Java,在多线程、并发、网络通信及支撑大型网站的中间件领域有较多经验,对新技术有浓厚的兴趣。致力于带领团队在无线、数据、业务 平台和组件化开发方面取得突破。
第1章 分布式系统介绍
1.1 初识分布式系统
1.1.1 分布式系统的定义
1.1.2 分布式系统的意义
1.2 分布式系统的基础知识
1.2.1 组成计算机的5要素
1.2.2 线程与进程的执行模式
1.2.3 网络通信基础知识
1.2.4 如何把应用从单机扩展到分布式
1.2.5 分布式系统的难点
第2章 大型网站及其架构演进过程
2.1 什么是大型网站
2.2 大型网站的架构演进
2.2.1 用JAVA技术和单机来构建的网站
2.2.2 从一个单机的交易网站说起
2.2.3 单机负载告警,数据库与应用分离
2.2.4 应用服务器负载告警,如何让应用服务器走向集群
2.2.5 数据读压力变大,读写分离吧
2.2.6 弥补关系型数据库的不足,引入分布式存储系统
2.2.7 读写分离后,数据库又遇到瓶颈
2.2.8 数据库问题解决后,应用面对的新挑战
2.2.9 初识消息中间件
2.2.10 总结
第3章 构建JAVA中间件
3.1 JAVA中间件的定义
3.2 构建JAVA中间件的基础知识
3.2.1 跨平台的JAVA运行环境——JVM
3.2.2 垃圾回收与内存堆布局
3.2.3 JAVA并发编程的类、接口和方法
3.2.4 动态
3.2.5 反射
3.2.6 网络通信实现选择
3.3 分布式系统中的JAVA中间件
第4章 服务框架
4.1 网站功能持续丰富后的困境与应对
4.2 服务框架的设计与实现
4.2.1 应用从集中式走向分布式所遇到的问题
4.2.2 透过示例看服务框架原型
4.2.3 服务调用端的设计与实现
4.2.4 服务提供端的设计与实现
4.2.5 服务升级
4.3 实战中的优化
4.4 为服务化护航的服务治理
4.5 服务框架与ESB的对比
4.6 总结
第5章 数据访问层
5.1 数据库从单机到分布式的挑战和应对
5.1.1 从应用使用单机数据库开始
5.1.2 数据库垂直/水平拆分的困难
5.1.3 单机变为多机后,事务如何处理
5.1.4 多机的SEQUENCE问题与处理
5.1.5 应对多机的数据查询
5.2 数据访问层的设计与实现
5.2.1 如何对外提供数据访问层的功能
5.2.2 按照数据层流程的顺序看数据层设计
5.2.3 独立部署的数据访问层实现方式
5.2.4 读写分离的挑战和应对
5.3 总结
第6章 消息中间件
6.1 消息中间件的价值
6.1.1 消息中间件的定义
6.1.2 透过示例看消息中间件对应用的解耦
6.2 互联网时代的消息中间件
6.2.1 如何解决消息发送一致性
6.2.2 如何解决消息中间件与使用者的强依赖问题
6.2.3 消息模型对消息接收的影响
6.2.4 消息订阅者订阅消息的方式
6.2.5 保障消息性的做法
6.2.6 订阅者视角的消息重复的产生和应对
6.2.7 消息投递的其他属性支持
6.2.8 保障顺序的消息队列的设计
6.2.9 PUSH和PULL方式的对比
第7章 软负载中心与集中配置管理
7.1 初识软负载中心
7.2 软负载中心的结构
7.3 内容聚合功能的设计
7.4 解决服务上下线的感知
7.5 软负载中心的数据分发的特点和设计
7.5.1 数据分发与消息订阅的区别
7.5.2 提升数据分发性能需要注意的问题
7.6 针对服务化的特性支持
7.6.1 软负载数据分组
7.6.2 提供自动感知以外的上下线开关
7.6.3 维护管理路由规则
7.7 从单机到集群
7.7.1 数据统一管理方案
7.7.2 数据对等管理方案
7.8 集中配置管理中心
7.8.1 客户端实现和容灾策略
7.8.2 服务端实现和容灾策略
7.8.3 数据库策略
第8章 构建大型网站的其他要素
8.1 加速静态内容访问速度的CDN
8.2 大型网站的存储支持
8.2.1 分布式文件系统
8.2.2 NOSQL
8.2.3 缓存系统
8.3 搜索系统
8.3.1 爬虫问题
8.3.2 倒排索引
8.3.3 查询预处理
8.3.4 相关度计算
8.4 数据计算支撑
8.5 系统
8.6 应用监控系统
8.7 依赖管理系统
8.8 多机房问题分析
8.9 系统容量规划
8.10 内部私有云
后记
由于2007年一个很偶然的机会,我加入了淘宝平台架构组,职位是C 工程师。然后我就在只完成了C语言的一个小功能后,开始了Java中间件的研究生涯。从2007年下半年到2013年年初,近6年时间我都在和支撑整个网站应用的Java中间件打交道——从设计实现消息中间件到参与数据访问层设计,再到负责整个Java中间件团队,我也从一个不太懂Java的C 工程师成长为对Java中间件有一定了解和积累的工程负责人。在这个过程中,我也有幸参与了淘宝从集中式的Java应用到分布式Java应用的架构变迁。
本书从分布式系统说起,然后介绍大型网站的变迁中遇到的挑战和应对策略,接着讲解Java中间件的内容,重点介绍了笔者在实践中自主开发的支撑大型网站应用的几个Java中间件产品,包括对它们的思考及其设计和实现原理。介绍了支撑大型网站的其他基础要素,包括CDN、搜索、存储、计算平台,以及运维相关的系统等内容。
通过阅读本书,笔者希望读者能够尽量完整地了解大型网站的挑战和应对办法,并且能够了解淘宝在大型网站变迁过程中产生的这几个中间件的具体产品及其背后的思考和设计,并能够对除中间件之外的支撑大型网站的其他系统有一定的了解。希望初学者能够更多地关注全貌,也希望有相关经验的人士可以从本书中得到一些启发,汲取一些经验。
2013年5月,我的岗位有了调整,在接下来的时间中我将带领淘宝技术部承担淘宝业务应用的开发工作。这本书也是对自己淘宝中间件6年工作生涯的一份纪念。
要说的是,能够完成本书有很多的人要感谢,首先要感谢淘宝给我这么好的平台和机会,没有这个机会就不会有本书。然后也非常感谢太太王海凤对我的支持,4年前和林昊合著《OSGi原理与实践》一书的时候,我们刚谈恋爱,我把很多本应陪你的时间用在了写作上;4年后,我又把本应陪你和儿子的时间用在了写作上,没有你的支持和理解,我不可能完成这次写作。也要感谢我的父母、岳父母、姑姑和小表妹,有你们照顾宸宸,我才能专心地写作本书。
曾宪杰
2013年11月于杭州
通过这本书可以学习到大量构建大型网站系统的核心技 术,以及支撑大型网站的Java中间件的必备知识。作者在超大型电子商务网站的多年实战经验使得本书的内容具有价值。 如果你所在的技术团队正在因面对大型网站而一筹莫展,或 许你可以从这本书中得到启发。另外,如果想成为Java技术架 构师,那么你也不应错过此书。 ——冯大辉 (@Fenng) 丁香园CTO
华黎是我的前同事兼好友,听说他要出版一本书,我就猜到是关于大型网站和中间件的,因为这是他的老本行。在互联网技术领域,理论永远过剩,而真正从零构建整个体系的机会少之又少,华黎是网规模高速增长、中间件体系快速发展的亲历者、核心工程师,实践后的理论才更、更务实,这是我推荐这本书的理由。 ——岳旭强(@岳旭强) 蘑菇街CTO
与宪杰认识多年,也一起在共事过不短的时间,我深知他在大型互联网系统和Java中间件领域不仅有很强的理论基础,而且有丰富的实战经验。终于看到他把多年的积淀汇集成书,由衷地为他感到高兴。拿到书稿后,我迫不及待地从头至尾拜读了一遍。这应该是国内及时本从基础知识到构建应用,从理论到实践,把Java中间件非常系统和完整地阐述清楚的书。此外,书中列举的大量实践经验与很多通用设计思路不同,甚至是相反的。这是因为当面对高并发、高访问和海量数据时,在学校中学到的知识或普通书本中看到的方法行不通。这些看似古怪或丑陋的方法,是大型互联网企业用无数血泪换来的宝贵经验。特此推荐给对构建大型互联网 系统感兴趣的读者。 ——汤峥嵘(@汤峥嵘-还在路上) 途牛CTO
要用Java构建一个大流量且有着复杂处理流程的网站,中间件技术是必须要用的技术,没有中间件就无法做到水平扩展,无法做到计算或数据集群的构建,也就无法构建一个大型网站。本书通过解决实际问题一步一步地带着你细数了用 Java 构建一个大型网站的各种技术细节和注意事项,讲解深入浅出。从系统架构到实际代码,从基础理论到实际操作,看得出来作者在中间件技术方面的丰富经验。这是一本系统得可以让你少走很多弯路的实战型技术书。 ——陈皓( @左耳朵耗子) 集团博学技术专家
拿到书稿,一读之下不禁击节赞叹!这本书对大型网站发展过程中会遇到的各种架构问题和解决方案的讨论和总结,正是我在过去多年的工作中经常碰到和思考的。真是心有戚戚焉!本书详细阐述了解决大型网站架构问题时通常都会采用的方案:服务框架、数据访问层、消息中间件、配置管理等,对为什么要做、如何做、如何权衡得失等进行了非常细致的介绍,是一本不可多得的好书。虽然本书的内容是基于Java的实现,但在架构层面,对使用任何语言的架构师和开发者都具有重要的参考价值。 ——洪强宁(@hongqn) 豆瓣网首席架构师
本书作者是Java应用架构从集中式到分布式的实际参与者,并带领构建中间件两年多的时间。本书详细说明了大型Java网站必备的三利器——服务框架、消息中间件和数据访问层——的具体设计和实现方法,其中很多是在架构演进过程中摸爬滚打的实战经验和血泪教训。书中的内容一方面有助于开阔视野,另一方面大量宝贵的实战经验可以给需要做类似产品的读者带来不小的帮助。 —— 林昊 集团博学技术专家有助于开阔视野,另一方面大量宝贵的实战经验可以给需要做类似产品的读者带来不小的帮助。 —— 林昊 集团博学技术专家
知识 组成计算机的要素 10线程与进程的K执行模式 网络通信基础知识 如何把应
我本来对分布式并不是非常了解,这本书从分布式的基础到分布式中的中间件的应用。感觉这本书对分布式写的是比较全面的,很不错!
书已经收到。跟想像中像学到的东西还是有差距。学习先。
对于希望学习到相关知识的人提供了大量的理论知识~~个人觉得非常有用适合阅读
挺好的一本书,看完这本书再看一些源码,会更好。
了解一下思路还可以,但是没有何出接地气的解决方案。面试吹牛逼还是可以的
很好的书了。值得一读。书的内容都是经验之谈,已经读3遍。
书中对消息中间件的实践内容在工作中确实能够用到。
真心是喜欢这本书啊,充满了干货,一口气读了50多页,感觉真是棒。里面有很多作者自己的亲身经历,读起来非常亲切有趣,而且还非常实用。
心仪已久的书籍,但是一直没舍得买。内容很全面,对分布式感兴趣的朋友,可以读读看,一定会受益良多。
此书还不错,讲得比较全面,但是代码量和实例少了些。
这个值得推荐,涉及的东西太多了,需要好好消化,多研读几遍
阅读了前两章,觉得很赞,编写思路循序渐进,刚刚在阅读,觉得很赞所有想起来,专门来评价下。
这本书具有很高的实用价值,可以运用到实际项目中
大概看了一下,正好是我需要的分布式开发的书
看完后,对电商系统的架构演变有了认识,具有一定的方向参考性。
新出的一本关于高访问量网站的书,一些例子很不错。
本书真的很不错,需要仔细去琢磨里面的原理和道理,是大型网站系统必备书籍
一口气看了一半,忍不住来写评论,如果你要搞中间间,或者大型分布式网站,绝对是开阔视野的好书
书的质量不错,商家发货也很快,就是到年跟前了,发到兰州以后的宅急送服务态度差了点,说是15号放假,但是14号就死活不给送货了,说是已经回家了,没办法只好和同事开车找到网点自己去取的。话说宅急送的网点怎么连个门牌都没有,只有一台电脑,连办公桌都没有的。管理很不规范呀。
书中的一些宝贵经验都是作者的亲身经历,而且在中间件部分给出的一些解决方案也是实践与理论相结合,非常值得一读
内容这么好的一本书,配的纸却泛黄泛黄,和《大型网站技术架构:核心原理与案例分析》一起买的,两本书的内容都不错,但纸质真的不敢恭维。内容是很赞的!!
更像是个人总结吧。系统从小到大过程中,各种实现方案的对比和取舍,虽然比较粗,但相关的问题都提到了。可以当做是知识梳理的提纲。如果你想了解实现细节,源码永远是最好的老师。书还不错。
整体感觉不如李智慧写的《大型网站技术架构:核心原理与案例分析》,文笔有待改进
一本写架构思想的书,没有过多的技术细节,讲的比较清楚明了。对大型网站的宏观架构思想的掌握帮助很大。
不错 对大型网站关键中间件的架构设计及方案对比有深入的探讨