姗姗来迟的果实
2021年也接近一半了,过去的2020年对谁都是不平凡的一年,对我尤是。
2020年在各位编辑老师的帮助下,对书进行了微调,终于在2021年要跟读者见面了,虽然整个战线由于疫情原因被拉了很长,但现在心里依然很激动。
这是一本关于Hadoop 3的书,书的名字叫《Hadoop 3实战指南》
其实本书按原先的计划是打算在2020年跟大家见面的,当时国内并没有关于Hadoop 3的相关书籍,而当时正在搞一些Hadoop 3的事情,所以我就打算把自己对Hadoop 3的理解以及工作之后在从事Hadoop相关工作时积累的经验分享给大家,所以就有了这本书,由于本人能力有限,书中难免会有理解不到位的地方,请各位大佬帮忙指正。
本书长这个样子,预计5月份在各大电商开售。
本书目录:
第1章 Hadoop
1.1 简介
1.1.1 Hadoop 1.0
1.1.2 Hadoop 2.0
1.2 Hadoop 3.0
1.3 阅读 Hadoop 源码
1.3.1 单元测试
1.3.2 断点调试代码
1.4 小结
第2章 HDFS
2.1 HDFS 简介
2.2 解析NameNode中的元数据及其内存结构
2.2.1 解析NameNode中的元数据
2.2.2 解析NameNode的内存结构
2.3 解析NameNode的HA功能
2.3.1 基于QJM的HA
2.3.2 故障转移
2.3.3 多NameNode模式
2.4 HDFS 的 Federation
2.4.1 基于 viewfs 的 Federation
2.4.2 基于Router的Federation
2.5 纠删码
2.5.1 纠删码的原理
2.5.2 HDFS EC
2.5.3 HDFS EC 的实现
2.5.4 对比HDFS EC策略与三副本策略
2.6 下一代对象存储系统Ozone
2.6.1 Ozone 初体验
2.6.2 Ozone 架构
2.7 小结
第3章 YARN
3.1 YARN 简介
3.2 解析ResourceManager的HA功能
3.2.1 故障转移
3.2.2 数据恢复
3.3 YARN Federation
3.3.1 架构
3.3.2 Router
3.3.3 State Store和Policy Store
3.3.4 AMRMProxy
3.3.5 跨子集群运行
3.4 中央调度器
3.4.1 Capacity 调度器
3.4.2 Fair 调度器
3.4.3 调度扩展
3.5 分布式调度器
3.5.1 分布式调度器的架构
3.5.2 opportunistic container
3.6 YARN Shared Cache
3.6.1 资源本地化
3.6.2 Shared Cache 的架构
3.6.3 Shared Cache 实例
3.7 小结
第4章 Application on YARN
4.1 MapReduce 的简介
4.2 MapReduce 的源码分析
4.2.1 InputSplit
4.2.2 环形缓冲区
4.2.3 溢写和归并
4.2.4 Shuffle
4.3 MapReduce on YARN
4.3.1 YARN 的事件机制和状态机机制
4.3.2 MR ApplicationMaster
4.4 Application on YARN
4.5 小结
第5章 实战指南
5.1 Hadoop 3.x 的部署
5.1.1 Hadoop 3.x HA的部署
5.1.2 Hadoop 3.x Federation 的部署
5.2 Hadoop 升级
5.2.1 Hadoop 2.0 升级为 Hadoop 3.0
5.2.2 Hadoop 3.0 降级为 Hadoop 2.0
5.2.3 升级/降级中遇到的问题
5.3 二次开发
5.3.1 与其他自研系统融合
5.3.2 自身功能扩展之自动识别修复后的数据盘
5.3.3 合并社区 Patch
5.3.4 提交PullRequest
5.4 周边系统平台
5.4.1 任务调度平台
5.4.2 监控平台
5.4.3 集群诊断分析平台
5.5 小结
希望大家多多支持,有什么问题可以随时找我沟通。