分布式一致性模型介绍
在阅读不同的分布式系统论文时发现,论文中经常会提到该系统实现了一个什么样的一致性模型。了解常见的几种一致性模型的定义想必会对后续的论文阅读有不少的帮助。
这篇文章的内容梳理自此前我在公司内部做的技术分享,介绍了分布式系统的一致性模型是什么,有哪些常见的一致性模型,以及常见的分布式一致性实现方式。
在阅读不同的分布式系统论文时发现,论文中经常会提到该系统实现了一个什么样的一致性模型。了解常见的几种一致性模型的定义想必会对后续的论文阅读有不少的帮助。
这篇文章的内容梳理自此前我在公司内部做的技术分享,介绍了分布式系统的一致性模型是什么,有哪些常见的一致性模型,以及常见的分布式一致性实现方式。
在这篇文章中,我们将按照 MIT-6.824 2021 Spring 的安排,完成 Lab 1,用 Golang 实现 MapReduce 分布式计算框架。
遥想我第一次参加实习的时候,我接手的第一个项目便是 Spark 插件的开发。当时为了做好这个工作,自己看了 Spark RDD 和 SparkSQL 的论文,还在阅读 Spark 源码的同时写了好多 Spark 源码分析的文章。过去了那么久,现在便趁着学习 MIT 6.824 的机会,再来整理一下 Spark RDD 论文的内容吧。
本文由我按照 MIT 6.824 的课程安排阅读 Spark RDD 的论文以及相关课程资料并总结而来,内容会更偏向于从科研的角度介绍 Spark RDD 诞生时所需要解决的问题以及对其基本工作方式的简单介绍。
在这篇博文中,我会详细阐释《Bigtable: A Distributed Storage System for Structured Data》一文中所提及的 Bigtable 的开发背景以及工作原理。
这篇文章是本人按照 MIT 6.824 的课程安排阅读《In Search of an Understandable Consensus Algorithm》一文以及相关课程资料并总结而来。
这篇文章是本人按照 MIT 6.824 的课程安排阅读《The Design of a Practical System for Fault-Tolerant Virtual Machines》一文以及相关课程资料并总结而来。
这篇文章是本人按照 MIT 6.824 的课程安排阅读 Google File System 的论文以及相关课程资料并总结而来。
这篇文章的内容主要基于 Yarn 的论文总结而来。未来若有机会继续深入使用 Yarn,我会直接更新这篇文章的内容。
这篇文章是本人在按照 MIT 6.824 的课程安排学习 Google MapReduce 并完成对应 Lab 的基础之上总结而成。本文会详细介绍 Google MapReduce 的原理,但考虑到 Lab1 较为简单,本文不会提及 Lab1 的相关内容。部分有关 Google MapReduce 和具体代码实现的细节不会在本文中提及,读者可自行查阅 Google MapReduce 的论文原文以及本人的 MIT 6.824 Lab 代码仓库。