分布式一致性模型介绍

在阅读不同的分布式系统论文时发现,论文中经常会提到该系统实现了一个什么样的一致性模型。了解常见的几种一致性模型的定义想必会对后续的论文阅读有不少的帮助。

这篇文章的内容梳理自此前我在公司内部做的技术分享,介绍了分布式系统的一致性模型是什么,有哪些常见的一致性模型,以及常见的分布式一致性实现方式。

阅读更多

Java 内存布局与垃圾回收归纳

本文基于由周志明所著的《深入理解 Java 虚拟机》一书的第二部分的内容,同时加入了 JVM 规范以及 Oracle 官方 GC 性能调优指南中的内容,旨在能让读者更好地理解这部分知识。目前本文只会包含 JVM 内存布局与垃圾回收相关的归纳内容,如果以后有机会我会继续更新 JVM GC 调优相关的内容。如果读者对本文的内容组织有更好的建议,欢迎在下方评论处提出。

阅读更多

有效的 Git 分支模式

本文译自 Vincent Driessen《A Successful Git Branch Model》,转载时请注明原文链接。

在这篇文章中我将为大家介绍我这一年以来在工作项目和个人项目上都有在使用的开发模式,而事实也证明该模式十分有效可行。实际上,我很久以前就打算要写这篇文章了,但直到现在我才终于抽出时间来把它写完。在这篇文章中,我不会讲述任何有关具体项目的细节,但我会详细地讲述我所使用的分支策略和版本发布管理。

阅读更多

Spark SQL 论文简述

先前在读过 Spark RDD 的论文后,我从 MIT 6.824 的课程笔记中了解到,RDD 在 Apache Spark 中已经不那么常用,开发重心渐渐转移到了 Spark SQL 的 DataFrame API 上。在我第一次实习的时候其实也有读过 Spark SQL 的论文,那这次就重新读读这篇论文,总结一下吧。

阅读更多

Spark RDD 论文简析

遥想我第一次参加实习的时候,我接手的第一个项目便是 Spark 插件的开发。当时为了做好这个工作,自己看了 Spark RDD 和 SparkSQL 的论文,还在阅读 Spark 源码的同时写了好多 Spark 源码分析的文章。过去了那么久,现在便趁着学习 MIT 6.824 的机会,再来整理一下 Spark RDD 论文的内容吧。

本文由我按照 MIT 6.824 的课程安排阅读 Spark RDD 的论文以及相关课程资料并总结而来,内容会更偏向于从科研的角度介绍 Spark RDD 诞生时所需要解决的问题以及对其基本工作方式的简单介绍。

阅读更多