东哥IT笔记

东哥和系统设计开荒小分队的基地

Category: System Design

1

System Design

Partition的基本概念和实现介绍

我们在之前的文章中讨论了replication的各种实现，我们都知道replication就是把同样的数据在不同的节点上保存副本。这里有一个问题，就是当数据很大的时候，我们需要把数据分成不同的部分进行保存，这个过程就称之为partition，有时也称之为sharding。 通常来说我们需要进行partition的目的并不是说磁盘的空间不够，而是更多地为了scalability，就是说当数据大了之后，query的量过大后，很多时候磁盘的IO等就会成为一个瓶颈，我们就可以把数据分散到不同的磁盘或者不同的节点上，这样就可以分散query的压力，从而提高性能。 Partition和Replication Partition之后是否就意味着每个磁盘上存储的数据就变小了呢？其实不然，很多时候我们会和replication结合起来，让剩余的磁盘保存别的partition的拷贝，通常情况下会让active的partition分散在不同磁盘或节点上，从而达到balance的目的。 举个leader-follower的例子，它在磁盘和节点上的存储可能如下图所示，理想状况下，我们希望每个节点只有一个leader，其余的是follower（当然出问题的时候，可能就会有多个leader）。...

0

System Design

无leader replication的实现和问题介绍

我们在前面的《多leader replication的实现及常见问题介绍》和《分布式系统之leader-followers Replication深入介绍》分别介绍了多leader和单leader的情况，也许你会好奇是否有无leader的实现呢？答案是肯定的，本文就来深入介绍无leader replication的实现和相关的问题。 其实最早期的时候有很多无leader的实现，就是任何节点都可以进行写。后来慢慢大家就不太使用这个实现了，直到Amazon推出了它的Dynamo系统，这一实现又再次流行起来。现在Riak，cassandra以及Voldermort都是开源的无leader的数据库实现。...

1

System Design

多leader replication的实现及常见问题介绍

我们在前面的文章中介绍的都是单leader的实现。也就是说所有的写操作都会通过这个leader来实现。虽然说这是一种比较常见的实现方法，但是它也有其局限性，比如说leader可能会有问题，比如网络问题等，这个时候就会有一段时间没法进行写操作。或者说当写操作很重的时候，所有的写的load都需要到leader这边，无形中就加重了leader的traffic。本文就来介绍一种多leader的实现方案。 顾名思义，多leader实现方案就是可以同时有多个节点成为leader，所有的写操作可以同时通过这些节点来进行。当其中一个leader在写的时候，另外的leader就和follower一样，也需要从它这边进行replication。 多leader的使用场景 多leader其实并不是一个比较常见的方案。那么一般在什么情况下，我们会考虑多leader的方案呢？ 多数据中心的操作...

0

System Design

Replication lag常见问题分析

我们在《分布式系统之leader-followers Replication深入介绍》中深入介绍了replication了基本实现，本文主要来聊一聊replication lag常见的一些问题。 我们知道在leader-follower这样的系统中，写操作只能到leader，而读操作则可以分布在多个follower上进行。这也就意味着在一个读比较多而写比较少的系统中，我们其实可以把多个读的load分散到follower上，从而达到一个read scaling的结构。这个想法很好，但是问题也很明显，就是事实上follower和leader之间其实并不是同步的，也就是说你从follower上读到的内容和leader上的内容有可能是不同的。当然，我们说这种不同可能只是暂时的，比如说你不再往leader上写，一段时间之后，各个follower中的数据也就一样了。这种现象我们通常称之为最终一致（eventual...

3

Database / System Design

分布式系统之leader-followers Replication深入介绍

我们在前面有简单讲过Replication的作用，简单说就是为在多个机器上保存同样的拷贝来服务的。有了这个拷贝之后我们就可以做很多事情，比如说它可以成为一个读的源从而分散读的压力，它可以在原来数据机器出问题（或者deploy）等的时候作为一个backup等等。 这个想法其实很简单，但真正在我们做这个拷贝的时候，会遇到很多问题，比如说我们是使用同步还是使用异步来进行同步多个拷贝，如何保证多个拷贝之间的一致性等等。那么本文就来从各个方面详细介绍这些内容。 Leaders和Followers 我们把每一个保存数据的节点称之为replica，当我们有多个节点的时候，最明显的一个问题就是怎么去保证每个节点的内容都是一样的呢？其中最常见的方法就是基于leader的模式（也称为master-slave模式或者active/passive模式）。总得来说，它的工作方法如下： 一个节点是leader。所有的写操作都必须经过leader。...

0

System Design

分布式系统简介（总论）

我们在前面几篇文章中简单介绍了单个服务器对数据的处理，而在现实中数据的存储和获取会涉及到多个机器，也就是说我们会把数据分布在多台机器上，这样做有很多好处： 可扩展性(Scalability) 随着你的数据增加，一个机器可能很难处理日益增长的读写需求，你可以把这些负载分散到多个机上。 容错性/高可靠性（Fault Tolerance/...

0

Database / System Design

深入浅出理解数据的序列化和反序列化

一般来说，数据的处理有两种类型。一种是在内存中，比如我们常见的结构体，list，数组等等。而另外一种就是把数据写到文件中或者在网络中进行传输，这个时候的数据传输说白了就是比特流，那么接受方如何解析这些接收到的比特流呢？这个时候就需要对数据进行序列化，把相应的数据转化成可以自解释比特流。然后接收方就可以通过反序列化的方法把这些比特流再转化成相应的结构体等等类型。 各种语言自带的格式 很多语言都有自带的序列化方法，比如Java.io.Serializable，Python的pickle等等。它们用起来很方便，但是也存在一定的局限性： 假如序列化是来自于特定的语言，那么反序列化也得是相应的语言。这就给不同语言之间的交流（比如客户端和服务端使用不同语言）带来了困难。 因为允许反序列化时实例化任意的类，所以很容易造成漏洞，给安全攻击带来了可能。...

0

Database / System Design

数据库应用之数据分析

在早期数据库发明的时候主要是用来为实现商业功能的，比如说保存订单的信息，支付员工的工资等等。这类需求更多地是面向功能的，它的要求是相关的请求能够快速及时正确的执行，我们称这个流程为联机事务处理(OLTP, Online Transaction Processing)。 而随着数据库发展至今，一个更加常见的应用场景就是数据分析。比如说如何从淘宝订单中分析出商家每个月的销售情况，如何分析出哪些商品是爆款，如何得到某个新的功能给公司带来的点击量的增加等等。我们通常称这个流程为联机分析处理（OLAP,...

2

Database / System Design

深入分析数据库中数据的存储和读取

我们日常的开发或多或少都会和数据库打交道，那么数据库中数据都是如何存储来保证读写的效率呢？本文就来详细地介绍数据库中数据的存储和读写。 最简单的数据库 我们首先来看一个最简单的通过bash来实现的数据库，它就是一个键值数据库，通过Bash函数来实现读写。 这里有两个函数，一个是写函数，就是简单的写入key和value对。另外一个函数是db_get()函数，它可以读出最新写入的一行数据。 我们可以这样使用它，这里我们就是写入了两个key，value，一个是123456，对应的后面的Json格式数据：'{“name”:”San...

1

System Design

SQL和NoSQL的分析

基本概念 SQL和NoSQL是一个很基本的概念，相信很多人都听说过，网上也有很多文章来介绍两者的对比。那么什么是SQL，什么又是NoSQL呢？ 所谓的SQL(Structured Query Language)，就是我们俗称的关系型数据库。它是基于关系模型来组织数据的数据库。一般来说，使用预定义的schema来决定数据的结构。所有数据都必须遵循同样的结构，这也就意味着你很难对数据的结构进行改变。...