Tagged: 物理存储

我们都知道Kafka数据是可以持久化保存在磁盘上的，它在磁盘上最基本的存储单元是一个partition的replica，我们可以通过log.dirs参数来决定partition保存的文件目录，本文就来详细和大家聊聊Kafka是怎样使用这个目录保存文件的。 Partition的分配 当我们创建一个topic的时候，Kafka首先要做的事情就是如何为对应的partition分配空间。我们假设你的topic有10个partitions，每个partition有3个replication，然后总共有6个brokers。这也就意味着我们需要在6个brokers中申请30个partition replicas。一般来说，我们会遵循下面这些规则来进行分配： 让replica在broker中尽可能均匀地分布，比如我们的例子会希望每个broker有5个replica。...