Tagged: offset commit

我们在《Kafka基础介绍之Consumer》中有提到可以使用poll函数来获取消息，而每次调用poll函数的时候，它返回的其实是Kafka中你这个consumer所在group还没有读的message。那这个还没有读是通过什么来判断的呢？它在Kafka中是通过offset来决定的，本文就来详细和大家聊聊Kafka中是如何通过offset来进行commit的。 概述 Kafka中consumer是通过offset来track每个partition中读的位置的，和一般的Queue的处理有些不同，在Kafka中你不需要每个message都进行commit，你可以一段一段地进行commit，也就是说假如Kafka收到你对offset 9的commit，那么它会默认你已经接受了9以前的所有的信息，而不需要你对8,7,6等都进行commit。 这种commit的方式在正常情况下是没有问题的，但是当出现我们以前提到的rebalance的情况，比如说consumer...