Kafka源码系列教程之删除topic

也想出现在这里？点击联系我~

前言

apache kafka发源于linkedin，于2011年成为apache的孵化项目，随后于2012年成为apache的主要项目之一。kafka使用scala和java进行编写。apache kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。

本文依然是以kafka0.8.2.2为例讲解

一，如何删除一个topic

删除一个topic有两个关键点：

1，配置删除参数

delete.topic.enable这个broker参数配置为true。

2，执行

bin/kafka-topics.sh –zookeeper zk_host:port/chroot –delete –topic my_topic_name

假如不配置删除参数为true的话，topic其实并没有被清除，只是被标记为删除。此时，估计一般人的做法是删除topic在zookeeper的信息和日志，其实这个操作并不会清除kafkabroker内存的topic数据。所以，此时最佳的策略是配置删除参数为true然后，重启kafka。

二，重要的类介绍

1，partitionstatemachine

该类代表分区的状态机。决定者分区的当前状态，和状态转移。四种状态

• nonexistentpartition
• newpartition
• onlinepartition
• offlinepartition

2，replicamanager

负责管理当前机器的所有副本，处理读写、删除等具体动作。

读写：写获取partition对象，再获取replica对象，再获取log对象，采用其管理的segment对象将数据写入、读出。

3，replicastatemachine

副本的状态机。决定者副本的当前状态和状态之间的转移。一个副本总共可以处于一下几种状态的一种
newreplica：crontroller在分区重分配的时候可以创建一个新的副本。只能接受变为follower的请求。前状态可以是nonexistentreplica

onlinereplica：新启动的分区，能接受变为leader或者follower请求。前状态可以是newreplica, onlinereplica or offlinereplica

offlinereplica：死亡的副本处于这种状态。前状态可以是newreplica, onlinereplica

replicadeletionstarted：分本删除开始的时候处于这种状态，前状态是offlinereplica

replicadeletionsuccessful：副本删除成功。前状态是replicadeletionstarted

replicadeletionineligible：删除失败的时候处于这种状态。前状态是replicadeletionstarted

nonexistentreplica：副本成功删除之后处于这种状态，前状态是replicadeletionsuccessful

4，topicdeletionmanager

该类管理着topic删除的状态机

1)，topiccommand通过创建/admin/delete_topics/<topic>，来发布topic删除命令。

2)，controller监听/admin/delete_topic子节点变动，开始分别删除topic

3)，controller有个后台线程负责删除topic

三，源码彻底解析topic的删除过程

此处会分四个部分：

a),客户端执行删除命令作用

b),不配置delete.topic.enable整个流水的源码

c),配置了delete.topic.enable整个流水的源码

d),手动删除zk上topic信息和磁盘数据

1，客户端执行删除命令