首页 行业资讯 正文
我要投稿

基于K8S的StatefulSet部署MySQL集群

行业资讯
2025-05-27 0 85
也想出现在这里？点击联系我~

基于K8S的StatefulSet部署MySQL集群

环境：

基于K8S的StatefulSet部署MySQL集群

# 采用NFS存储卷的方式 持久化存储mysql数据目录

需求：

展示如何使用 StatefulSet 控制器运行一个有状态的应用程序。此例是多副本的 MySQL 数据库。 示例应用的拓扑结构有一个主服务器和多个副本，使用异步的基于行(Row-Based) 的数据复制。

基于K8S的StatefulSet部署MySQL集群

  • 搭建一个“主从复制”(Maser-Slave Replication)的 MySQL 集群
  • 存在一个主节点【master】，有多个从节点【slave】
  • 从节点可以水平拓展
  • 所有的写操作，只能在主节点上执行
  • 读操作可以在所有节点上执行

一、部署NFS服务器

  1. #服务器安装nfs服务，提供nfs存储功能
  2. 1、安装nfs-utils
  3. yuminstallnfs-utils(centos)
  4. 或者apt-getinstallnfs-kernel-server(ubuntu)
  6. 2、启动服务
  7. systemctlenablenfs-server
  8. systemctlstartnfs-server
  10. 3、创建共享目录完成共享配置
  11. mkdir/home/nfs#创建共享目录
  13. 4、编辑共享配置
  14. vim/etc/exports
  15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
  16. /home/nfs*(rw,async,no_root_squash)
  1. #服务器安装nfs服务，提供nfs存储功能
  2. 1、安装nfs-utils
  3. yuminstallnfs-utils(centos)
  4. 或者apt-getinstallnfs-kernel-server(ubuntu)
  6. 2、启动服务
  7. systemctlenablenfs-server
  8. systemctlstartnfs-server
  10. 3、创建共享目录完成共享配置
  11. mkdir/home/nfs#创建共享目录
  13. 4、编辑共享配置
  14. vim/etc/exports
  15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
  16. /home/nfs*(rw,async,no_root_squash)
  1. 服务自检命令
  2. exportfs-arv
  5. 5、重启服务
  6. systemctlrestartnfs-server
  9. 6、本机查看nfs共享目录
  10. #showmount-e服务器IP地址(如果提示命令不存在，则需要yuminstallshowmount)
  12. showmount-e127.0.0.1
  13. /home/nfs*
  17. 7、客户端模拟挂载[所有k8s的节点都需要安装客户端]
  18. [root@master-1~]#yuminstallnfs-utils（centos）
  19. 或者apt-getinstallnfs-common（ubuntu）
  20. [root@master-1~]#mkdir/test
  21. [root@master-1~]#mount-tnfs172.16.201.209:/home/nfs/test
  23. #取消挂载
  24. [root@master-1~]#umount/test

二、配置PV 动态供给(NFS StorageClass)，创建pvc

部署NFS实现自动创建PV插件： 一共设计到4个yaml 文件 ，官方的文档有详细的说明

https://github.com/kubernetes-incubator/external-storage

基于K8S的StatefulSet部署MySQL集群

基于K8S的StatefulSet部署MySQL集群

  1. root@k8s-master1:~#mkdir/root/pvc
  2. root@k8s-master1:~#cd/root/pvc

创建rbac.yaml 文件

  1. root@k8s-master1:pvc#catrbac.yaml
  2. kind:ServiceAccount
  3. apiVersion:v1
  4. metadata:
  5. name:nfs-client-provisioner
  6. —
  7. kind:ClusterRole
  8. apiVersion:rbac.authorization.k8s.io/v1
  9. metadata:
  10. name:nfs-client-provisioner-runner
  11. rules:
  12. -apiGroups:[""]
  13. resources:["persistentvolumes"]
  14. verbs:["get","list","watch","create","delete"]
  15. -apiGroups:[""]
  16. resources:["persistentvolumeclaims"]
  17. verbs:["get","list","watch","update"]
  18. -apiGroups:["storage.k8s.io"]
  19. resources:["storageclasses"]
  20. verbs:["get","list","watch"]
  21. -apiGroups:[""]
  22. resources:["events"]
  23. verbs:["create","update","patch"]
  24. —
  25. kind:ClusterRoleBinding
  26. apiVersion:rbac.authorization.k8s.io/v1
  27. metadata:
  28. name:run-nfs-client-provisioner
  29. subjects:
  30. -kind:ServiceAccount
  31. name:nfs-client-provisioner
  32. namespace:default
  33. roleRef:
  34. kind:ClusterRole
  35. name:nfs-client-provisioner-runner
  36. apiGroup:rbac.authorization.k8s.io
  37. —
  38. kind:Role
  39. apiVersion:rbac.authorization.k8s.io/v1
  40. metadata:
  41. name:leader-locking-nfs-client-provisioner
  42. rules:
  43. -apiGroups:[""]
  44. resources:["endpoints"]
  45. verbs:["get","list","watch","create","update","patch"]
  46. —
  47. kind:RoleBinding
  48. apiVersion:rbac.authorization.k8s.io/v1
  49. metadata:
  50. name:leader-locking-nfs-client-provisioner
  51. subjects:
  52. -kind:ServiceAccount
  53. name:nfs-client-provisioner
  54. #replacewithnamespacewhereprovisionerisdeployed
  55. namespace:default
  56. roleRef:
  57. kind:Role
  58. name:leader-locking-nfs-client-provisioner
  59. apiGroup:rbac.authorization.k8s.io

创建deployment.yaml 文件

官方默认的镜像地址，国内可能无法下载，可以使用 image:

fxkjnj/nfs-client-provisioner:latest

#定义NFS 服务器的地址，共享目录名称

  1. root@k8s-master1:pvc#catdeployment.yaml
  2. apiVersion:v1
  3. kind:ServiceAccount
  4. metadata:
  5. name:nfs-client-provisioner
  6. —
  7. kind:Deployment
  8. apiVersion:apps/v1
  9. metadata:
  10. name:nfs-client-provisioner
  11. spec:
  12. replicas:1
  13. strategy:
  14. type:Recreate
  15. selector:
  16. matchLabels:
  17. app:nfs-client-provisioner
  18. template:
  19. metadata:
  20. labels:
  21. app:nfs-client-provisioner
  22. spec:
  23. serviceAccountName:nfs-client-provisioner
  24. containers:
  25. –name:nfs-client-provisioner
  26. image:fxkjnj/nfs-client-provisioner:latest
  27. volumeMounts:
  28. –name:nfs-client-root
  29. mountPath:/persistentvolumes
  30. env:
  31. –name:PROVISIONER_NAME
  32. value:fuseim.pri/ifs
  33. –name:NFS_SERVER
  34. value:172.16.201.209
  35. –name:NFS_PATH
  36. value:/home/nfs
  37. volumes:
  38. –name:nfs-client-root
  39. nfs:
  40. server:172.16.201.209
  41. path:/home/nfs

创建class.yaml

  1. root@k8s-master1:pvc#catclass.yaml
  2. apiVersion:storage.k8s.io/v1
  3. kind:StorageClass
  4. metadata:
  5. name:managed-nfs-storage
  6. provisioner:fuseim.pri/ifs#orchooseanothername,mustmatchdeployment'senvPROVISIONER_NAME'
  7. parameters:
  8. archiveOnDelete:"true"

部署

  1. root@k8s-master1:pvc#kubectlapply-f.
  4. #查看存储卷
  5. root@k8s-master1:pvc#kubectlgetsc
  6. NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE
  7. managed-nfs-storagefuseim.pri/ifsDeleteImmediatefalse25h

三、编写mysql 相关yaml文件

MySQL 示例部署包含一个 ConfigMap、两个 Service 与一个 StatefulSet。

ConfigMap:

vim mysql-configmap.yaml

  1. apiVersion:v1
  2. kind:ConfigMap
  3. metadata:
  4. name:mysql
  5. labels:
  6. app:mysql
  7. data:
  8. master.cnf:|
  9. #Applythisconfigonlyonthemaster.
  10. [mysqld]
  11. log-bin
  12. slave.cnf:|
  13. #Applythisconfigonlyonslaves.
  14. [mysqld]
  15. super-read–only

说明：

在这里，我们定义了 master.cnf 和 slave.cnf 两个 MySQL 的配置文件

  • master.cnf 开启了log-bin，可以使用二进制日志文件的方式进行主从复制.
  • slave.cnf 开启了 super-read-only ，表示从节点只接受主节点的数据同步的所有写的操作，拒绝其他的写入操作，对于用户来说就是只读的
  • master.cnf 和 slave.cnf 已配置文件的形式挂载到容器的目录中

Service：

vim mysql-services.yaml

  1. #HeadlessserviceforstableDNSentriesofStatefulSetmembers.
  2. apiVersion:v1
  3. kind:Service
  4. metadata:
  5. name:mysql
  6. labels:
  7. app:mysql
  8. spec:
  9. ports:
  10. –name:mysql
  11. port:3306
  12. clusterIP:None
  13. selector:
  14. app:mysql
  15. —
  16. #ClientserviceforconnectingtoanyMySQLinstanceforreads.
  17. #Forwrites,youmustinsteadconnecttothemaster:mysql-0.mysql.
  18. apiVersion:v1
  19. kind:Service
  20. metadata:
  21. name:mysql-read
  22. labels:
  23. app:mysql
  24. spec:
  25. ports:
  26. –name:mysql
  27. port:3306
  28. selector:
  29. app:mysql

说明：

clusterIP: None，使用无头服务 Headless Service(相比普通Service只是将spec.clusterIP定义为None，也就是没有clusterIP，直接使用endport 来通信)来维护Pod网络身份，会为每个Pod分配一个数字编号并且按照编号顺序部署。还需要在StatefulSet添加serviceName: “mysql”字段指定StatefulSet控制器

另外statefulset控制器网络标识，体现在主机名和Pod A记录：

• 主机名：-<编号>

例如: mysql-0

• Pod DNS A记录：. ..svc.cluster.local （POD 之间通过DNS A 记录互相通信）

例如:

mysql-0.mysql.default.svc.cluster.local

StatefulSet:

vim mysql-statefulset.yaml

  1. apiVersion:apps/v1
  2. kind:StatefulSet
  3. metadata:
  4. name:mysql
  5. spec:
  6. selector:
  7. matchLabels:
  8. app:mysql
  9. serviceName:mysql
  10. replicas:3
  11. template:
  12. metadata:
  13. labels:
  14. app:mysql
  15. spec:
  16. initContainers:
  17. –name:init-mysql
  18. image:mysql:5.7
  19. command:
  20. -bash
  21. –"-c"
  22. -|
  23. set-ex
  24. #Generatemysqlserver-idfrompodordinalindex.
  25. [[`hostname`=~-([0-9]+)$]]||exit1
  26. ordinal=${BASH_REMATCH[1]}
  27. echo[mysqld]>/mnt/conf.d/server-id.cnf
  28. #Addanoffsettoavoidreservedserver-id=0value.
  29. echoserver-id=$((100+$ordinal))>>/mnt/conf.d/server-id.cnf
  30. #Copyappropriateconf.dfilesfromconfig-maptoemptyDir.
  31. if[[$ordinal-eq0]];then
  32. cp/mnt/config-map/master.cnf/mnt/conf.d/
  33. else
  34. cp/mnt/config-map/slave.cnf/mnt/conf.d/
  35. fi
  36. volumeMounts:
  37. –name:conf
  38. mountPath:/mnt/conf.d
  39. –name:config-map
  40. mountPath:/mnt/config-map
  41. –name:clone-mysql
  42. image:fxkjnj/xtrabackup:1.0
  43. command:
  44. -bash
  45. –"-c"
  46. -|
  47. set-ex
  48. #Skipthecloneifdataalreadyexists.
  49. [[-d/var/lib/mysql/mysql]]&&exit0
  50. #Skipthecloneonmaster(ordinalindex0).
  51. [[`hostname`=~-([0-9]+)$]]||exit1
  52. ordinal=${BASH_REMATCH[1]}
  53. [[$ordinal-eq0]]&&exit0
  54. #Clonedatafrompreviouspeer.
  55. ncat–recv-onlymysql-$(($ordinal-1)).mysql3307|xbstream-x-C/var/lib/mysql
  56. #Preparethebackup.
  57. xtrabackup–prepare–target-dir=/var/lib/mysql
  58. volumeMounts:
  59. –name:data
  60. mountPath:/var/lib/mysql
  61. subPath:mysql
  62. –name:conf
  63. mountPath:/etc/mysql/conf.d
  64. containers:
  65. –name:mysql
  66. image:mysql:5.7
  67. env:
  68. –name:MYSQL_ALLOW_EMPTY_PASSWORD
  69. value:"1"
  70. ports:
  71. –name:mysql
  72. containerPort:3306
  73. volumeMounts:
  74. –name:data
  75. mountPath:/var/lib/mysql
  76. subPath:mysql
  77. –name:conf
  78. mountPath:/etc/mysql/conf.d
  79. resources:
  80. requests:
  81. cpu:500m
  82. memory:1Gi
  83. livenessProbe:
  84. exec:
  85. command:["mysqladmin","ping"]
  86. initialDelaySeconds:30
  87. periodSeconds:10
  88. timeoutSeconds:5
  89. readinessProbe:
  90. exec:
  91. #CheckwecanexecutequeriesoverTCP(skip-networkingisoff).
  92. command:["mysql","-h","127.0.0.1","-e","SELECT1"]
  93. initialDelaySeconds:5
  94. periodSeconds:2
  95. timeoutSeconds:1
  96. –name:xtrabackup
  97. image:fxkjnj/xtrabackup:1.0
  98. ports:
  99. –name:xtrabackup
  100. containerPort:3307
  101. command:
  102. -bash
  103. –"-c"
  104. -|
  105. set-ex
  106. cd/var/lib/mysql
  108. #Determinebinlogpositionofcloneddata,ifany.
  109. if[[-fxtrabackup_slave_info&&"x$(<xtrabackup_slave_info)\"!="x"]];then</xtrabackup_slave_info)\"
  110. #XtraBackupalreadygeneratedapartial"CHANGEMASTERTO"query
  111. #becausewe'recloningfromanexistingslave.(Needtoremovethetailingsemicolon!)
  112. catxtrabackup_slave_info|sed-E's/;$//g'>change_master_to.sql.in
  113. #Ignorextrabackup_binlog_infointhiscase(it'suseless).
  114. rm-fxtrabackup_slave_infoxtrabackup_binlog_info
  115. elif[[-fxtrabackup_binlog_info]];then
  116. #We'recloningdirectlyfrommaster.Parsebinlogposition.
  117. [[`catxtrabackup_binlog_info`=~^(.*?)[[:space:]]+(.*?)$]]||exit1
  118. rm-fxtrabackup_binlog_infoxtrabackup_slave_info
  119. echo"CHANGEMASTERTOMASTER_LOG_FILE='${BASH_REMATCH[1]}',\\
  120. MASTER_LOG_POS=${BASH_REMATCH[2]}">change_master_to.sql.in
  121. fi
  123. #Checkifweneedtocompleteaclonebystartingreplication.
  124. if[[-fchange_master_to.sql.in]];then
  125. echo"Waitingformysqldtobeready(acceptingconnections)"
  126. untilmysql-h127.0.0.1-e"SELECT1";dosleep1;done
  128. echo"Initializingreplicationfromcloneposition"
  129. mysql-h127.0.0.1\\
  130. -e"$(<change_master_to.sql.in</change_master_to.sql.),\\
  131. MASTER_HOST='mysql-0.mysql',\\
  132. MASTER_USER='root',\\
  133. MASTER_PASSWORD='',\\
  134. MASTER_CONNECT_RETRY=10;\\
  135. STARTSLAVE;"||exit1
  136. #Incaseofcontainerrestart,attemptthisat-most-once.
  137. mvchange_master_to.sql.inchange_master_to.sql.orig
  138. fi
  140. #Startaservertosendbackupswhenrequestedbypeers.
  141. execncat–listen–keep-open–send-only–max-conns=13307-c\\
  142. "xtrabackup–backup–slave-info–stream=xbstream–host=127.0.0.1–user=root"
  143. volumeMounts:
  144. –name:data
  145. mountPath:/var/lib/mysql
  146. subPath:mysql
  147. –name:conf
  148. mountPath:/etc/mysql/conf.d
  149. resources:
  150. requests:
  151. cpu:100m
  152. memory:100Mi
  153. volumes:
  154. –name:conf
  155. emptyDir:{}
  156. –name:config-map
  157. configMap:
  158. name:mysql
  159. volumeClaimTemplates:
  160. -metadata:
  161. name:data
  162. spec:
  163. storageClassName:"managed-nfs-storage"
  164. accessModes:["ReadWriteOnce"]
  165. resources:
  166. requests:
  167. storage:0.5Gi

说明：

  • 使用xtrbackup 工具进行容器初始化数据的备份，https://www.toutiao.com/i6999565563710292484
  • 使用linux 自带的ncat 工具进行容器初始化数据的拷贝[使用ncat指令，远程地从前一个节点拷贝数据到本地] https://www.cnblogs.com/chengd/p/7565280.html
  • 使用mysql的binlog 主从复制 来保证主从之间的数据一致
  • 利用pod的主机名的序号来判断当前节点为主节点还是从节点，再根据对于节点拷贝不同的配置文件到指定位置
  • 使用mysqladmin的ping 作为数据库的健康检测方式
  • 使用nfs存储的 PV 动态供给(StorageClass)，持久化mysql的数据文件

四、部署并测试

  1. root@k8s-master1:~/kubernetes/mysql#ll
  2. total24
  3. drwxr-xr-x2rootroot4096Nov316:42./
  4. drwxr-xr-x8rootroot4096Nov313:33../
  5. -rw-r–r–1rootroot278Nov222:15mysql-configmap.yaml
  6. -rw-r–r–1rootroot556Nov222:08mysql-services.yaml
  7. -rw-r–r–1rootroot5917Nov314:22mysql-statefulset.yaml
  9. root@k8s-master1:~/kubernetes/mysql#kubectlapply-f.
  10. configmap/mysqlcreate
  11. service/mysqlcreate
  12. service/mysql-readcreate
  13. statefulset.apps/mysqlcreate
  16. #动态追踪查看Pod的状态：
  17. root@k8s-master1:~/kubernetes/mysql#kubectlgetpods-lapp=mysql–watch
  18. NAMEREADYSTATUSRESTARTSAGE
  19. mysql-02/2Running03h12m
  20. mysql-12/2Running03h11m
  21. mysql-22/2Running03h10m

可以看到，StatefulSet 启动成功后，将会有三个 Pod 运行。

接下来，我们可以尝试向这个 MySQL 集群发起请求，执行一些 SQL 操作来验证它是否正常：

  1. kubectlrunmysql-client–image=mysql:5.7-i–rm–restart=Never–\\
  2. mysql-hmysql-0.mysql<<eof </eof
  3. CREATEDATABASEtest;
  4. CREATETABLEtest.messages(messageVARCHAR(250));
  5. INSERTINTOtest.messagesVALUES('hello');
  6. EOF

如上所示，我们通过启动一个容器，使用 MySQL client 执行了创建数据库和表、以及插入数据的操作。需要注意的是，我们连接的 MySQL 的地址必须是 mysql-0.mysql(即：Master 节点的 DNS A 记录, 因为POD 之间通过DNS A 记录互相通信)只有 Master 节点才能处理写操作。

而通过连接 mysql-read 这个 Service，我们就可以用 SQL 进行读操作，如下所示：

  1. kubectlrunmysql-client–image=mysql:5.7-i-t–rm–restart=Never–\\
  2. mysql-hmysql-read-e"SELECT*FROMtest.messages"
  5. #你应该获得如下输出：
  6. Waitingforpoddefault/mysql-clienttoberunning,statusisPending,podready:false
  7. +———+
  8. |message|
  9. +———+
  10. |hello|
  11. +———+
  12. pod"mysql-client"deleted

或者：

  1. root@k8s-master1:~/kubernetes/mysql#kubectlrun-it–rm–image=mysql:5.7–restart=Nevermysql-client–mysql-hmysql-read
  2. Ifyoudon'tseeacommandprompt,trypressingenter.
  3. WelcometotheMySQLmonitor.Commandsendwith;or\\g.
  4. YourMySQLconnectionidis7251
  5. Serverversion:5.7.36MySQLCommunityServer(GPL)
  7. Copyright(c)2000,2021,Oracleand/oritsaffiliates.
  9. OracleisaregisteredtrademarkofOracleCorporationand/orits
  10. affiliates.Othernamesmaybetrademarksoftheirrespective
  11. owners.
  13. Type'help;'or'\\h'forhelp.Type'\\c'toclearthecurrentinputstatement.
  15. mysql>SELECT*FROMtest.messages;
  16. +———+
  17. |message|
  18. +———+
  19. |hello|
  20. +———+
  21. 1rowinset(0.00sec)
  23. mysql>

原文链接：https://www.toutiao.com/a7026278182844350984/

收藏 (0) 打赏

感谢您的支持，我会继续努力的!

打开微信/支付宝扫一扫，即可进行扫码打赏哦，分享从这里开始，精彩与您同在
点赞 (0)

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

快网idc优惠网 行业资讯 基于K8S的StatefulSet部署MySQL集群 https://www.kuaiidc.com/62469.html

也想出现在这里？点击联系我~

相关文章

刀片服务器与机架服务器的区别介绍
刀片服务器与机架服务器的区别介绍
行业资讯
6个月前 88
服务器虚拟化技术深度科普
服务器虚拟化技术深度科普
行业资讯
6个月前 108
服务器租用价格怎么计算？服务器租用多少钱一年？
服务器租用价格怎么计算？服务器租用多少钱一年？
行业资讯
6个月前 88
云服务器的“弹性”体现在哪些方面？
云服务器的“弹性”体现在哪些方面？
行业资讯
6个月前 71
猜你喜欢
发表评论
暂无评论
TA的动态
快网idc优惠网

idc信息共同学习，共同进步，共同成长！

QQ交流群
快网idc优惠网

QQ交流群

您的支持，是我们最大的动力！
热门文章
热门评论
终身VIP会员限时钜惠
首页 SSL证书 菜单 论坛 问答