摘要:重新分片,把要刪除的主節(jié)點的數(shù)據(jù)槽移動到其他主節(jié)點上,以免數(shù)據(jù)丟失。分區(qū)完成當(dāng)前主節(jié)點已經(jīng)沒有數(shù)據(jù)槽了。這樣就可以實現(xiàn)橫向動態(tài)擴容,新增加的主從節(jié)點,用于存儲新的數(shù)據(jù)則可,對以前的節(jié)點的數(shù)據(jù)不會有任何影響。
需求:
A redis cluster 集群 40 臺集群擴容到 68 臺
也就是 增加 28 臺新的機器 : 一主一從 為一組,一共12組
掃描新增擴容服務(wù)器ip是否能訪問 DBA擴容腳本模擬驗證 準(zhǔn)備系統(tǒng)驗證腳本: 1: netstat -an | grep ":6379"| grep -e add-node1-ip 檢查端口連接 netstat -an| grep :6379|awk "{print substr($5,8)}"|sort |uniq -c 2: 比較遷移前后平均沒臺機器的內(nèi)存容量 curl "http://localhost:8080/systemapp/redis/info.htm?ip=add-node1-ip&port=6379" | grep maxmemory_human --col=always | grep used_memory_human --col=always | grep total_system_memory_human --col 3:查看各系統(tǒng)業(yè)務(wù)是否異常,是否右redis相關(guān)報錯日志
Redis Cluster集群動態(tài)擴容是指在不停掉Cluster集群環(huán)境的情況下,動態(tài)的往集群環(huán)境中增加主、從節(jié)點和動態(tài)的從集群環(huán)境中刪除節(jié)點。
redis的動態(tài)擴容操作都是通過redis-trib.rb腳本文件來完成
[root@linux redis] # ruby redis-trib.rb 可以看到redis-trib.rb具有以下功能: 1、create:創(chuàng)建集群 2、check:檢查集群 3、info:查看集群信息 4、fix:修復(fù)集群 5、reshard:在線遷移slot 6、rebalance:平衡集群節(jié)點slot數(shù)量 7、add-node:將新節(jié)點加入集群 8、del-node:從集群中刪除節(jié)點 9、set-timeout:設(shè)置集群節(jié)點間心跳連接的超時時間 10、call:在集群全部節(jié)點上執(zhí)行命令 11、import:將外部redis數(shù)據(jù)導(dǎo)入集群
因為主、從節(jié)點在操作上會有差異,所以分來來說。增加節(jié)點的順序是先增加Master主節(jié)點,然后在增加Slave從節(jié)點。
-- 查看redis 進程 ps -ef | grep redis --登陸查看主從信息 redis-cli -h node-ip -p port cluster nodes
動態(tài)增加Master 主服務(wù)器節(jié)點
#前提:假設(shè) 已有6個Cluster 集群節(jié)點,三主三從; 1.1、創(chuàng)建目錄7006(Master主節(jié)點文件夾)和7007(Slave從節(jié)點文件夾),并從以前Cluster集群節(jié)點7000-7005任一節(jié)點中拷貝配置文件redis.conf到7006和7007目錄下。 1.2、修改配置文件,將7006和7007目錄下面的redis.conf配置文件的端口進行相應(yīng)修改,與自己的目錄名稱保持一致,修改項目如下: (在linux環(huán)境下可以執(zhí)行如下命令進行全局替換::%s/7000/7006/g,%s/7000/7007/g,保存并退出則可) 1.3、啟動7006和7007目錄下Redis實例,并查看效果。 redis-server ../redis-cluster/7006/redis.conf redis-server ../redis-cluster/7007/redis.conf ###連個實例雖然存在,但是沒有真正的加入到集群中?。?!
登陸7006 7007 端口的實例 查看info信息 發(fā)現(xiàn) connected_slaves = 0
redis-cli -C -H 192.168.127.130 -p 7006
info replication
將7006主節(jié)點加入到Cluster集群
ruby redis-trib.rb add-node add-node1:7006 old-node:7000
ruby redis-trib.rb add-node (增加節(jié)點)
add-node1:7006 (新增實例和端口 )
old-node:7000 (集群中已經(jīng)存在的任意實例地址和其端口 )
注意:當(dāng)添加新節(jié)點成功以后,新的節(jié)點不會有任何數(shù)據(jù),因為他沒有分配任何的數(shù)據(jù)Slot(哈希slots),這一步需要手動操作。
Send CLUSTER MEET to node add-node1:7006 to make it join the cluster. New node added corrently
表示:節(jié)點增加成功
cluster info 驗證
cluster nodes 驗證: 添加成功但是會沒有Slots
為7006Master主節(jié)點分配數(shù)據(jù)Slots,分配方法是從集群中知道任何一個主節(jié)點
(因為只有Master主節(jié)點才有數(shù)據(jù)slots),然后對其進行重新分片工作。
ruby redis-trib.rb reshard old-node:7000 我們會從7000這個主節(jié)點上抽取一些slots 給7006 How many slots do you want to move (from 1 to 16384)? 200 我們要使用多少slots 選擇接收數(shù)據(jù)槽的節(jié)點和數(shù)據(jù)槽產(chǎn)生的方式: what is the receiving node id ? 接受slots的主節(jié)點 這里是7006的ID Please enter all the source node IDs: all
執(zhí)行分配計劃后選擇yes ,查看cluster nodes,顯示7006有數(shù)據(jù)slots
動態(tài)增加Slave從服務(wù)器節(jié)點
ruby redis-trib.rb add-node 192.168.127.130:7007 192.168.127.130:7000
指定7007節(jié)點作為7006的從節(jié)點,實現(xiàn)主從的配置。
redis-cli -c -h 192.168.127.130 -p 7007 cluster replicate 71ecd970838e9b400a2a6a15cd30a94ab96203bf (主節(jié)點的ID,這里是7006)Cluster 集群刪除操作
刪除的順序是先刪除Slave從節(jié)點,然后在刪除Master主節(jié)點 1.動態(tài)刪除Slave從服務(wù)器節(jié)點 ruby redis-trib.rb del-node 192.168.127.130:7007 991ed242102aaa08873eb9404a18e0618a4e37bd 2.動態(tài)刪除Master主服務(wù)器節(jié)點 要想刪除Master主節(jié)點,可能要繁瑣一些。 因為在Master主節(jié)點上有數(shù)據(jù)槽(slots),為了保證數(shù)據(jù)的不丟失, 必須把這些數(shù)據(jù)槽遷移到其他Master主節(jié)點上,然后在刪除主節(jié)點。 2.1、重新分片,把要刪除的Master主節(jié)點的數(shù)據(jù)槽移動到其他Master主節(jié)點上,以免數(shù)據(jù)丟失。 ruby redis-trib.rb reshard 192.168.127.130:7006 2.1.1、移除多少槽如圖:創(chuàng)建輸入200,這里要輸入199,因為計數(shù)是從0開始的,切記。 2.1.2、接受槽的Master主節(jié)點ID:這個節(jié)點可以是任意一個主節(jié)點都可以, 我選擇7002,ID是:3b025b3ecfa65f462de639c7a412be443cf1dd1c Source node 選擇 需要移除節(jié)點7006的ID號 2.1.4、執(zhí)行分區(qū)計劃,選擇yes。分區(qū)完成 2.1.5、當(dāng)前7006主節(jié)點已經(jīng)沒有數(shù)據(jù)槽了。 2.2、刪除7006主節(jié)點,提供要刪除節(jié)點的IP地址和Port端口,當(dāng)然還有要刪除的節(jié)點的ID名稱。 ruby redis-trib.rb del-node 192.168.127.130:7006 71ecd970838e9b400a2a6a15cd30a94ab96203bf 2.2.1、刪除成功 2.2.2、查看節(jié)點效果 cluster nodes
_
總結(jié):
主從復(fù)制和哨兵模式這兩個集群模式由于不能動態(tài)擴容,而且主節(jié)點之間(有多個主節(jié)點的情況)數(shù)據(jù)完全一樣,導(dǎo)致了主節(jié)點的容量成了整個集群的瓶頸,如果想擴展集群容量,必須擴展主節(jié)點的容量。由于以上的問題,redis在3.0開始Cluster集群模式,這個模式在主節(jié)點之間數(shù)據(jù)是不一樣的,數(shù)據(jù)也可以根據(jù)需求自動轉(zhuǎn)向其他節(jié)點。這樣就可以實現(xiàn)橫向動態(tài)擴容,新增加的主從節(jié)點,用于存儲新的數(shù)據(jù)則可,對以前的節(jié)點的數(shù)據(jù)不會有任何影響。
參考:https://www.cnblogs.com/Patri...
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://hztianpu.com/yun/77079.html
摘要:本文將講解如何基于搭建集群,的集群設(shè)計包括兩個部分主從復(fù)制和哈希。至此,集群基本安裝成功。后期運維基本命令集群節(jié)點槽常見問題把所有的物理節(jié)點映射到個哈希槽上,負(fù)責(zé)維護。 Redis集群概述 Redis作為當(dāng)前非常熱門的內(nèi)存型數(shù)據(jù)結(jié)構(gòu)存儲,可用于數(shù)據(jù)存儲,緩存和消息代理等。本文將講解如何基于docker搭建Redis集群,Redis的集群設(shè)計包括兩個部分:主從復(fù)制和哈希Slot。1.1....
摘要:本文將講解如何基于搭建集群,的集群設(shè)計包括兩個部分主從復(fù)制和哈希。至此,集群基本安裝成功。后期運維基本命令集群節(jié)點槽常見問題把所有的物理節(jié)點映射到個哈希槽上,負(fù)責(zé)維護。 Redis集群概述 Redis作為當(dāng)前非常熱門的內(nèi)存型數(shù)據(jù)結(jié)構(gòu)存儲,可用于數(shù)據(jù)存儲,緩存和消息代理等。本文將講解如何基于docker搭建Redis集群,Redis的集群設(shè)計包括兩個部分:主從復(fù)制和哈希Slot。1.1....
閱讀 803·2021-09-29 09:34
閱讀 2647·2019-08-30 15:53
閱讀 3478·2019-08-29 17:17
閱讀 857·2019-08-29 16:08
閱讀 1243·2019-08-29 13:03
閱讀 1027·2019-08-27 10:54
閱讀 764·2019-08-26 13:39
閱讀 2942·2019-08-26 13:34