成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

TiDB集群在線服務(wù)器停機維護(hù)主機資源

IT那活兒 / 744人閱讀
TiDB集群在線服務(wù)器停機維護(hù)主機資源

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！


  
TiDB集群環(huán)境隨著業(yè)務(wù)的增長，現(xiàn)每臺虛擬服務(wù)器（8C+16G）資源已經(jīng)難以滿足業(yè)務(wù)需求，需對現(xiàn)有的虛擬服務(wù)器進(jìn)行縱向擴(kuò)容操作，將虛擬服務(wù)器資源擴(kuò)展到16C+32G。
生產(chǎn)環(huán)境集群混合部署如下：

由于TiDB-server層是無狀態(tài)服務(wù)，并且有Haproxy進(jìn)行流量負(fù)載均衡，TiKV和PD層有Raft協(xié)議的高可用保障，停止單臺服務(wù)器進(jìn)行維護(hù)對整個集群運行沒有太大影響，但是集群會存在有某些SQL訪問、在線DDL延遲抖動的情況，總體影響不是太大。延遲抖動主要有以下原因：

  • 存在TiKV層Leader region正好在停機維護(hù)的服務(wù)器上，從而出現(xiàn)Raft重新選擇Leader region，業(yè)務(wù)已經(jīng)在運行期間部分SQL在訪問中由于找不到原Leader信息會出現(xiàn)Backoff的情況，從而SQL訪問伴隨有延遲的情況。

  • PD層Leader的轉(zhuǎn)移類似TiKV，TiDB-server層中owner轉(zhuǎn)移需重新選擇新owner會對正在執(zhí)行中DDL有影響。

在線停單臺服務(wù)器升級CPU、內(nèi)存的大致維護(hù)流程：
  • 在停單臺服務(wù)器進(jìn)行維護(hù)操作之前梳理DM同步到TiDB的任務(wù)，確保同步不失敗。
  • 調(diào)整max-store-down-time參數(shù)(默認(rèn)30分鐘，如果停機時間超過30分鐘，建議調(diào)大此參數(shù))。
  • Tiup正常停止該節(jié)點的TiKV、PD、TiDB實例。
  • 服務(wù)器停機。
  • 服務(wù)器維護(hù)。
  • 服務(wù)器啟動。
  • 啟動該節(jié)點的TiKV、PD、TiDB實例。
  • 觀察Grafana PD相關(guān)的metric信息以及Dashboard訪問情況。

  • 應(yīng)用檢查業(yè)務(wù)使用情況。

停TiKV組件

通常情況下，線上集群對 TiKV 的部署是單機單實例或者單機多實例，在對服務(wù)器做臨時維護(hù)時，需要根據(jù)部署情況來進(jìn)行相應(yīng)的處理，由于現(xiàn)網(wǎng)為單機單實例只做對應(yīng)的描述；在實際維護(hù)中TiKV節(jié)點下線過程中Leader region調(diào)度對集群的服務(wù)影響很小，并且Leader region調(diào)度速度也較快。

注：以下運維命令均為其他環(huán)境，實際需根據(jù)情況對應(yīng)進(jìn)行命令更新。

單機單實例臨時關(guān)機維護(hù)步驟：

  • 修改 max-store-down-time 超過服務(wù)器維護(hù)時間，默認(rèn) 30 min，保證在服務(wù)器維護(hù)期間不發(fā)生補副本行為（需要注意維護(hù)完成后將參數(shù)恢復(fù)。）

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 config set max-store-down-time 60m // 
修改為60分鐘，根據(jù)實際情況而定

  • 檢查是否有 label，確保沒有標(biāo)簽（如果存在標(biāo)簽需要多帶帶分析是否為單機多實例的情況。）

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 label
  • 檢查所有服務(wù)器上store的情況，找到該服務(wù)器的對應(yīng)的store id。
tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 store

  • 遷移該服務(wù)器上所有 store 的 leader到其他節(jié)點。

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 scheduler add evict-leader-scheduler 2 // 
把 store 2 上的所有 region 的 leader 從 store 2 調(diào)度出去

  • 檢查 leader 情況：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 store 2  // 
檢查該服務(wù)器所有 tikv 節(jié)點上的 leader count，leader count數(shù)量為 0 進(jìn)行下一步，否則等待為0

  • 停止Tikv組件：

tiup cluster stop tidb-test -N {TiKVIP}:20160

停PD組件

通常大多數(shù)的線上集群有3 或5個PD節(jié)點，如果維護(hù)的服務(wù)器上有PD 組件，需要具體考慮節(jié)點是 leader 還是 follower（以下1 和 2 兩部分），關(guān)閉 follower 對集群運行沒有任何影響，關(guān)閉 leader 需要先切換，并在切換時可能存在短暫性能抖動。

1. 當(dāng)前服務(wù)器包括一個 PD follower 節(jié)點且集群 PD 總數(shù) >= 3

  • 檢查當(dāng)前待操作 PD 集群節(jié)點信息：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member //顯示當(dāng)前所有成員
tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member leader show //顯示當(dāng)前Leader成員

  • 停止當(dāng)前待操作 PD follower 節(jié)點：

tiup cluster stop tidb-test -N {PDIP}:2379

2. 當(dāng)前服務(wù)器包括一個 PD leader 節(jié)點且集群 PD 總數(shù) >= 3

  • 檢查當(dāng)前待操作 PD 集群節(jié)點信息：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member //顯示當(dāng)前所有成員

  • 檢查當(dāng)前待操作 PD 節(jié)點角色：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member leader show //顯示當(dāng)前l(fā)eader 的信息

  • 遷移 leader 節(jié)點：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member leader transfer pd-id // 將 leader 遷移到指定成員pd-id

  • 檢查遷移結(jié)果：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member leader show
tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member //顯示當(dāng)前所有成員，遷移成功進(jìn)行下一步，否則等待

  • 在待維護(hù)服務(wù)器上執(zhí)行停PD節(jié)點：

tiup cluster stop tidb-test -N {PDIP}:2379

  • leader 遷回（可選）：

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 member leader transfer pd-id // 將 leader 遷移到指定成員

停TiDB-server組件

一般情況下，線上使用TiDB會搭配負(fù)載均衡使用，在停掉Tidb-server組件之前需確定負(fù)載均衡是否需進(jìn)行對應(yīng)調(diào)整。

1. TiDB-server實例維護(hù)

停實例：
tiup cluster stop tidb-test -N {TiDBIP}:4000
2. 風(fēng)險點
在進(jìn)行停止TiDB-server 節(jié)點時，如果當(dāng)前節(jié)點為 owner 節(jié)點（curl http://{TiDBIP}:10080/info ）且正在進(jìn)行 DDL 變更，直接停止TiDB-server節(jié)點會進(jìn)行新的 owner 選舉，DDL變更會變慢。另外如果當(dāng)前節(jié)點非 owner 節(jié)點，在停掉之后有 DDL 操作時，每個狀態(tài)變更時也會去訪問該下線的節(jié)點，會對集群 DDL 操作有影響，因此盡量避免在臨時停止TiDB-server時以及期間進(jìn)行DDL操作。

在實際生產(chǎn)環(huán)境中，TiDB集群經(jīng)常會和DM（數(shù)據(jù)同步工具）配合使用，在停單臺服務(wù)器進(jìn)行維護(hù)操作之前需認(rèn)真梳理DM同步到TiDB的任務(wù)，如果DM工具的目標(biāo)端是直接連接的TiDB-server，在停服務(wù)器維護(hù)之前需要對DM工具的Task任務(wù)進(jìn)行調(diào)整，停掉DM任務(wù)連接的TiDB-server節(jié)點會導(dǎo)致同步任務(wù)失敗。

停grafana、alertmanager、prometheus

中控節(jié)點包含多個組件，在停服務(wù)器需添加如下組件操作：
  • 停grafana：
tiup cluster stop tidb-test -N {grafanaIP}:3000

  • 停alertmanager：

tiup cluster stop tidb-test -N {alertmanagerIP}:9093
  • 停止prometheus：
tiup cluster stop tidb-test -N {prometheusIP}:9090

關(guān)停服務(wù)器前檢查

  • 檢查集群狀態(tài)，對應(yīng)的服務(wù)器的組件是否都完全停掉。

tiup cluster display tidb-test

停服務(wù)器升級CPU和內(nèi)存并重新啟動。

啟動服務(wù)器后檢查集群狀態(tài)

  • 檢查集群狀態(tài)，是否都正常。

tiup cluster display tidb-test

所有節(jié)點都完成后調(diào)整參數(shù)

  • 修改 max-store-down-time 超過服務(wù)器維護(hù)時間，默認(rèn) 30 min，保證在服務(wù)器維護(hù)期間不發(fā)生補副本行為（需要注意維護(hù)完成后將參數(shù)恢復(fù)。）

tiup ctl:v5.0.0 pd -u http://{PDIP}:2379 config set max-store-down-time 30m // 默認(rèn)30分鐘


本文作者：陳 聰（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://hztianpu.com/yun/129344.html

相關(guān)文章

  • Cloud + TiDB 技術(shù)解讀

    摘要：作為一個開源的分布式數(shù)據(jù)庫產(chǎn)品，具有多副本強一致性的同時能夠根據(jù)業(yè)務(wù)需求非常方便的進(jìn)行彈性伸縮，并且擴(kuò)縮容期間對上層業(yè)務(wù)無感知。另外本身維護(hù)了數(shù)據(jù)多副本，這點和分布式文件系統(tǒng)的多副本是有重復(fù)的。 作者：鄧栓來源：細(xì)說云計算 作為一款定位在 Cloud-native 的數(shù)據(jù)庫，現(xiàn)如今 TiDB 在云整合上已取得了階段性的進(jìn)展。日前 Cloud TiDB 產(chǎn)品在 UCloud 平臺正式開啟...

    JouyPub 評論0 收藏0

  • 貝殼金服 TiDB 在線跨機房遷移實踐

    摘要：截至年底，貝殼金服業(yè)務(wù)已覆蓋全國多個城市及地區(qū)，為超過萬用戶提供了金融服務(wù)。老機房下線完成則表示數(shù)據(jù)遷移完成。機房遷移實施過程操作描述配置防火墻，將兩個機房所需端口開通。執(zhí)行下線命令，一次性下線所有舊機房的?？鐧C房遷移，網(wǎng)絡(luò)延遲不能高于。 作者介紹 ：李振環(huán)，貝殼金服數(shù)據(jù)基礎(chǔ)架構(gòu)負(fù)責(zé)人，目前負(fù)責(zé)數(shù)據(jù)平臺和企業(yè)級數(shù)據(jù)倉庫開發(fā)。 公司介紹 貝殼金服是專注居住場景的金融科技服務(wù)商，起步于2...

    Ashin 評論0 收藏0

  • CNCF案例研究：PingCAP

    摘要：中國論壇提案征集月日截止論壇讓用戶開發(fā)人員從業(yè)人員匯聚一堂，面對面進(jìn)行交流合作。贊助方案出爐多元化獎學(xué)金現(xiàn)正接受申請即將首次合體落地中國 PingCAP將其TiDB數(shù)據(jù)庫平臺押注在云原生上 showImg(https://segmentfault.com/img/bVbogKp?w=508&h=477); 公司：PingCAP地點：中國北京和加利福尼亞州圣馬特奧行業(yè)：軟件 挑戰(zhàn) 流行的...

    h9911 評論0 收藏0

  • CNCF案例研究：PingCAP

    摘要：中國論壇提案征集月日截止論壇讓用戶開發(fā)人員從業(yè)人員匯聚一堂，面對面進(jìn)行交流合作。贊助方案出爐多元化獎學(xué)金現(xiàn)正接受申請即將首次合體落地中國 PingCAP將其TiDB數(shù)據(jù)庫平臺押注在云原生上 showImg(https://segmentfault.com/img/bVbogKp?w=508&h=477); 公司：PingCAP地點：中國北京和加利福尼亞州圣馬特奧行業(yè)：軟件 挑戰(zhàn) 流行的...

    notebin 評論0 收藏0

  • 私有云怎么搭建之智能調(diào)度

    摘要：智能調(diào)度系統(tǒng)實時監(jiān)測集群所有計算節(jié)點計算存儲網(wǎng)絡(luò)等負(fù)載信息，作為虛擬機調(diào)度和管理的數(shù)據(jù)依據(jù)。當(dāng)有新的虛擬資源需要部署時，調(diào)度系統(tǒng)會優(yōu)先選擇低負(fù)荷節(jié)點進(jìn)行部署，確保整個集群節(jié)點的負(fù)載。智能調(diào)度是 UCloudStack 平臺虛擬機資源調(diào)度管理的核心，由調(diào)度模塊負(fù)責(zé)調(diào)度任務(wù)的控制和管理，用于決策虛擬機運行在哪一臺物理服務(wù)器上，同時管理虛擬機狀態(tài)及遷移計劃，保證虛擬機可用性和可靠性。智能調(diào)度系統(tǒng)實...

    ernest.wang 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<