成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

OGG普通抽取模式轉換成集成模式遇到的坑

IT那活兒 / 2544人閱讀
OGG普通抽取模式轉換成集成模式遇到的坑
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了?。?！
一

問題背景

大數據平臺需要通過配置OGG抽取進程，對數據庫中壓縮表進行抽取投遞，因為原始配置的OGG抽取進程是普通抽取模式，而普通抽取模式無法針對壓縮表進行抽取，需要升級OGG抽取模式從普通模式升級到集成捕捉模式，因生產環(huán)境按照標準設定的連接數是2000，當前固定的連接數一直維持在1800。

1）環(huán)境介紹

  • 數據庫版本：11.2.0.4
  • 操作系統(tǒng)內核版本：Red Hat Enterprise Linux Server release 6.10 (Santiago)

  • 數據庫架構：11G R2單實例數據庫

2）環(huán)境依賴

  • 測試環(huán)境
    數據庫版本：11.2.0.4  oracle數據庫
    OGG版本：12.1.2.1.10

    （此版本支持集成模式，可以抽取壓縮表，版本太低無法完成壓縮表的抽?。?/span>

  • 生產環(huán)境
    數據庫版本：11.2.0.4  oracle數據庫
    OGG版本：12.1.2.1.10
二

實際升級步驟

2.1 源環(huán)境現(xiàn)狀

源環(huán)境有兩組進程，一組是普通的抽取模式，一種是集成抽取模式。
因為KAFKA進程依賴的抽取數據和源進程有沖突，因此新建了針對多帶帶特定表的抽取投遞進程，普通抽取進程（Log Read Checkpoint  Oracle Redo Logs），集成模式抽取進程（Log Read Checkpoint  Oracle Integrated Redo Logs）。
集成模式依賴LogMiner的抽取進程：

2.2 測試環(huán)境模擬驗證

測試環(huán)境模式生產,兩個抽取進程一個普通模式，一個集成模式,可以看到普通模式不會在數據庫中注冊進程，不會占用數據庫進程數。
見下圖可以看到集成模式會在數據庫中注冊捕獲進程，而普通模式不會，同時啟動集成模式會占用數據庫連接數15個。
2.3 升級集成模式

2.3.1 升級抽取進程

1）注冊抽取進程
stop EXT_KFK
register EXTRACT EXT_KFK database
2）啟動抽取進程確保抽取點在注冊進程之后，否則無法升級
start EXT_KFK
info EXT_KFK
3）升級抽取進程為集成模式
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
alter extract EXT_KFK ,downgrade tranlog

2.3.2 查看進程

可以看到新增抽取進程，數據庫會新增15條左右的連接數，需要確保連接數足夠，整體看連接數是充足的，整個升級過程中未預見超出預期的情況。

2.4 正式環(huán)境開始實施

stop EXT_KFK
register EXTRACT EXT_KFK database
start EXT_KFK
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
同樣的操作，當執(zhí)行upgrade后：

1）數據庫連接數飆升

2）OGG 報ORA-01372錯誤

ORA-01372: 用于指定 LogMiner 操作的進程數不足。

3）數據庫alter報連接數超限進程未再次分配

2.5 回退

因連接限制升級并非成功，緊急回退：unregister EXTRACT EXT_KFK database。
由于此操作是下班時間做，系統(tǒng)使用的人少，進程超限后未再次分配，使得還有幾個空閑連接，緊急回退后連接數告警消除。
三

升級解決方案

此庫為1核128G單實例節(jié)點，DOP=128，由于OGG配置4路并發(fā)導致啟動升級后系統(tǒng)會形成4*128個并行進程去收集統(tǒng)計信息。
單實例數據：
ogg并發(fā)配置：

  • 1）增大process值（需要重啟數據庫）

    alter system set processes=3000 scope=spfile;

  • 2）調整parallelism為1

    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 4)  調整為
    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 1)；

  • 3）調整并行度參數

    調整parallel_degree_limit,parallel_threads_per_cpu, cpu_count, or parallel_max_servers參數來限制并行度。


本文作者：朱澤劍(上海新炬中北團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://hztianpu.com/yun/129128.html

相關文章

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<