我們最近的部落格討論了從傳統平臺到 CDP 私有云基礎的四種途徑。在本部落格和隨附的影片中，我們將深入探討執行從 CDH5 或 CDH6 到 CDP 私有云基礎的就地升級的機制。整體升級遵循如下所示的七個步驟。
在下面的影片中，我們將介紹從 CDH 到 CDP 私有云基礎的完整的端到端升級。
步驟 1：準備升級
在繼續升級之前，有必要檢視文件中指定的先決條件。我們還建議執行完整的叢集執行狀況檢查，我們的專業服務團隊可以提供幫助。充分了解叢集的當前狀態和健康狀況對於成功升級至關重要。
我們建議安裝 WXM並捕獲當前工作負載效能的基線，這將使我們能夠更準確地評估升級前後的差異。如果沒有這些基線，可能很難理解升級完成後工作負載如何或為什麼表現不佳。
還值得檢查您的應用程式與 CDP 中元件的新版本的相容性。如果您從 CDH6 升級，您可以預期在版本方面會非常相似，而 CDH5 有一些更大的版本提升。至少您應該期望檢視任何 API 更改並重新編譯任何應用程式。在某些情況下，在 CDP 中將特定的舊元件替換為新的等效元件可能需要額外的程式碼更新才能與您的操作完全整合。
最後，我們還建議您對叢集進行完整備份，包括：
RDBMS
ZooKeeper資料
HDFS 主節點資料目錄
Navigator KMS、KTS 和 KeyHSM
Cloudera Manager資料
CDH5和CDH6 的完整詳細資訊可用。
從 CDP Private Cloud Base 7。1。6 開始，我們現在具有 CDH5 和 CDH6 的完整回滾功能，但這需要從上述備份中恢復資料。
步驟2：升級前過渡步驟
CDH5和CDH6 的指令細節不同，但基本相同。我們需要為 CDP 中的任何元件更改做好準備，包括：
從 MR1 過渡到 MR2（僅限 CDH5）
為 Solr 準備新集合（僅限 CDH5）
匯出為 Apache Ranger 準備的 Sentry 策略
將 Hive 1 或 2 工作負載遷移到 Hive 3
HBase 升級前檢查（CDH5和CDH6）
Replication Manager檢查
Solr依賴
我們建議所有客戶在生產中升級到 CDP 之前，先在開發或測試叢集中測試工作負載。
步驟3：升級 JDK
CDP 支援 Open JDK 1。8 和 1。11 以及 Oracle JDK 1。8。如果正在使用 JDK 1。6 或 1。7，則應在升級 Cloudera Manager 之前升級它們。請注意文件中有關特定 JDK 版本的警告。
步驟 4a：升級作業系統
CDP 支援 Red Hat 和 CentOS 7。6+ 和 8。2、Ubuntu 18。04 和 20。04 以及 SLES 12SP5。如果您執行的是較舊版本的作業系統，則還需要在叢集升級開始之前升級這些作業系統。
步驟 4b：升級 RDBMS
CDP 支援 MariaDB 10。2-10。4、MySQL 5。7 和 8。0、PostgreSQL 10、11 和 12 以及 OracleDB 12c、19c 和 19。9。
步驟 5：升級 Cloudera Manager
Cloudera Manager 也應該在升級之前進行備份，其中包括 RDBMS 和任何 Cloudera Management Service 目錄。
Cloudera Manager Server 和 Cloudera Manager Agent 透過作業系統的包管理系統進行更新。首先，更新配置的儲存庫，然後執行升級命令。
一旦 Cloudera Manager Server 重新啟動並且代理全部簽入，您就可以繼續透過 Web UI 升級 Cloudera Management Services。
步驟 6：將 CDH 升級到 CDP 執行時
升級的第一步是配置 CM 以檢視新的parcel，然後從parcels 頁面啟動升級嚮導。
該向導將指導您完成以下步驟：
解決 Spark2 替代方案優先順序 - 僅適用於 CDH5
新增 Tez 服務——這是 Hive 3 所必需的。
新增新的 Solr 服務——Ranger 需要一個專門的 Solr 來處理審計日誌。
注意：這與執行以業務為中心的用例的其他 Solr 例項在單獨的埠上執行。
新增 YARN 佇列管理器 - 用於管理 YARN 佇列的使用者介面
Fair Scheduler 到 Capacity Scheduler – 我們提供了一個fs2cs 命令列工具，用於從 Fair Scheduler 遷移到 Capacity Scheduler，但建議您在升級前後仔細檢查和調整 Capacity Scheduler 配置。
在 Tez 服務上新增 Hive –
注意：HiveServer2 角色已移至此服務，不應再在 Cloudera Manager 中的 Hive 服務下訪問。
新增 Ranger 服務 - Ranger 正在取代 Sentry 和專注於審計的 Navigator 部分。
安裝 Atlas – 替換用於血緣和編目的導航器
新增 Kafka 服務 - 如果 Atlas 尚未安裝，則需要
新增 HBase 服務 - 如果 Atlas 尚未安裝，則需要
新增 Atlas 服務
Navigator到 Atlas 遷移
設定 TLS 設定——確保配置所有金鑰庫和信任庫設定很重要，否則服務可能會在升級過程中難以連線到 Ranger 或 Atlas。
匯出Ranger許可權 -
此步驟現在作為 CM 7。4。4 的一部分自動執行，稍後將轉換為 Ranger 策略並在升級嚮導過程中自動匯入
CM、Hive 和 Oozie 的備份叢集元資料和資料庫
執行升級
步驟7：升級後步驟
升級嚮導完成後，必須完成幾個升級後步驟。這些步驟將幫助系統為最終測試和驗證做好準備，它們涵蓋了額外的配置和執行時更改，以瞭解您的 CDP 叢集。檢視CDH5和CDH6升級後文檔以瞭解每個版本所需的特定任務。
完成和最終化
升級完成後，所有服務都應啟動並執行。此時，您應該執行另一次健康檢查並確保所有服務都正常工作。您可以重新設定工作負載的基準並使用 WXM 執行前後比較。
一旦您對升級狀態感到滿意，您就可以完成 HDFS 元資料。重要提示：在執行此步驟之前，不會刪除任何已刪除的塊，這意味著可以回滾。在您完全準備好之前，不要執行最終確定步驟！一旦完成了 HDFS，就無法回滾。
總結
端到端的過程相對簡單，主要是嚮導驅動的。應注意確保在較低的環境中測試應用程式和工作負載，並在生產之前消除任何不相容性。
檢視上面有關實際叢集升級的影片，如果您想討論 CDP 之旅的後續步驟，請聯絡您的客戶團隊或 Cloudera 支援。
有關升級過程的其他資訊，請參閱
CDP 私有云基礎升級文件
Cloudera 升級指南伴侶
CDP 知識中心
原文作者：Tristan Stevens
