解構 Amazon MSK 快速代理遷移策略 擴展速度較標準代理快 20 倍

Amazon MSK 現在提供名為快速代理 (Express Brokers) 的新代理類型。與運行 Apache Kafka 的標準代理 (Standard Brokers) 相比，它能為每個代理提供高達 3 倍的輸送量，擴展速度提高 20 倍，並將恢復時間縮短 90%。快速代理預配置了 Kafka 最佳實踐，支援 Kafka API，並提供與 Amazon MSK 客戶期望的相同的低時延性能，讓客戶可繼續使用現有的用戶端應用程式，而無需進行任何更改。快速代理無需預先配置即可提供無限存儲空間。用戶使用 Amazon MSK Replicator 將所有數據和元數據從現有 MSK 集群複製到由快速代理組成的新集群。

在以下部分中，我們將概要分析使用 MSK Replicator 進行遷移所需的考慮，以及將數據從標準代理 MSK 集群複製到 Express 代理 MSK 集群的解決方案。有興趣了解完整內容的讀者可參閱詳情原文。

規劃遷移到快速代理的需求與方法 

從標準代理遷移到快速代理需要徹底規劃並仔細考慮各種因素。首先，你需要評估源集群的基礎設施和需求，當中考慮因素包括 CPU 使用率、網絡輸送量、數據吞吐量 (volume throughput)、平衡分區 (balanced partitions)。其次，你需要評估目標集群的基礎設施和需求。使用相同的大小調整工具，你可以估計到快速代理集群的大小。通常與標準代理相比，對於相同的工作負載，可能需要更少快速代理，因為根據實例 (instance) 大小，快速代理允許的進口吞吐量 (ingress throughput) 最多增加三倍。

當評估好需求後，你需要配置 Express Broker 以及安排用戶端與目標集群的連接。繼而你可以選擇一次過進行遷移或分階段遷移。一次過遷移的操作較簡單，但出現故障的話會對客戶端帶來風險。分階段遷移則能有效降低風險，但需要仔細規劃。另外，你還需要考慮採用 Consumer 或 Producer 優先的策略。 每種策略都有其利弊，你既可以參考更多遷移案例，又或尋找本地可靠的雲端遷移專家了解更多。

最後，當你做好壓縮類型配置，製定切換計劃(cutover plan)，以及確保原有的 schema 註冊表可繼續使用之後，便可以開始部署遷移。

解決方案概述

在下圖可見，部署了兩個 Amazon MSK 預置集群：一個使用標準代理（原始），另一個使用快速代理（目標）。兩個集群位於同一 AWS 區域和 VPC 中，並啟用了 IAM 身份驗證。MSK Replicator 用於將主題、數據和配置從原始集群複製到目標集群。Replicator 配置在兩個集群之間保持相同的主題名稱，從而提供無縫複製，亦無需更改用戶端。

當 MSK Replicator 將原始數據複製到目標集群後，你需要評估目標集群的運行狀況。確認運行狀況良好後，你可以選擇 Producer 優先或 Consumer 優先的遷移方法。下圖採取的是消費者優先的方法，您首先停止 Consumer，將其重新配置為從目標集群讀取，然後重新啟動它們。

將所有 Consumer 遷移到目標集群後，停止原始集群中的 Producer。允許 MSK Replicator 完成從原始集群到目標集群的任何未完成數據的複製。最後，重新配置 Producer 以在目標集群中發佈並重新啟動它們，如下圖所示。

總結

使用 MSK Replicator 從標準代理 MSK 集群遷移到快速代理 MSK 集群，可實現無縫、高效過渡，同時將停機時間降至最低。當中考慮的條件和所需操作步驟眾多，有興趣可閱讀全文以了解更多。