安全至上的 AI 擴展！Robinhood如何在金融領域馴服大型語言模型？

hktechblog
8月26日
讀畢需時 6 分鐘

在數位轉型的浪潮中，金融科技公司面臨著特殊的挑戰：如何在嚴格的監管環境中安全地部署人工智慧技術，同時保持創新的步伐？Robinhood 的經驗為我們提供了寶貴的見解，展示了如何在不犧牲安全性的前提下，成功擴展大型語言模型（Large Language Model, LLM）的應用。本文將深入探討 Robinhood 如何透過精心設計的架構和策略，在金融服務領域安全地馴服 AI 的力量。

金融科技的 AI 安全難題

金融服務行業處理著全球最敏感的個人資料之一—我們的財務資訊。當人工智慧技術進入這個領域，資料安全與隱私保護便成為首要考量。Robinhood 作為金融科技的創新先驅，同樣面臨著如何在嚴格的監管框架內安全部署 AI 技術的挑戰。

Robinhood 自 2013 年成立以來，以提供免佣金交易服務而聞名，成為首家完全在雲端服務上託管的券商。該公司的 AI 和機器學習（Machine Learning, ML）平台肩負著明確的使命：透過強大的 AI 和 ML 抽象化賦予開發人員能力，同時為進階用戶提供高級工具，專注於簡化從實驗到生產的過程。

這個平台目前支援著多種關鍵業務應用，包括詐欺調查、文件處理、代理工作流程、資料分析、文字轉 SQL 功能、聊天應用和行銷內容生成等。在這些應用中，安全性始終是首要考量，而 Amazon Web Services (AWS) 的雲端架構提供了堅實的基礎。

詐欺調查的 AI 革新：從人工到智能輔助

Robinhood 的詐欺調查案例完美展示了 AI 如何在金融安全領域發揮關鍵作用。該公司每天有超過 80 名詐欺調查人員需手動撰寫超過 300 份案件結論，傳統流程耗時 30-60 分鐘，不僅耗時且難以保持敘述的一致性和品質。

為解決這一挑戰，Robinhood 導入了由 Amazon Bedrock 的預留輸送量模式（Provisioned Throughput Mode）和 Claude Sonnet 模型支援的解決方案。系統能夠接收調查員的原始筆記和表單關鍵詳細資訊，並在幾秒鐘內將其轉化為結構化的調查結論草稿。

然而，安全設計是這個 AI 解決方案的核心。團隊實施了多重保護措施：

· 生成敘述按鈕僅在表單變更時才能啟用

· 每個瀏覽器工作階段限制兩次點擊

· 鼓勵調查人員手動完善自動生成的敘述

· 設立 1-5 分的評分回饋機制，以持續改進系統

這種人機協作模式不僅大幅提升了效率，同時確保了人類專家對最終結果的監督與控制，完美平衡了自動化與安全性的需求。

架構演進：從孤島到彈性網絡

Robinhood 的 AI 架構經歷了關鍵的演進過程，反映了金融企業在 AI 部署上的成熟路徑。

專屬模型部署的安全考量與限制

在初期階段，Robinhood 選擇了 Amazon Bedrock 的預留輸送量模式，這種方式提供專用的模型單元，確保推論過程的隔離性。為強化安全性，他們還配置了 Amazon Virtual Private Cloud (Amazon VPC) 端點，確保所有流量通過 AWS PrivateLink 在 AWS 網路內部安全傳輸，不經過公共網際網路。

然而，這種架構也面臨著挑戰：

1. 可擴展性問題：需要提前數月預測流量模式，並承諾固定數量的模型單元

2. 嘈雜鄰居問題（noisy neighbor problem）：當一個團隊消耗大量容量時，會影響共享同一模型單元的其他團隊

3. 最新模型獲取延遲：新的 LLM 通常先在隨選 API 上發布，然後才出現在預留輸送量模式中

4. 成本與彈性限制：六個月的承諾期限制了靈活採用多種模型的能力

隨選模式與跨區域彈性的突破

面對這些挑戰，Robinhood 轉向了更加靈活的架構—Amazon Bedrock 的隨選 API（on-demand API）。這一轉變由零日數據留存協議確保安全性不受影響，同時解鎖了更大的彈性與可擴展性。

特別值得注意的是 Amazon Bedrock 的跨區域推論（cross region inference）功能，它能夠：

· 將分配的配額在推論設定檔所在區域中提高一倍

· 動態路由流量到多個區域，無需複雜的客戶端負載平衡

· 在維持相同 VPC 安全性的同時，提供最佳可用性、降低延遲並增強高用量期間的彈性

最重要的是，Robinhood 能夠無縫過渡到這種新架構，而不影響任何客戶端流量，這要歸功於他們開發的大型語言模型閘道（LLM gateway）。

LLM 閘道：安全與彈性的守門員

Robinhood 的 LLM 閘道成為其 AI 架構的核心樞紐，提供了強大的安全保障和開發彈性。

多功能兼容的開發者體驗

這個閘道設計為兼容多種 SDK（如Anthropic 等），處理將輸入翻譯到各提供者端點的工作，包括處理補全、嵌入和圖像生成請求。系統會驗證字符大小、圖像大小等參數，確保請求符合規範且高效，並將所有請求和回應記錄到離線分析表中，提供穩健的審計追蹤和深入分析能力。

這種設計讓 Robinhood 的開發團隊能夠使用自己偏好的技術堆疊，同時通過中央化服務存取 LLM，大幅提升開發效率。

敏感資訊過濾的自動化防護

考慮到金融服務的嚴格合規要求，閘道內建了個人識別資訊（Personal Identifiable Information, PII）減少服務，使用 Microsoft Presidio API 自動檢測和編輯輸入與輸出中的敏感資訊。這確保 Robinhood 能夠利用 LLM 處理各種使用案例，同時完全遵守資料隱私法規，為客戶資料提供最高級別的保護。