大模型上了火山方舟：數(shù)據(jù)唯你可見，唯你所用，唯你所有

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

大模型的發(fā)展呈現(xiàn)出追風(fēng)逐日般的速度，但與之相伴的安全問題，也是頻頻被曝光。

正如此前ChatGPT所曝出的案例中，黑客可以利用漏洞給AI植入虛假記憶，在后續(xù)回答中出現(xiàn)誤導(dǎo)信息。

而且還能植入惡意指令，持續(xù)獲取用戶聊天數(shù)據(jù)。

即便開啟新的對(duì)話也是無濟(jì)于事，簡直就是大寫的“陰魂不散”：

試想這種對(duì)話一旦涉及機(jī)密的內(nèi)容，那帶來后果和損失可以說是不敢想象。

可怕，著實(shí)是有些可怕。

但反觀國內(nèi)的大模型玩家，卻似乎鮮有黑客入侵、數(shù)據(jù)泄露等安全問題的存在。

為何會(huì)如此？

帶著這個(gè)疑問，我們找到了大模型服務(wù)平臺(tái)火山方舟的團(tuán)隊(duì)，在與火山引擎智能算法負(fù)責(zé)人、火山方舟負(fù)責(zé)人吳迪做了深入交談之后，得到了這樣的答案：

這是因?yàn)榛鹕椒街蹚腄ay 1開始就把安全植入基因，把它當(dāng)作基本的產(chǎn)品功能來實(shí)現(xiàn)。

目前我們已經(jīng)做到了模型和會(huì)話等數(shù)據(jù)全周期都是安全可信的，而且是會(huì)話無痕的那種。

一言蔽之，就是你的數(shù)據(jù)，唯你可見，唯你所用，唯你所有。

那么火山方舟具體又是如何做到的，我們繼續(xù)往下看。

火山方舟：在我這，會(huì)話無痕

傳統(tǒng)的數(shù)據(jù)安全保護(hù)方案，已經(jīng)不能被套用到AI大模型時(shí)代。

這就是目前大模型玩家們?cè)诎踩矫嫠媾R的最根本且真實(shí)的難題。

因?yàn)閭鹘y(tǒng)的私有化部署方案，多數(shù)是屬于數(shù)據(jù)不動(dòng)模型動(dòng)，這種方法難以跟上云上大模型的快速迭代，且基礎(chǔ)算力的單位成本遠(yuǎn)高于公有云集中調(diào)度。

因此，現(xiàn)在更適合的一種方案應(yīng)當(dāng)是模型不動(dòng)數(shù)據(jù)動(dòng)，企業(yè)需要將數(shù)據(jù)上傳到云中，以此來利用最先進(jìn)的大模型能力。

如何讓用戶充分信任云上數(shù)據(jù)的安全性始終是一個(gè)難題。

加之在技術(shù)層面上，主流的隱私計(jì)算技術(shù)也無法滿足生產(chǎn)級(jí)別性能要求。

例如可用的TEE技術(shù)雖然成熟，但保護(hù)GPU等異構(gòu)高算力硬件，是依然在探討和研究中，無法直接大規(guī)模用于生產(chǎn)環(huán)境；MPC等多方安全計(jì)算技術(shù)也很難在大模型的吞吐、延遲與大模型的效果之間取得平衡。

而火山方舟的全周期安全方案，卻能直擊上述的痛點(diǎn)，并且很好地提供安全保護(hù)的能力。

整體來看，這套方案共分為四大維度，分別是：

• 鏈路全加密
• 數(shù)據(jù)高保密
• 環(huán)境強(qiáng)隔離
• 操作可審計(jì)

接下來，我們就把整套方案拆分開來，深入到每個(gè)維度來看下火山方舟是如何搞安全的。

鏈路全加密

在大模型應(yīng)用中，數(shù)據(jù)流轉(zhuǎn)的每個(gè)環(huán)節(jié)都可能面臨風(fēng)險(xiǎn)，特別是當(dāng)數(shù)據(jù)從用戶端發(fā)送到云端進(jìn)行處理的時(shí)候。

對(duì)此，火山方舟平臺(tái)采用了“雙層加密”方案，即在數(shù)據(jù)傳輸過程中實(shí)施網(wǎng)絡(luò)層和應(yīng)用層的雙重加密。

首先是在網(wǎng)絡(luò)層，火山方舟使用了HTTPS協(xié)議，這就像給數(shù)據(jù)通道加上了一層防護(hù)罩，讓數(shù)據(jù)在傳輸過程中被安全封裝。

同時(shí)，平臺(tái)還使用了mTLS（Mutual Transport Layer Security，即雙向認(rèn)證傳輸層安全協(xié)議），這可以理解為“雙保險(xiǎn)”，因?yàn)椴粌H用戶會(huì)驗(yàn)證方舟平臺(tái)的身份，方舟平臺(tái)也會(huì)反向驗(yàn)證用戶的身份。

這種方式類似于寄送包裹時(shí)不僅需要寄件人和收件人的地址驗(yàn)證，快遞員還會(huì)在每個(gè)傳送節(jié)點(diǎn)核查包裹是否安全抵達(dá)目標(biāo)地址，確保沒有被篡改。

這一層安全措施有效防止中間人攻擊，即攻擊者試圖在傳輸鏈路中截取或篡改數(shù)據(jù)的行為。

然而，僅僅依賴網(wǎng)絡(luò)層加密還不足以保證數(shù)據(jù)絕對(duì)安全，因?yàn)槿绻麛?shù)據(jù)在網(wǎng)絡(luò)傳輸中被誤導(dǎo)到錯(cuò)誤的地址，那么即便是密文也有可能被破解。

因此，火山方舟還增加了應(yīng)用層的會(huì)話加密，進(jìn)一步確保數(shù)據(jù)即便落到不正確的接收端，也無法被解密讀取。

網(wǎng)絡(luò)層的加密就像給一個(gè)文件加了一層保險(xiǎn)盒，而應(yīng)用層加密就如同再給保險(xiǎn)盒上了一把鎖，雙重保險(xiǎn)確保即便有人攔截了這個(gè)文件，也無從打開它。

在應(yīng)用層加密中，每個(gè)推理實(shí)例都被賦予了一個(gè)唯一的身份認(rèn)證證書，類似于每個(gè)人都有自己的身份證號(hào)。

用戶的數(shù)據(jù)會(huì)使用這個(gè)證書的公鑰進(jìn)行加密，而只有當(dāng)數(shù)據(jù)抵達(dá)擁有對(duì)應(yīng)私鑰的火山方舟安全沙箱內(nèi)，才會(huì)被解密。

這一設(shè)計(jì)如同用戶的數(shù)據(jù)在送達(dá)火山方舟之前被打上了獨(dú)特的印記，只有持有匹配“鑰匙”的平臺(tái)安全環(huán)境才能將其解密和使用。

這樣一來，平臺(tái)確保了用戶數(shù)據(jù)在傳輸中始終處于封閉的“安全通道”中，未經(jīng)授權(quán)的任何人都無法解鎖并查看數(shù)據(jù)。

數(shù)據(jù)高保密

這一步驟核心在于如何確保數(shù)據(jù)在平臺(tái)的傳輸、使用和存儲(chǔ)過程中始終處于極高的保密狀態(tài)。

數(shù)據(jù)高保密不僅涵蓋了對(duì)數(shù)據(jù)存儲(chǔ)、加密等方面的多重保護(hù)，更以沙箱環(huán)境為基礎(chǔ)，確保數(shù)據(jù)即便在平臺(tái)內(nèi)部流轉(zhuǎn)時(shí)也不會(huì)暴露給任何未經(jīng)授權(quán)的用戶。

這一保密策略類似于把數(shù)據(jù)鎖進(jìn)一個(gè)“加密金庫”中，無論是外界的攻擊者還是平臺(tái)的內(nèi)部人員都無法直接接觸到未加密的原始數(shù)據(jù)。

對(duì)此，火山方舟采取的策略是：

從數(shù)據(jù)上傳之初就以密文形式加密存儲(chǔ)，只有當(dāng)數(shù)據(jù)進(jìn)入沙箱內(nèi)存時(shí)才會(huì)被解密。

對(duì)于模型訓(xùn)練，用戶可以通過火山引擎提供的密鑰管理服務(wù)（KMS）功能，設(shè)置自定義密鑰對(duì)數(shù)據(jù)進(jìn)行加密，并將數(shù)據(jù)存儲(chǔ)在用戶自己的TOS（對(duì)象存儲(chǔ)服務(wù)）內(nèi)。

這一環(huán)節(jié)可視作給數(shù)據(jù)“穿上盔甲”后再送到平臺(tái)，即便數(shù)據(jù)被截獲，攻擊者也只能看到加密后的“密文”，無法獲取數(shù)據(jù)的真實(shí)內(nèi)容。

然后，在平臺(tái)內(nèi)部，數(shù)據(jù)被分配到安全沙箱中并以密文狀態(tài)存儲(chǔ)，只有在安全沙箱的內(nèi)存中才能夠短暫解密以供訓(xùn)練使用。

通過這一設(shè)計(jì)，火山方舟平臺(tái)建立了一個(gè)“只有沙箱能讀懂?dāng)?shù)據(jù)”的密鑰體系，確保數(shù)據(jù)在離開沙箱后始終以密文狀態(tài)存在。

這就好比“密鑰控制”，即每一組數(shù)據(jù)都配有一把“加密鎖”和“解密鑰匙”。

這把鑰匙由用戶控制，只有用戶允許時(shí)才能使用。比如當(dāng)企業(yè)客戶需要上傳訓(xùn)練數(shù)據(jù)集時(shí)，可以事先利用TOS的加密功能對(duì)數(shù)據(jù)進(jìn)行處理。

然后火山方舟平臺(tái)將密文數(shù)據(jù)掛載到安全沙箱環(huán)境中，在內(nèi)存中完成解密后，數(shù)據(jù)才會(huì)被投入訓(xùn)練系統(tǒng)。

此外，火山方舟平臺(tái)的數(shù)據(jù)高保密功能還擴(kuò)展到了精調(diào)模型的存儲(chǔ)和管理環(huán)節(jié)。

對(duì)于每一個(gè)完成精調(diào)的模型，平臺(tái)都會(huì)以加密的形式存儲(chǔ)在對(duì)象存儲(chǔ)或云文件系統(tǒng)中，確保只有授權(quán)用戶能讀取和使用。

同時(shí)，為了保證模型的高效加載和運(yùn)行性能，火山方舟平臺(tái)利用GPU加密庫，讓模型在加載和運(yùn)行過程中能夠直接在 GPU 上完成解密和加密處理。

這種方式極大地提升了數(shù)據(jù)流轉(zhuǎn)效率，確保在不犧牲模型推理速度的情況下依然保持?jǐn)?shù)據(jù)的高度安全。

在安全沙箱之內(nèi)，還有一個(gè)“任務(wù)級(jí)隔離”的策略。

在平臺(tái)上，每個(gè)模型任務(wù)被劃分為獨(dú)立的“安全隔間”，即使在多租戶并發(fā)的情況下，用戶數(shù)據(jù)之間也不會(huì)互相干擾。

這樣的隔離策略讓每一個(gè)任務(wù)都像被鎖在自己的“小隔間”中，即便其他租戶發(fā)生任何安全事件，也不會(huì)影響到當(dāng)前任務(wù)的安全性。

環(huán)境強(qiáng)隔離

火山方舟的“環(huán)境強(qiáng)隔離”方案，不僅涉及到上述我們提到的任務(wù)級(jí)隔離，更包括了防止數(shù)據(jù)泄露、確保安全操作、監(jiān)控內(nèi)部流量等方面的多層次措施。

環(huán)境強(qiáng)隔離的首要任務(wù)是讓每個(gè)模型任務(wù)擁有一個(gè)獨(dú)立、隔離的“安全區(qū)域”，這一設(shè)計(jì)類似于給每個(gè)任務(wù)分配了一個(gè)“安全艙”。

在實(shí)際操作中，火山方舟為每個(gè)任務(wù)使用了隔離容器，確保每個(gè)任務(wù)實(shí)例在一個(gè)安全且封閉的容器環(huán)境中獨(dú)立運(yùn)行。

為了達(dá)到高安全性，這些容器不僅隔離了彼此的網(wǎng)絡(luò)流量，還限制了容器內(nèi)部的操作權(quán)限，防止任務(wù)間出現(xiàn)橫向數(shù)據(jù)傳輸，確保不同任務(wù)間的數(shù)據(jù)不會(huì)相互干擾。

為了進(jìn)一步加強(qiáng)任務(wù)的隔離性，火山方舟在容器的基礎(chǔ)上設(shè)計(jì)了一層動(dòng)態(tài)網(wǎng)絡(luò)隔離。

這項(xiàng)技術(shù)確保每個(gè)任務(wù)都擁有獨(dú)立的、專屬的網(wǎng)絡(luò)策略。

具體而言，當(dāng)一個(gè)任務(wù)被創(chuàng)建時(shí)，系統(tǒng)會(huì)自動(dòng)生成一套動(dòng)態(tài)的網(wǎng)絡(luò)配置，適用于該任務(wù)的全生命周期；從任務(wù)創(chuàng)建到結(jié)束，無論任務(wù)間是否位于同一云網(wǎng)絡(luò)環(huán)境下，它們之間的網(wǎng)絡(luò)連接始終被嚴(yán)格隔離。

除此之外，火山方舟還為任務(wù)實(shí)例部署了容器沙箱技術(shù)。容器沙箱技術(shù)通過添加多層安全防護(hù)，使得容器在隔離性上得到了大幅提升。

此處用到的是一項(xiàng)字節(jié)跳動(dòng)開發(fā)的開源技術(shù)“VERM Armor”，這項(xiàng)技術(shù)為容器提供了一種實(shí)時(shí)阻斷威脅的機(jī)制，一旦容器檢測(cè)到潛在的安全漏洞，就會(huì)立即阻止危險(xiǎn)行為的繼續(xù)。

在環(huán)境強(qiáng)隔離的設(shè)計(jì)中，火山方舟還確保了關(guān)鍵數(shù)據(jù)的“只讀存取”功能。任務(wù)實(shí)例在使用模型和數(shù)據(jù)時(shí)僅具備讀取權(quán)限，不能對(duì)數(shù)據(jù)進(jìn)行修改。

此外，火山方舟還部署了可信數(shù)據(jù)訪問代理系統(tǒng)，進(jìn)一步加強(qiáng)了數(shù)據(jù)的隔離性和安全性。

系統(tǒng)不僅能確保數(shù)據(jù)請(qǐng)求的來源和權(quán)限檢查，還能防止容器中的數(shù)據(jù)未經(jīng)授權(quán)發(fā)送到外部環(huán)境。

這一設(shè)計(jì)就像海關(guān)檢驗(yàn)程序，每一個(gè)進(jìn)出任務(wù)隔間的數(shù)據(jù)請(qǐng)求都要經(jīng)過嚴(yán)格審查，任何未經(jīng)授權(quán)的數(shù)據(jù)傳輸都會(huì)被攔截。

這種多層級(jí)的防護(hù)策略，使得用戶數(shù)據(jù)即便在任務(wù)隔間內(nèi)部也處于嚴(yán)格的監(jiān)控之下。

操作可審計(jì)

這一步驟的核心在于實(shí)現(xiàn)“可驗(yàn)證的安全性”，讓所有涉及數(shù)據(jù)的操作都能被完整記錄，并在必要時(shí)追溯來源。

操作可審計(jì)主要通過“審計(jì)日志”功能來實(shí)現(xiàn)。

每當(dāng)用戶的數(shù)據(jù)在平臺(tái)內(nèi)被訪問、傳輸、處理或刪除時(shí)，系統(tǒng)會(huì)自動(dòng)生成詳細(xì)的操作記錄。

這些日志如同“監(jiān)控錄像”，詳細(xì)記錄了操作的時(shí)間、操作人、操作內(nèi)容和操作結(jié)果。

就好比“數(shù)據(jù)使用的完整痕跡”，用戶可以像檢查銀行賬單一樣審查自己的數(shù)據(jù)是否在未經(jīng)授權(quán)的情況下被訪問或操作。

這種設(shè)計(jì)不僅提升了數(shù)據(jù)的安全性，還增強(qiáng)了用戶對(duì)平臺(tái)的信任。

此外，火山方舟的審計(jì)日志設(shè)計(jì)遵循“透明可信”的理念。

用戶可通過方舟控制臺(tái)隨時(shí)查看自己的數(shù)據(jù)操作日志，了解自己的數(shù)據(jù)在平臺(tái)上的流轉(zhuǎn)情況。

火山方舟還提供了多重驗(yàn)證機(jī)制，用戶可以將平臺(tái)的操作日志與自己系統(tǒng)的操作記錄相對(duì)比，以確保數(shù)據(jù)處理的真實(shí)、準(zhǔn)確性。

這種交叉驗(yàn)證機(jī)制類似于“多重備份驗(yàn)證”，讓用戶更放心地監(jiān)控?cái)?shù)據(jù)安全。

同時(shí)，火山方舟的審計(jì)日志不僅記錄了標(biāo)準(zhǔn)操作，還能夠標(biāo)記異常操作并自動(dòng)觸發(fā)警報(bào)。

如果出現(xiàn)越權(quán)訪問或操作不當(dāng)?shù)那闆r，系統(tǒng)中的監(jiān)控指標(biāo)會(huì)立即發(fā)生變化。

這一設(shè)計(jì)如同銀行的“風(fēng)險(xiǎn)預(yù)警系統(tǒng)”，任何可疑操作都會(huì)在第一時(shí)間被標(biāo)記，用戶能清晰看到平臺(tái)在安全保護(hù)上的責(zé)任與能力。

總而言之，在火山平臺(tái)這里，數(shù)據(jù)所到之處，處處都是安全措施。

不僅要“Don’t be evil”，更要“Can’t be evil”

在與吳迪的交流過程中，他還特別提及了內(nèi)部每隔幾天便會(huì)上演“火山方舟與藍(lán)軍攻防”的安全機(jī)制。

這個(gè)機(jī)制不僅是火山方舟對(duì)內(nèi)部系統(tǒng)進(jìn)行嚴(yán)格檢驗(yàn)的方式，更是確保平臺(tái)始終處于最佳防御狀態(tài)的一項(xiàng)重要實(shí)踐。

通過這種攻防演練，火山方舟團(tuán)隊(duì)能夠模擬真實(shí)的攻擊環(huán)境，檢測(cè)安全系統(tǒng)的穩(wěn)健性，及時(shí)發(fā)現(xiàn)和修補(bǔ)潛在漏洞。

這種演練源自軍隊(duì)訓(xùn)練，藍(lán)軍模擬攻擊，火山方舟防守阻止。

藍(lán)軍由專業(yè)內(nèi)部團(tuán)隊(duì)組成，模擬密碼破解、權(quán)限提升、數(shù)據(jù)竊取等網(wǎng)絡(luò)攻擊，嘗試突破平臺(tái)防護(hù)?；鹕椒街蹌t負(fù)責(zé)監(jiān)測(cè)、識(shí)別并阻止這些入侵，采取實(shí)時(shí)監(jiān)控、迅速響應(yīng)和修復(fù)漏洞等措施。

這種演練包括日常、小型和大型攻防演練。小型演練每月或每兩月一次，大型演練每季度或半年一次，通常聯(lián)合外部白帽團(tuán)隊(duì)進(jìn)行，以模擬更復(fù)雜的攻擊場(chǎng)景。

吳迪指出，這種機(jī)制幫助團(tuán)隊(duì)不斷發(fā)現(xiàn)并修復(fù)安全隱患，提升應(yīng)對(duì)真實(shí)攻擊的能力。

并且已成為火山方舟安全體系的重要組成部分，不僅提高了團(tuán)隊(duì)的安全意識(shí)和技術(shù)水平，也讓用戶感受到平臺(tái)在安全保障上的持續(xù)努力。

在談到眾多環(huán)節(jié)中哪個(gè)才是最重要的，在吳迪認(rèn)為，內(nèi)部人員的操作是安全風(fēng)險(xiǎn)的一個(gè)重要根源。

而這也正是我們剛才提到的，火山方舟引入了可信代理和堡壘機(jī)的雙重管理機(jī)制的原因所在，可以確保所有運(yùn)維人員的操作都經(jīng)過嚴(yán)格的權(quán)限申請(qǐng)并全程錄屏。

吳迪還提出，火山方舟的安全理念正在從“Don’t be evil”向“Can’t be evil”演進(jìn)。

所謂“Don’t be evil”意味著平臺(tái)通過可驗(yàn)證的安全審計(jì)結(jié)合加密隔離等技術(shù)，確保除了用戶之外的任何一方，包括平臺(tái)內(nèi)部人員，如果違反數(shù)據(jù)安全策略，都能夠被第一時(shí)間發(fā)現(xiàn)并追責(zé)。

而“Can’t be evil”則意味著平臺(tái)將通過進(jìn)一步的技術(shù)手段，使得惡意行為從根本上不可實(shí)施，這包括可信度量技術(shù)、以及泌態(tài)計(jì)算等技術(shù)的應(yīng)用，能夠主動(dòng)減少攻擊面，并且提升用戶數(shù)據(jù)隱私保護(hù)級(jí)別。。

并且火山方舟的安全能力，是從第一天就開始建設(shè)，像鋼筋水泥一樣澆筑在產(chǎn)品里，而不是先蓋好房子又裝修。從下面這張圖的時(shí)間線中便可一目了然：

展望未來，吳迪認(rèn)為生成式AI技術(shù)的發(fā)展速度極為迅猛，這也給安全防護(hù)帶來了前所未有的挑戰(zhàn)。

特別是在多模態(tài)生成式AI應(yīng)用場(chǎng)景中，例如視頻、音頻等多種輸入與輸出模式下，如何在技術(shù)復(fù)雜性不斷增加的情況下維持高標(biāo)準(zhǔn)的安全性，是未來的重大挑戰(zhàn)之一。

他表示，火山方舟將繼續(xù)探索加密硬件技術(shù)、跨行業(yè)聯(lián)合安全方案等新興技術(shù)，以確保在技術(shù)快速發(fā)展和用戶體驗(yàn)之間實(shí)現(xiàn)最佳平衡。

而在我們問及吳迪，在搞安全的過程中，是否有令他印象深刻的故事時(shí)，他這樣回答道：

我們沒有故事，要有故事就成事故了。

總而言之，縱觀火山方舟的整體安全互信方案，是已經(jīng)做到了“科技道路千萬條，安全第一條”。

參考鏈接：
[1]https://www.youtube.com/watch?v=zb0q5AW5ns8&t=3s
[2]https://mp.weixin.qq.com/s/dLY3gH165TbdP4KqTXHXjw