清華系公司聯(lián)合，單4090讓安全大模型進入千億時代｜長亭x趨境

衡宇 2024-09-12 11:51:58 來源：量子位

夢晨 衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

AI大行其道的時代，網(wǎng)絡(luò)安全正面臨前所未有的威脅。

化身黑客的AI學(xué)會了自動化攻擊，還有相當(dāng)高的成功率，伊利諾伊大學(xué)香檳分校研究團隊的最新研究顯示：GPT-4能夠在閱讀CVE漏洞描述后，學(xué)會利用漏洞攻擊，成功率高達87%。

既然攻擊方都與時俱進，用上AI新技術(shù)來搞破壞。

防御方自然也不會坐以待斃，也在積極把AI大模型納入自己的反制招數(shù)里，最近就有這樣一件大事：

今年剛剛完成10億融資的新生代網(wǎng)絡(luò)安全領(lǐng)軍企業(yè)長亭科技，聯(lián)手同為清華系的AI Infra廠商趨境科技，共同發(fā)布新一代安全大模型解決方案，此次合作將長亭問津（ChaitinAI）安全大模型參數(shù)規(guī)模提升至超過千億，安全能力全方位大幅提升。

至此網(wǎng)絡(luò)安全行業(yè)邁入千億大模型時代。

AI攻防戰(zhàn)，千億大模型帶來什么改變

從百億到千億，大模型參數(shù)規(guī)模升級，究竟能給網(wǎng)絡(luò)安全帶來什么改變？

網(wǎng)絡(luò)安全領(lǐng)域有兩個核心的指標：攻擊識別準確率、檢測時延。

在一個企業(yè)的網(wǎng)絡(luò)系統(tǒng)里，每天都有各種各樣的訪問/調(diào)用請求，需要識別每一個請求是正常的業(yè)務(wù)還是惡意的攻擊。加入大模型后，能夠協(xié)助系統(tǒng)進行更快速、更準確的攻擊判斷。

舉個栗子。

經(jīng)常會收到的欺詐郵件就是一種惡意攻擊，一旦點擊其中的鏈接或者下載文件之后，電腦就會被攻擊。

加入了大模型之后，在大家收到郵件的同時，大模型就會對郵件進行內(nèi)容識別，根據(jù)多條線索來進行多個步驟的惡意攻擊研判，在判定為惡意郵件后，秒級自動向用戶告警，并提醒用戶盡量避免點擊鏈接和下載附件。

在長亭科技30萬+自有的多類型攻擊樣本測評中，某國內(nèi)頭部大模型攻擊識別率為48.3%，而通過長亭聯(lián)合趨境科技發(fā)布的千億參數(shù)的安全大模型解決方案，可以把成績提升到92.1%。

在另一個基于真實攻擊流量構(gòu)建的私有數(shù)據(jù)集的測試中，問津（ChaitinAI）也成功把成績從65.5%提升到95.8%。

再拿對安全要求更高的金融企業(yè)舉例，交易行為和數(shù)據(jù)對安全性要求極高，擁有復(fù)雜的網(wǎng)絡(luò)環(huán)境，同時由于在系統(tǒng)里的各種交易行為活動量大，通常會有海量的日志數(shù)據(jù)，而對應(yīng)的攻擊手段也非常多樣。

某金融企業(yè)在一次網(wǎng)絡(luò)環(huán)境中出現(xiàn)異常行為時，問津（ChaitinAI）安全大模型同樣秒級響應(yīng)。

首先從海量日志數(shù)據(jù)中迅速提取對應(yīng)的數(shù)據(jù)行為并進行標準化處理，根據(jù)行為模式研判屬于APT攻擊（Advanced Persistent Threat，高級長期威脅），同時提取攻擊行為相關(guān)的關(guān)鍵資產(chǎn)，掃描其中的安全漏洞，明確威脅行為來源。隨后再對攻擊行為流量、文件等進行分析，成功揪出背后偽裝成合法軟件的惡意工具包。

問津（ChaitinAI）在這次攻擊行為中給出了精確的事件研判報告和處理對策，整個流程僅需3分鐘，MTTD?（平均檢測時間）和MTTR?（平均響應(yīng)時間），從原來的三十分鐘到數(shù)小時，減少到10分鐘以內(nèi)，幫助該企業(yè)安全團隊迅速定位和決策，成功阻斷了APT攻擊的進?步滲透和破壞。

像這樣的提升，接下來還有……這么多：

• 事件研判處理建議采納率提升
• 安全報告的內(nèi)容生成質(zhì)量評分提升
• 對于代碼的問題發(fā)現(xiàn)和檢測的準確率提升
• 漏洞修復(fù)建議的采納率提升
• 對于違法、有害、暴力、色情等不良內(nèi)容的識別能力更強。即對不良內(nèi)容的識別準確率、召回率提升
• 同一目標的滲透測試任務(wù)，大模型驅(qū)動的智能滲透測試的漏洞發(fā)現(xiàn)數(shù)量以及可真實利用數(shù)量提升
• 基于不同場景選擇合適工具/策略的準確率提升
• 綜合的輸出健壯性和穩(wěn)定性，不同場景下輸出質(zhì)量的波動率降低

Scaling Law的威力，在垂直領(lǐng)域大模型上再一次得到驗證：

參數(shù)規(guī)模的數(shù)量級提升，會體現(xiàn)在模型的通用性、泛化能力上。再落實到應(yīng)用場景上，就不只是單點的指標突破，而是全方位提升了。

接下來的問題就是，過去安全行業(yè)怎么不用千億大模型，是因為不喜歡嗎？（狗頭）

破解效果、效率和成本的不可能三角

其實主要涉及安全檢測效果、用戶響應(yīng)效率和私有部署成本，三者之間的矛盾。

安全行業(yè)對于檢測效果的追求永無止境，任何一個小小的安全漏洞很可能帶來巨大的損失。安全大模型依然遵循Scaling Law，千億參數(shù)的模型相比于百億參數(shù)，安全效果進一步升級。

同時，網(wǎng)絡(luò)安全防護是24小時一刻也不能松懈的任務(wù)，需要不斷調(diào)用大模型進行推理。一旦檢測到攻擊事件，接下來的響應(yīng)速度也非常關(guān)鍵。

此外，對于安全行業(yè)來說，數(shù)據(jù)的隱私性也極其重要，使用大模型需要在本地部署，并用特定數(shù)據(jù)進行訓(xùn)練。而訓(xùn)練和維護一個千億參數(shù)的模型，背后是巨大的計算資源和投入，成本動輒需要數(shù)百萬。

既要安全效果好、又要落地成本低、還要檢測效率高，安全大模型落地中的看似“不可能三角”，被長亭和趨境聯(lián)手破解了。

AI Infra新秀入局，拉低部署門檻

這是一個掌握垂直行業(yè)場景的公司與大模型技術(shù)公司合作的典型案例。

長亭科技是國內(nèi)頂尖的網(wǎng)絡(luò)信息安全公司之一，專注為企業(yè)級用戶提供智能、簡單、省心的安全防護產(chǎn)品和解決方案。

趨境科技則是一家AI Infra新秀，專注于構(gòu)建和開發(fā)先進的大模型推理加速平臺，為企業(yè)和開發(fā)者提供高效、低成本的大語言模型推理服務(wù)。

趨境科技在不久前，聯(lián)合清華KVCache.AI團隊發(fā)布開源項目“KTransformers?（https://github.com/kvcache-ai/ktransformers）”，利用 MoE 模型和長文本注意力算子的稀疏特性，采用異構(gòu)劃分策略，大幅度提升了超大模型和超長文本的推理性能，降低了他們本地部署的門檻。

作為項目的首個展示案例，使用 KTransformers ，只需不到 12GB 的顯存和百余 GB 的內(nèi)存即可在本地運行Mixtral 8x22B 和 DeepSeek-Coder-V2 等千億級大模型，達到數(shù)倍于 Llama.cpp 的性能。

這一技術(shù)使得千億大模型的本地使用成本降低了10倍以上。

另一方面，對于安全場景下同樣非常重要的長文本推理能力 KTransformers 同樣可以實現(xiàn)大幅度優(yōu)化。

即便是長達 1M 的超長上下文，KTransformers 也可以在僅配備 24GB 顯存的設(shè)備上即可完成，生成速度達到 16.91 token/s，比 Llama.cpp 快 10 倍以上的同時維持了接近滿分的“大海撈針”。

項目在GitHub上開源后，馬上被Hugging Face注意到，收獲了開源項目負責(zé)人 Lysandre Debut 的點贊，同時還在國內(nèi)外社區(qū)里引起很多討論。

推出開源版本的同時，趨境科技也推出了高性能 KTransformers 商業(yè)版引擎和基于此的推理服務(wù)平臺，通過高級內(nèi)核優(yōu)化和放置/并行策略，在開源版的基礎(chǔ)上推理能力更強，速度更快，同時也增加了針對企業(yè)級的高并發(fā)策略，更適合團隊/企業(yè)級用戶。

大模型落地千行百業(yè)必經(jīng)之路

在AI Infra日益完善、大模型安全備受關(guān)注的行業(yè)背景下，同為清華系的長亭科技也很快注意到趨境科技。

由于問津（ChaitinAI）安全大模型同樣具備參數(shù)和注意力兩方面的稀疏性，這與趨境科技的技術(shù)優(yōu)勢十分貼切，雙方一拍即合：

采用KTransformers的技術(shù)策略對問津（ChaitinAI）安全大模型進行升級。

問津（ChaitinAI）安全千億大模型解決方案應(yīng)運而生。

雙方聯(lián)手，不僅是技術(shù)實力的驗證，更是深入場景落地能力、方案交付能力的驗證。

大模型在各行業(yè)的快速落地，離不開行業(yè)場景公司和AI Infra公司的聯(lián)合。

大模型的安全性和可靠性一直是持續(xù)關(guān)注和優(yōu)化的重點所在。這次的合作只是一次創(chuàng)新試驗，是大模型技術(shù)發(fā)展的一個縮影。

更長遠來看，未來，隨著AI技術(shù)的不斷發(fā)展和行業(yè)需求的日益旺盛，會有更多這樣的合作出現(xiàn)。

可以預(yù)見，這些合作將不僅局限于技術(shù)層面的創(chuàng)新，更將涉及到安全、倫理、治理等多個維度的探索和實踐，共同推動大模型一步步落到千行百業(yè)。

問津（ChaitinAI）千億大模型解決方案試用鏈接：https://jsj.top/f/lzjQag

問津官網(wǎng)：https://www.chaitin.cn/zh/chaitinAI

KTransformers 開源鏈接：https://github.com/kvcache-ai/ktransformers

趨境科技官網(wǎng)：https://approaching-ai.com/