AI打敗AI！瑞萊智慧發(fā)布全新RealSafe，自動(dòng)對(duì)齊研究員方法落地
大模型正在”野蠻生長(zhǎng)“
允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
最近，OpenAI宣布，表示計(jì)劃投入更多資源并成立新的研究團(tuán)隊(duì)，研究如何確保人工智能對(duì)人類的安全性，最終實(shí)現(xiàn)用人工智能來(lái)監(jiān)督人工智能，并提出了新概念「自動(dòng)對(duì)齊研究員」。
無(wú)獨(dú)有偶，2023WAIC世界人工智能大會(huì)上，RealAI已將「自動(dòng)對(duì)齊研究員」這一人工智能安全提升方法落地了。
清華大學(xué)人工智能研究院孵化企業(yè)瑞萊智慧RealAI發(fā)布全新人工智能安全平臺(tái)RealSafe3.0，該平臺(tái)功能與OpenAI提出的「自動(dòng)對(duì)齊研究員」類似——
通過(guò)自動(dòng)化的訓(xùn)練方法優(yōu)化大模型，以期在通用人工智能加速賦能人類社會(huì)的同時(shí)，為人類筑起抵御人工智能威脅的安全之盾。
瑞萊智慧聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪認(rèn)為，大模型“落地難”的本質(zhì)在于，當(dāng)前仍處于“野蠻生長(zhǎng)”階段，還沒(méi)有找到場(chǎng)景、風(fēng)險(xiǎn)和規(guī)范三者之間的平衡點(diǎn)。而在探尋這一平衡點(diǎn)的過(guò)程中，缺少易用和標(biāo)準(zhǔn)化的工具，即在技術(shù)層面上缺乏有力抓手，能夠科學(xué)評(píng)判大模型在場(chǎng)景中能否同時(shí)滿足規(guī)范和低風(fēng)險(xiǎn)，且能夠進(jìn)一步定位問(wèn)題并給出優(yōu)化建議，助力模型上線運(yùn)行。
集成主流及RealAI獨(dú)有的世界領(lǐng)先的安全評(píng)測(cè)技術(shù)，RealSafe3.0版本能夠提供端到端的模型安全性測(cè)評(píng)解決方案，解決當(dāng)前通用大模型安全風(fēng)險(xiǎn)難以審計(jì)的痛點(diǎn)問(wèn)題。
相較上一版本，RealSafe3.0新增了對(duì)通用大模型的評(píng)測(cè)，在評(píng)測(cè)維度上，它已覆蓋數(shù)據(jù)安全、認(rèn)知任務(wù)、通用模型特有漏洞、濫用場(chǎng)景等近70個(gè)評(píng)測(cè)維度，全方位多維度地評(píng)測(cè)通用大模型的性能，且未來(lái)還會(huì)持續(xù)擴(kuò)增測(cè)評(píng)維度的數(shù)量。
對(duì)黑盒不可解釋的通用大模型，自研紅隊(duì)對(duì)抗模型取代人工設(shè)計(jì)問(wèn)題。該模型數(shù)據(jù)集中，不僅包含了自有數(shù)據(jù)集，還包含了模型自生成的數(shù)據(jù)，因此它能夠自動(dòng)化地挖掘出更多的漏洞，真正從源頭上緩解安全問(wèn)題。
教練模型則通過(guò)對(duì)被測(cè)大模型進(jìn)行多輪次的提問(wèn)-回答訓(xùn)練，并以訓(xùn)練好的評(píng)分模型對(duì)問(wèn)答結(jié)果進(jìn)行評(píng)分，再將評(píng)分結(jié)果反饋給大模型，使其不斷強(qiáng)化學(xué)習(xí)到好壞答案的要點(diǎn)及區(qū)別，直至問(wèn)答能力逐步迭代至最優(yōu)。
除了定制化的訓(xùn)練框架，教練模型理想的模型效果還得益于夯實(shí)的數(shù)據(jù)基礎(chǔ)，瑞萊智慧自有數(shù)據(jù)集經(jīng)過(guò)數(shù)十位價(jià)值觀領(lǐng)域的專家論證，以確保輸入的數(shù)據(jù)無(wú)誤，質(zhì)量高且領(lǐng)域多元，未來(lái)也將持續(xù)更新補(bǔ)充。
除此之外，瑞萊智慧還升級(jí)了能夠防范生成式人工智能惡意濫用的DeepReal2.0。
據(jù)悉，DeepReal此前名為深度偽造內(nèi)容檢測(cè)平臺(tái)，現(xiàn)已正式更名為生成式人工智能內(nèi)容檢測(cè)平臺(tái)，因?yàn)樗四軌驒z測(cè)Deepfake內(nèi)容，還新增兩個(gè)功能模塊，可以檢測(cè)Diffusion、LLM這兩類新方法生成的數(shù)據(jù)，支持對(duì)圖像、視頻、音頻、文本進(jìn)行是否偽造的檢測(cè)。
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
陳丹琦團(tuán)隊(duì)新作：數(shù)據(jù)量砍95%，大模型性能更強(qiáng)了！Less is More
數(shù)據(jù)選擇算法LESS
Meta大模型成了“科學(xué)造假發(fā)動(dòng)機(jī)”，發(fā)布3天就在爭(zhēng)議中下架
LeCun：模型沒(méi)有錯(cuò)，是被人濫用
