Fake It until You Make It：數(shù)據(jù)合成技術(shù)，LLM時(shí)代的「血液提供商」

衡宇 2024-04-12 17:34:31 來源：量子位

到2024年，60%的數(shù)據(jù)用于開發(fā)AI和分析項(xiàng)目將綜合產(chǎn)生。

以上是研究機(jī)構(gòu)Gartner的最新預(yù)測(cè)。

它指出，許多公司已經(jīng)開始使用合成數(shù)據(jù)來訓(xùn)練AI模型，填補(bǔ)真實(shí)數(shù)據(jù)的不足，同時(shí)應(yīng)對(duì)數(shù)據(jù)稀缺和隱私問題。

去年11月，一篇發(fā)表在Nature雜志上的研究也表明使用合成數(shù)據(jù)替代真實(shí)醫(yī)療保健數(shù)據(jù)的有效性。

合成數(shù)據(jù)和表格合成數(shù)據(jù)

何為合成數(shù)據(jù)（Synthetic Data）？

它是通過算法、統(tǒng)計(jì)模型或生成人工智生成的數(shù)據(jù)，而非真實(shí)的觀測(cè)數(shù)據(jù)。

為了生成一組合成數(shù)據(jù)，需要通過算法分析原始數(shù)據(jù)從而得到原始數(shù)據(jù)中的特征分布、特征之間的關(guān)聯(lián)以及特征規(guī)律等要素，再進(jìn)行生成。

總的來說，合成數(shù)據(jù)具有以下優(yōu)勢(shì)：

• 可控性強(qiáng)：可根據(jù)需要控制數(shù)據(jù)的生成規(guī)則、分布特征等 ，控制合成數(shù)據(jù)部分特征；
• 數(shù)據(jù)量大：可快速生成大量的數(shù)據(jù)；
• 隱私保護(hù)：不涉及真實(shí)個(gè)人信息，避免隱私泄露的潛在風(fēng)險(xiǎn)。

那么，何為表格合成數(shù)據(jù)（Taublar Synthetic Data）？

表格合成數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)，具有明確的列和行，適用于需要處理大量結(jié)構(gòu)化數(shù)據(jù)的情況。

相比之下，其他合成數(shù)據(jù)可能是非結(jié)構(gòu)化的文本、圖像或音頻數(shù)據(jù)，處理起來更為復(fù)雜。

表格合成數(shù)據(jù)可以更容易地模擬真實(shí)世界中的業(yè)務(wù)場(chǎng)景和數(shù)據(jù)分布。

實(shí)際業(yè)務(wù)中，許多公司需要處理大量的結(jié)構(gòu)化數(shù)據(jù)，如銷售數(shù)據(jù)、客戶信息、財(cái)務(wù)報(bào)表等。通過使用表格合成數(shù)據(jù)，這些公司可以更快地構(gòu)建和訓(xùn)練AI模型。

為何使用合成數(shù)據(jù)？

在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，真實(shí)數(shù)據(jù)在數(shù)據(jù)分析應(yīng)用中的價(jià)值和效果是顯著的，但收集真實(shí)數(shù)據(jù)不僅費(fèi)時(shí)費(fèi)力，而且成本高昂。

另外，使用真實(shí)數(shù)據(jù)進(jìn)行分析并公開結(jié)果可能引發(fā)數(shù)據(jù)泄露問題，甚至法律糾紛等問題。

即使數(shù)據(jù)經(jīng)過脫敏處理，現(xiàn)代攻擊手段如數(shù)據(jù)推斷攻擊、數(shù)據(jù)重構(gòu)攻擊等仍可能恢復(fù)出敏感信息。

來自哈工大（深圳）數(shù)據(jù)安全研究院的研究人員注意到，通過使用合成數(shù)據(jù)就是一種規(guī)避手段。在某些情況下，它比現(xiàn)實(shí)世界中的同類產(chǎn)品更安全、更便宜、同樣有效：

首先，更安全。

合成數(shù)據(jù)不存在現(xiàn)實(shí)世界數(shù)據(jù)的錯(cuò)誤或隱私泄漏問題，可以自由共享且不會(huì)損害用戶隱私

其次，更便宜。

合成數(shù)據(jù)還可以定制化地按照規(guī)則進(jìn)行大規(guī)模生成。

再者，同樣有效。

來自數(shù)據(jù)安全研究院的研究人員創(chuàng)建了一組開源組件（合成數(shù)據(jù)生成器，SDG），并由研究院的數(shù)據(jù)科學(xué)家、工程師研發(fā)了一系列配套的算法，研究人員發(fā)現(xiàn)，在超過80%的實(shí)際測(cè)試中，合成數(shù)據(jù)可以媲美真實(shí)數(shù)據(jù)的效果。

表格合成數(shù)據(jù)的典型應(yīng)用場(chǎng)景

合成數(shù)據(jù)的有以下典型應(yīng)用場(chǎng)景：

數(shù)據(jù)集不平衡：通過控制合成數(shù)據(jù)的標(biāo)簽、特征比例，可以有效解決數(shù)據(jù)不平衡問題；

數(shù)據(jù)脫敏：傳統(tǒng)數(shù)據(jù)脫敏場(chǎng)景中，采用遮蓋方法屏蔽關(guān)鍵信息，會(huì)顯著降低數(shù)據(jù)質(zhì)量，且仍存在隱私泄漏風(fēng)險(xiǎn)，使用數(shù)據(jù)合成技術(shù)替換脫敏技術(shù)，可以有效提升數(shù)據(jù)質(zhì)量，并規(guī)避隱私風(fēng)險(xiǎn)。

政務(wù)數(shù)據(jù)開放：和數(shù)據(jù)脫敏場(chǎng)景類似，合成數(shù)據(jù)可以最大限度避免數(shù)據(jù)開放所帶來的隱私泄漏風(fēng)險(xiǎn)。

AI模型訓(xùn)練：合成數(shù)據(jù)已經(jīng)大量用于AI模型訓(xùn)練，用于應(yīng)對(duì)數(shù)據(jù)的不足，數(shù)據(jù)稀缺，隱私等問題。

業(yè)務(wù)系統(tǒng)測(cè)試：合成數(shù)據(jù)可以模擬真實(shí)數(shù)據(jù)的情況，幫助測(cè)試人員在不接觸真實(shí)數(shù)據(jù)的情況下進(jìn)行測(cè)試，提高測(cè)試效率和準(zhǔn)確性。

專用于表格數(shù)據(jù)合成的開源組件

合成數(shù)據(jù)生成器（Synthetic Data Generator，SDG）是由哈工大（深圳）劉川意教授團(tuán)隊(duì)開源的一款專注于結(jié)構(gòu)化表格數(shù)據(jù)快速生成的組件。目前在GitHub上關(guān)注度已有1.8K stars，并已有多位Contributor。

SDG支持多種模型，并針對(duì)執(zhí)行速度、內(nèi)存等方面進(jìn)行專門優(yōu)化，例如：合成數(shù)據(jù)生成器處理千萬級(jí)別數(shù)據(jù)，這是當(dāng)前其他數(shù)據(jù)合成組件做不到的。

此外，合成數(shù)據(jù)生成器還集成了使用大模型的仿真技術(shù)生成模型，通過學(xué)習(xí)原始數(shù)據(jù)或者表格的元數(shù)據(jù)，LLM模型能夠生成符合自然世界基本特點(diǎn)的數(shù)據(jù)表，與現(xiàn)有模型相比，這種方法支持無原始數(shù)據(jù)的合成數(shù)據(jù)生成，不需要進(jìn)行繁瑣的特征工程，僅憑原始數(shù)據(jù)表格的元數(shù)據(jù)（metadata）來快速生成數(shù)據(jù)表，節(jié)省了大量的時(shí)間和人力成本。

其示例如下圖所示：

此外，合成數(shù)據(jù)生成器還支持表外特征的自動(dòng)推斷，通過學(xué)習(xí)數(shù)據(jù)表的元數(shù)據(jù)和用戶提供的表外特征信息，大語言模型根據(jù)數(shù)據(jù)表的元數(shù)據(jù)和其所掌握的知識(shí)，生成高質(zhì)量的表外特征數(shù)據(jù)。

例子如下：

合成數(shù)據(jù)生成器團(tuán)隊(duì)還將持續(xù)維護(hù)組件，保持對(duì)工業(yè)界、學(xué)術(shù)界的最新情況追蹤，適時(shí)增加新的模型；同時(shí)會(huì)根據(jù)Issue 以及實(shí)際業(yè)務(wù)需求情況，持續(xù)添加新特性以滿足業(yè)務(wù)要求。

下一步，團(tuán)隊(duì)將進(jìn)一步推出基于大模型微調(diào)的數(shù)據(jù)合成模型。

SDG使用Apache-2.0開源協(xié)議，并設(shè)有微信技術(shù)交流群和 Slack 交流群，歡迎開發(fā)者進(jìn)行使用、反饋，提出建議。

項(xiàng)目源碼：https://github.com/hitsz-ids/synthetic-data-generator/tree/main
項(xiàng)目網(wǎng)站：https://sdg.idslab.iot