首個(gè)智慧城市大模型UrbanGPT，全面開(kāi)源開(kāi)放｜港大&百度

西風(fēng) 2024-06-01 15:07:05 來(lái)源：量子位

UrbanGPT團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

時(shí)空預(yù)測(cè)技術(shù)，迎來(lái)ChatGPT時(shí)刻。

時(shí)空預(yù)測(cè)致力于捕捉城市生活的動(dòng)態(tài)變化，并預(yù)測(cè)其未來(lái)走向，它不僅關(guān)注交通和人流的流動(dòng)，還涵蓋了犯罪趨勢(shì)等多個(gè)維度。目前，深度時(shí)空預(yù)測(cè)技術(shù)在生成精確的時(shí)空模型方面，依賴于大量訓(xùn)練數(shù)據(jù)的支撐，這在城市數(shù)據(jù)不足的情況下顯得尤為困難。

港大、百度聯(lián)合團(tuán)隊(duì)借鑒大型語(yǔ)言模型的思想，提出了一種新型的時(shí)空大型語(yǔ)言模型UbanGPT。

該模型在多種城市應(yīng)用場(chǎng)景中展現(xiàn)了出色的普適性。通過(guò)結(jié)合時(shí)空依賴編碼器和指令微調(diào)方法，該模型增強(qiáng)了對(duì)時(shí)間和空間復(fù)雜關(guān)系的理解，即使在數(shù)據(jù)稀缺的條件下也能提供更精確的預(yù)測(cè)。通過(guò)一系列廣泛的實(shí)驗(yàn)，UrbanGPT在多個(gè)城市相關(guān)的任務(wù)上展現(xiàn)了其卓越的性能，并證明了其在零樣本學(xué)習(xí)領(lǐng)域的強(qiáng)大潛力。

時(shí)空大型語(yǔ)言模型UrbanGPT

挑戰(zhàn)1：標(biāo)簽稀缺和高昂的訓(xùn)練成本

盡管尖端的時(shí)空網(wǎng)絡(luò)在預(yù)測(cè)任務(wù)上表現(xiàn)出色，但它們的效能受限于對(duì)大量標(biāo)記數(shù)據(jù)的依賴。在城市應(yīng)用中，獲取數(shù)據(jù)通常非常困難，例如，要對(duì)整個(gè)城市的交通和空氣質(zhì)量進(jìn)行監(jiān)控，其成本是相當(dāng)高的。此外，這些模型在面對(duì)新地區(qū)或新任務(wù)時(shí)，其泛化能力通常不足，需要進(jìn)行重新訓(xùn)練以適應(yīng)不同的時(shí)空環(huán)境。

挑戰(zhàn)2：LLMs和現(xiàn)有的時(shí)空預(yù)測(cè)模型在零樣本泛化方面存在局限

如圖1所展示的，大型語(yǔ)言模型LLaMA能夠根據(jù)輸入的文本信息推斷出流量模式。但是，當(dāng)涉及到處理具有復(fù)雜時(shí)空依賴性的數(shù)字時(shí)間序列數(shù)據(jù)時(shí)，LLaMA的預(yù)測(cè)能力受限，有時(shí)可能會(huì)得出與實(shí)際相反的預(yù)測(cè)結(jié)果。與此同時(shí)，雖然預(yù)訓(xùn)練的基線模型能夠有效地編碼時(shí)空依賴關(guān)系，但它們可能會(huì)因?yàn)檫^(guò)度適應(yīng)原始訓(xùn)練數(shù)據(jù)而在沒(méi)有先前經(jīng)驗(yàn)的新場(chǎng)景（零樣本場(chǎng)景）中表現(xiàn)不佳。

挑戰(zhàn)3：如何將LLMs的出色推理能力擴(kuò)展到時(shí)空預(yù)測(cè)領(lǐng)域：

時(shí)空數(shù)據(jù)具有其獨(dú)特的屬性，這與LLMs所編碼的信息之間存在差異。縮小這一差異，并構(gòu)建一個(gè)能夠在多樣的城市任務(wù)中展現(xiàn)出卓越泛化性能的時(shí)空大型語(yǔ)言模型，是當(dāng)前面臨的一個(gè)重大挑戰(zhàn)。

△ 圖1：與LLMs和現(xiàn)有時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)相比，UrbanGPT 在零樣本場(chǎng)景下能更好地預(yù)測(cè)未來(lái)時(shí)空趨勢(shì)

時(shí)空大型語(yǔ)言模型UrbanGPT

據(jù)團(tuán)隊(duì)了解，這是首次嘗試創(chuàng)建一種時(shí)空大型語(yǔ)言模型，該模型能夠預(yù)測(cè)不同數(shù)據(jù)集上的多種城市現(xiàn)象，特別是在訓(xùn)練樣本受限的情境下。

本研究提出了名為UrbanGPT的時(shí)空預(yù)測(cè)框架，它賦予了大型語(yǔ)言模型深入理解時(shí)間和空間之間復(fù)雜相互依賴關(guān)系的能力。通過(guò)將時(shí)空依賴編碼器與指令微調(diào)策略巧妙結(jié)合，該框架成功地將時(shí)空信息與大型語(yǔ)言模型的推理能力融合在一起。

在現(xiàn)實(shí)世界數(shù)據(jù)基礎(chǔ)上進(jìn)行的廣泛實(shí)驗(yàn)驗(yàn)證了UrbanGPT在零樣本時(shí)空學(xué)習(xí)場(chǎng)景中的卓越泛化性能。這些實(shí)驗(yàn)結(jié)果不僅凸顯了UrbanGPT模型的強(qiáng)大泛化潛力，也證實(shí)了它在精確預(yù)測(cè)和理解時(shí)空模式方面的有效性，即便在缺乏訓(xùn)練樣本的情況下。

△圖2: UrbanGPT 整體框架

時(shí)空依賴編碼器

LLMs在處理語(yǔ)言任務(wù)時(shí)表現(xiàn)出色，但它們?cè)诮馕鰰r(shí)空數(shù)據(jù)中固有的時(shí)間序列及其演化模式方面存在困難。為了克服這一難題，本文提出了一種創(chuàng)新方法，即整合時(shí)空編碼器來(lái)提升大型語(yǔ)言模型捕捉時(shí)空上下文中時(shí)間依賴性的能力。具體來(lái)說(shuō)，所設(shè)計(jì)的時(shí)空編碼器由兩個(gè)核心組件構(gòu)成：一個(gè)是門控?cái)U(kuò)散卷積層，另一個(gè)是多層次關(guān)聯(lián)注入層。

門控時(shí)間擴(kuò)散卷積層在不同層級(jí)上編碼了不同程度的時(shí)間依賴性，捕捉了具有不同粒度級(jí)別的時(shí)間演化特征。為了保留這些時(shí)間信息模式，團(tuán)隊(duì)引入了一個(gè)多層次的關(guān)聯(lián)注入層，該層旨在融合不同層級(jí)之間的相互關(guān)聯(lián)性。

為應(yīng)對(duì)可能出現(xiàn)的多樣化城市場(chǎng)景，本文提出的時(shí)空編碼器在模擬空間關(guān)聯(lián)性時(shí)不依賴于特定的圖結(jié)構(gòu)。這種做法考慮到在零樣本預(yù)測(cè)的情境下，實(shí)體間的空間聯(lián)系可能是未知的或難以明確界定的。這樣的設(shè)計(jì)確保了UrbanGPT能夠在廣泛的城市環(huán)境條件下保持其適用性和有效性。

時(shí)空指令微調(diào)框架

時(shí)空數(shù)據(jù)-文本對(duì)齊

為了讓語(yǔ)言模型能夠準(zhǔn)確捕捉時(shí)空模式，確保文本信息與時(shí)空數(shù)據(jù)的一致性是關(guān)鍵。這種對(duì)齊使得模型能夠整合多種類型的數(shù)據(jù)，生成更豐富的信息表示。通過(guò)結(jié)合文本和時(shí)空領(lǐng)域的上下文特征，模型不僅能夠捕獲到補(bǔ)充性的信息，還能提煉出更具表現(xiàn)力的高級(jí)語(yǔ)義特征。

時(shí)空提示指令

在進(jìn)行時(shí)空預(yù)測(cè)時(shí)，時(shí)間與空間維度都蘊(yùn)含著豐富的語(yǔ)義信息，這些信息對(duì)于模型準(zhǔn)確理解特定情境下的時(shí)空動(dòng)態(tài)至關(guān)重要。例如，早晨的交通流量特征與交通高峰時(shí)段顯著不同，同時(shí)商業(yè)區(qū)和住宅區(qū)的交通模式也各有特點(diǎn)。UrbanGPT框架通過(guò)整合不同粒度的時(shí)間數(shù)據(jù)和空間特征，作為其大型語(yǔ)言模型的指令輸入。具體來(lái)說(shuō)，時(shí)間信息涵蓋了日期、具體時(shí)間等要素，而空間信息則包括了城市名稱、行政區(qū)劃分以及周邊的興趣點(diǎn)（POI）等數(shù)據(jù)，如圖3所示。這種多維度的時(shí)空信息整合，使得UrbanGPT能夠精確地捕捉不同時(shí)間和地點(diǎn)的時(shí)空模式，顯著增強(qiáng)了其在未知樣本上的推理能力。

△圖3: 編碼時(shí)間和空間信息感知的時(shí)空提示指令

3.2.3 大語(yǔ)言模型的時(shí)空指令微調(diào)

在利用大型語(yǔ)言模型（LLMs）進(jìn)行指令微調(diào)以生成文本形式的時(shí)空預(yù)測(cè)時(shí)，面臨兩大挑戰(zhàn)。首先，這類預(yù)測(cè)任務(wù)依賴于數(shù)值型數(shù)據(jù)，其結(jié)構(gòu)和規(guī)律與LLMs所擅長(zhǎng)處理的自然語(yǔ)言（側(cè)重于語(yǔ)義和語(yǔ)法）存在差異。其次，LLMs通常采用多分類損失函數(shù)進(jìn)行預(yù)訓(xùn)練，以預(yù)測(cè)文本中接下來(lái)的單詞，這與需要輸出連續(xù)數(shù)值的回歸問(wèn)題有所區(qū)別。

實(shí)驗(yàn)結(jié)果：

零樣本預(yù)測(cè)性能

相同城市內(nèi)未見(jiàn)區(qū)域的預(yù)測(cè)

跨區(qū)域場(chǎng)景使用同一城市中某些區(qū)域的數(shù)據(jù)來(lái)預(yù)測(cè)模型未曾接觸過(guò)的其他區(qū)域的未來(lái)情況。通過(guò)細(xì)致分析模型在此類跨區(qū)域預(yù)測(cè)任務(wù)中的表現(xiàn)，團(tuán)隊(duì)發(fā)現(xiàn)UrbanGPT展現(xiàn)了出色的零樣本預(yù)測(cè)性能。UrbanGPT通過(guò)時(shí)空與文本信息的精準(zhǔn)對(duì)齊，以及將時(shí)空指令微調(diào)技術(shù)與時(shí)空依賴編碼器的無(wú)縫融合，有效地保持了通用且可遷移的時(shí)空知識(shí)，從而在零樣本場(chǎng)景中實(shí)現(xiàn)了精準(zhǔn)的預(yù)測(cè)。此外，UrbanGPT在處理數(shù)據(jù)稀疏性問(wèn)題時(shí)同樣具備顯著優(yōu)勢(shì)。特別是在犯罪預(yù)測(cè)任務(wù)中，由于數(shù)據(jù)的稀疏性，傳統(tǒng)的基線模型經(jīng)常表現(xiàn)不佳，低召回率可能暗示了過(guò)擬合的問(wèn)題。UrbanGPT通過(guò)整合文本中的語(yǔ)義信息，注入了豐富的語(yǔ)義洞察力，這增強(qiáng)了模型捕捉稀疏數(shù)據(jù)中時(shí)空模式的能力，進(jìn)而提升了預(yù)測(cè)的準(zhǔn)確度。

△表1：跨區(qū)域零樣本預(yù)測(cè)場(chǎng)景性能比較

跨城市預(yù)測(cè)任務(wù)

為了檢驗(yàn)?zāi)Ｐ驮谶M(jìn)行跨城市預(yù)測(cè)時(shí)的表現(xiàn)，團(tuán)隊(duì)選用了CHI-taxi數(shù)據(jù)集進(jìn)行評(píng)估，該數(shù)據(jù)集在模型的訓(xùn)練階段未曾使用。圖4的評(píng)估結(jié)果表明，在每個(gè)時(shí)間點(diǎn)上，模型的表現(xiàn)均優(yōu)于其他對(duì)比方法，這證實(shí)了UrbanGPT在跨城市知識(shí)遷移方面的有效性。模型通過(guò)綜合考慮多樣的地理信息和時(shí)間要素，展現(xiàn)出將功能相似的區(qū)域和歷史同期的時(shí)空模式進(jìn)行關(guān)聯(lián)的能力，為實(shí)現(xiàn)跨城市場(chǎng)景中的精確零樣本預(yù)測(cè)提供了強(qiáng)有力的支持。

△圖4：跨城市零樣本預(yù)測(cè)場(chǎng)景性能比較

典型的有監(jiān)督預(yù)測(cè)任務(wù)

團(tuán)隊(duì)也對(duì)UrbanGPT在有監(jiān)督預(yù)測(cè)情境下的性能進(jìn)行了探究，特別是通過(guò)采用時(shí)間跨度更大的測(cè)試數(shù)據(jù)集來(lái)檢驗(yàn)?zāi)Ｐ驮陂L(zhǎng)期時(shí)空預(yù)測(cè)方面的效能。舉例來(lái)說(shuō)，團(tuán)隊(duì)使用2017年的數(shù)據(jù)來(lái)訓(xùn)練模型，并用2021年的數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試結(jié)果顯示，UrbanGPT在長(zhǎng)期時(shí)間跨度的場(chǎng)景中相比基線模型有著明顯的優(yōu)勢(shì)，彰顯了其出色的泛化能力。這一特性意味著模型不需要頻繁地重新訓(xùn)練或進(jìn)行增量更新，從而更適應(yīng)實(shí)際應(yīng)用場(chǎng)景。此外，實(shí)驗(yàn)還證明，引入額外的文本信息并不會(huì)對(duì)模型性能造成負(fù)面影響或引入噪聲，這進(jìn)一步支持了利用大型語(yǔ)言模型來(lái)增強(qiáng)時(shí)空預(yù)測(cè)任務(wù)的策略是可行的。

△表2：有監(jiān)督設(shè)置下的預(yù)測(cè)性能評(píng)估

消融實(shí)驗(yàn)

（1）時(shí)空上下文的效用：-STC。 當(dāng)從指導(dǎo)文本中去除時(shí)空信息時(shí)，模型的性能出現(xiàn)了下降。這可能是因?yàn)槿鄙倭藭r(shí)間維度的數(shù)據(jù)，導(dǎo)致模型只能依賴時(shí)空編碼器來(lái)處理與時(shí)間相關(guān)的特征并執(zhí)行預(yù)測(cè)。同時(shí)，空間信息的缺乏也削弱了模型捕捉空間相關(guān)性的能力，這使得識(shí)別和分析不同區(qū)域的獨(dú)特時(shí)空模式變得更加困難。

（2）使用多個(gè)數(shù)據(jù)集進(jìn)行指令微調(diào)的影響：-Multi。 模型僅接受了NYC-taxi數(shù)據(jù)集的訓(xùn)練。由于缺少來(lái)自不同城市指標(biāo)的廣泛信息，這限制了模型深入展現(xiàn)城市時(shí)空動(dòng)態(tài)的能力，導(dǎo)致預(yù)測(cè)結(jié)果不盡人意。然而，通過(guò)融合多個(gè)來(lái)源的時(shí)空數(shù)據(jù)，模型能夠更有效地捕捉到不同地理位置的獨(dú)特屬性以及隨時(shí)間演變的模式，從而加深對(duì)城市復(fù)雜性的洞察。

（3）時(shí)空編碼器的作用：-STE。 缺少時(shí)空編碼器顯著限制了大型語(yǔ)言模型在時(shí)空預(yù)測(cè)任務(wù)中的效能。這突出了所設(shè)計(jì)時(shí)空編碼器在增強(qiáng)模型預(yù)測(cè)準(zhǔn)確性方面的重要性。

（4）指令微調(diào)中的回歸層：T2P。 UrbanGPT被直接指導(dǎo)以文本形式輸出其預(yù)測(cè)結(jié)果。模型在性能上的不足主要是由于其訓(xùn)練階段主要采用多類損失函數(shù)進(jìn)行優(yōu)化，這造成了模型概率輸出與時(shí)空預(yù)測(cè)任務(wù)所需的連續(xù)數(shù)值分布之間的不一致。為了解決這一問(wèn)題，團(tuán)隊(duì)在模型架構(gòu)中集成了一個(gè)回歸預(yù)測(cè)模塊，這一改進(jìn)顯著增強(qiáng)了模型在回歸任務(wù)中生成更精確數(shù)值預(yù)測(cè)的能力。

△圖5：UrbanGPT消融實(shí)驗(yàn)

模型魯棒性研究

本部分對(duì)UrbanGPT在應(yīng)對(duì)不同時(shí)空模式場(chǎng)景時(shí)的穩(wěn)定性進(jìn)行了評(píng)估。團(tuán)隊(duì)根據(jù)區(qū)域內(nèi)在特定時(shí)間段數(shù)值波動(dòng)的大小將區(qū)域進(jìn)行區(qū)分。方差較小的區(qū)域代表時(shí)間模式較為恒定，而方差較大的區(qū)域則代表時(shí)空模式更為多變，例如繁忙的商業(yè)區(qū)或人口密集地區(qū)。圖6的評(píng)估結(jié)果顯示，大多數(shù)模型在方差較低、時(shí)空模式相對(duì)穩(wěn)定的區(qū)域中表現(xiàn)較好。然而，基線模型在方差較高、特別是方差位于(0.75, 1.0]區(qū)間的區(qū)域中表現(xiàn)不佳，這可能是因?yàn)榛€模型在推斷未見(jiàn)區(qū)域的復(fù)雜時(shí)空模式方面存在局限。在實(shí)際的城市運(yùn)營(yíng)中，對(duì)人口密集或商業(yè)繁忙區(qū)域的準(zhǔn)確預(yù)測(cè)對(duì)于城市管理極為關(guān)鍵，包括交通信號(hào)的控制和安全調(diào)度等方面。UrbanGPT在方差位于(0.75, 1.0]區(qū)間的區(qū)域中展現(xiàn)了顯著的性能提升，這凸顯了其在零樣本預(yù)測(cè)方面的卓越能力。

△圖6：模型魯棒性研究

案例研究

本次實(shí)驗(yàn)旨在評(píng)估不同大型語(yǔ)言模型（LLMs）在零樣本時(shí)空預(yù)測(cè)任務(wù)中的效能。根據(jù)表3的實(shí)驗(yàn)結(jié)果，團(tuán)隊(duì)可以看到各類LLMs能夠依據(jù)提供的指令生成預(yù)測(cè)結(jié)果，這證實(shí)了團(tuán)隊(duì)提示設(shè)計(jì)的有效性。

具體來(lái)看，ChatGPT在其預(yù)測(cè)中傾向于依賴歷史平均值，而不是明確地整合時(shí)間或空間數(shù)據(jù)。Llama-2-70b能夠分析特定時(shí)段和區(qū)域的信息，但在處理數(shù)值時(shí)間序列的依賴性時(shí)遇到了難題，這影響了其預(yù)測(cè)的準(zhǔn)確性。相比之下，Claude-2.1能夠高效地整合和分析歷史數(shù)據(jù)，并利用高峰時(shí)段的模式以及興趣點(diǎn)（POI）信息來(lái)提高流量趨勢(shì)預(yù)測(cè)的精確度。在本研究中提出的UrbanGPT模型，通過(guò)時(shí)空指令微調(diào)的方式，成功地將時(shí)空上下文信號(hào)與大型語(yǔ)言模型的推理能力結(jié)合起來(lái)，顯著提升了預(yù)測(cè)數(shù)值和時(shí)空趨勢(shì)的準(zhǔn)確性。這些發(fā)現(xiàn)凸顯了UrbanGPT框架在捕捉普遍時(shí)空模式方面的潛力，證實(shí)了其在實(shí)現(xiàn)零樣本時(shí)空預(yù)測(cè)方面的有效性。

△表3：不同的LLMs在紐約市自行車流量中的零樣本預(yù)測(cè)案例

總結(jié)與展望

本研究介紹了UrbanGPT，這是一個(gè)具備在多樣化城市情境下卓越泛化性能的時(shí)空大型語(yǔ)言模型。通過(guò)采用一種創(chuàng)新的時(shí)空指令微調(diào)策略，團(tuán)隊(duì)成功實(shí)現(xiàn)了時(shí)空上下文信息與大型語(yǔ)言模型（LLMs）的緊密整合，從而讓UrbanGPT得以掌握廣泛適用且可遷移的時(shí)空模式。實(shí)驗(yàn)數(shù)據(jù)充分證明了UrbanGPT模型架構(gòu)及其核心組件的有效性。

盡管目前的成果充滿希望，但團(tuán)隊(duì)也認(rèn)識(shí)到未來(lái)研究中仍有一些挑戰(zhàn)需要克服。作為未來(lái)工作的一部分，團(tuán)隊(duì)計(jì)劃積極收集更多樣化的城市數(shù)據(jù)，以此來(lái)加強(qiáng)和提升UrbanGPT在更廣泛城市計(jì)算場(chǎng)景中的應(yīng)用能力。此外，深入理解UrbanGPT的決策機(jī)制也極為關(guān)鍵。盡管模型在性能上表現(xiàn)出色，但提供決策過(guò)程的透明度和可解釋性同樣重要。未來(lái)的研究將致力于開(kāi)發(fā)能夠解釋其預(yù)測(cè)結(jié)果的UrbanGPT模型。

項(xiàng)目鏈接: https://urban-gpt.github.io/
代碼鏈接: https://github.com/HKUDS/UrbanGPT
論文鏈接: https://arxiv.org/abs/2403.00813
實(shí)驗(yàn)室主頁(yè): https://sites.google.com/view/chaoh/home

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)