首個智慧城市大模型UrbanGPT，全面開源開放｜港大&百度

西風 2024-06-01 15:07:05 來源：量子位

UrbanGPT團隊 投稿

量子位 | 公眾號 QbitAI

時空預測技術，迎來ChatGPT時刻。

時空預測致力于捕捉城市生活的動態變化，并預測其未來走向，它不僅關注交通和人流的流動，還涵蓋了犯罪趨勢等多個維度。目前，深度時空預測技術在生成精確的時空模型方面，依賴于大量訓練數據的支撐，這在城市數據不足的情況下顯得尤為困難。

港大、百度聯合團隊借鑒大型語言模型的思想，提出了一種新型的時空大型語言模型UbanGPT。

該模型在多種城市應用場景中展現了出色的普適性。通過結合時空依賴編碼器和指令微調方法，該模型增強了對時間和空間復雜關系的理解，即使在數據稀缺的條件下也能提供更精確的預測。通過一系列廣泛的實驗，UrbanGPT在多個城市相關的任務上展現了其卓越的性能，并證明了其在零樣本學習領域的強大潛力。

時空大型語言模型UrbanGPT

挑戰1：標簽稀缺和高昂的訓練成本

盡管尖端的時空網絡在預測任務上表現出色，但它們的效能受限于對大量標記數據的依賴。在城市應用中，獲取數據通常非常困難，例如，要對整個城市的交通和空氣質量進行監控，其成本是相當高的。此外，這些模型在面對新地區或新任務時，其泛化能力通常不足，需要進行重新訓練以適應不同的時空環境。

挑戰2：LLMs和現有的時空預測模型在零樣本泛化方面存在局限

如圖1所展示的，大型語言模型LLaMA能夠根據輸入的文本信息推斷出流量模式。但是，當涉及到處理具有復雜時空依賴性的數字時間序列數據時，LLaMA的預測能力受限，有時可能會得出與實際相反的預測結果。與此同時，雖然預訓練的基線模型能夠有效地編碼時空依賴關系，但它們可能會因為過度適應原始訓練數據而在沒有先前經驗的新場景（零樣本場景）中表現不佳。

挑戰3：如何將LLMs的出色推理能力擴展到時空預測領域：

時空數據具有其獨特的屬性，這與LLMs所編碼的信息之間存在差異。縮小這一差異，并構建一個能夠在多樣的城市任務中展現出卓越泛化性能的時空大型語言模型，是當前面臨的一個重大挑戰。

△ 圖1：與LLMs和現有時空圖神經網絡相比，UrbanGPT 在零樣本場景下能更好地預測未來時空趨勢

時空大型語言模型UrbanGPT

據團隊了解，這是首次嘗試創建一種時空大型語言模型，該模型能夠預測不同數據集上的多種城市現象，特別是在訓練樣本受限的情境下。

本研究提出了名為UrbanGPT的時空預測框架，它賦予了大型語言模型深入理解時間和空間之間復雜相互依賴關系的能力。通過將時空依賴編碼器與指令微調策略巧妙結合，該框架成功地將時空信息與大型語言模型的推理能力融合在一起。

在現實世界數據基礎上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學習場景中的卓越泛化性能。這些實驗結果不僅凸顯了UrbanGPT模型的強大泛化潛力，也證實了它在精確預測和理解時空模式方面的有效性，即便在缺乏訓練樣本的情況下。

△圖2: UrbanGPT 整體框架

時空依賴編碼器

LLMs在處理語言任務時表現出色，但它們在解析時空數據中固有的時間序列及其演化模式方面存在困難。為了克服這一難題，本文提出了一種創新方法，即整合時空編碼器來提升大型語言模型捕捉時空上下文中時間依賴性的能力。具體來說，所設計的時空編碼器由兩個核心組件構成：一個是門控擴散卷積層，另一個是多層次關聯注入層。

門控時間擴散卷積層在不同層級上編碼了不同程度的時間依賴性，捕捉了具有不同粒度級別的時間演化特征。為了保留這些時間信息模式，團隊引入了一個多層次的關聯注入層，該層旨在融合不同層級之間的相互關聯性。

為應對可能出現的多樣化城市場景，本文提出的時空編碼器在模擬空間關聯性時不依賴于特定的圖結構。這種做法考慮到在零樣本預測的情境下，實體間的空間聯系可能是未知的或難以明確界定的。這樣的設計確保了UrbanGPT能夠在廣泛的城市環境條件下保持其適用性和有效性。

時空指令微調框架

時空數據-文本對齊

為了讓語言模型能夠準確捕捉時空模式，確保文本信息與時空數據的一致性是關鍵。這種對齊使得模型能夠整合多種類型的數據，生成更豐富的信息表示。通過結合文本和時空領域的上下文特征，模型不僅能夠捕獲到補充性的信息，還能提煉出更具表現力的高級語義特征。

時空提示指令

在進行時空預測時，時間與空間維度都蘊含著豐富的語義信息，這些信息對于模型準確理解特定情境下的時空動態至關重要。例如，早晨的交通流量特征與交通高峰時段顯著不同，同時商業區和住宅區的交通模式也各有特點。UrbanGPT框架通過整合不同粒度的時間數據和空間特征，作為其大型語言模型的指令輸入。具體來說，時間信息涵蓋了日期、具體時間等要素，而空間信息則包括了城市名稱、行政區劃分以及周邊的興趣點（POI）等數據，如圖3所示。這種多維度的時空信息整合，使得UrbanGPT能夠精確地捕捉不同時間和地點的時空模式，顯著增強了其在未知樣本上的推理能力。

△圖3: 編碼時間和空間信息感知的時空提示指令

3.2.3 大語言模型的時空指令微調

在利用大型語言模型（LLMs）進行指令微調以生成文本形式的時空預測時，面臨兩大挑戰。首先，這類預測任務依賴于數值型數據，其結構和規律與LLMs所擅長處理的自然語言（側重于語義和語法）存在差異。其次，LLMs通常采用多分類損失函數進行預訓練，以預測文本中接下來的單詞，這與需要輸出連續數值的回歸問題有所區別。

實驗結果：

零樣本預測性能

相同城市內未見區域的預測

跨區域場景使用同一城市中某些區域的數據來預測模型未曾接觸過的其他區域的未來情況。通過細致分析模型在此類跨區域預測任務中的表現，團隊發現UrbanGPT展現了出色的零樣本預測性能。UrbanGPT通過時空與文本信息的精準對齊，以及將時空指令微調技術與時空依賴編碼器的無縫融合，有效地保持了通用且可遷移的時空知識，從而在零樣本場景中實現了精準的預測。此外，UrbanGPT在處理數據稀疏性問題時同樣具備顯著優勢。特別是在犯罪預測任務中，由于數據的稀疏性，傳統的基線模型經常表現不佳，低召回率可能暗示了過擬合的問題。UrbanGPT通過整合文本中的語義信息，注入了豐富的語義洞察力，這增強了模型捕捉稀疏數據中時空模式的能力，進而提升了預測的準確度。

△表1：跨區域零樣本預測場景性能比較

跨城市預測任務

為了檢驗模型在進行跨城市預測時的表現，團隊選用了CHI-taxi數據集進行評估，該數據集在模型的訓練階段未曾使用。圖4的評估結果表明，在每個時間點上，模型的表現均優于其他對比方法，這證實了UrbanGPT在跨城市知識遷移方面的有效性。模型通過綜合考慮多樣的地理信息和時間要素，展現出將功能相似的區域和歷史同期的時空模式進行關聯的能力，為實現跨城市場景中的精確零樣本預測提供了強有力的支持。

△圖4：跨城市零樣本預測場景性能比較

典型的有監督預測任務

團隊也對UrbanGPT在有監督預測情境下的性能進行了探究，特別是通過采用時間跨度更大的測試數據集來檢驗模型在長期時空預測方面的效能。舉例來說，團隊使用2017年的數據來訓練模型，并用2021年的數據進行測試。測試結果顯示，UrbanGPT在長期時間跨度的場景中相比基線模型有著明顯的優勢，彰顯了其出色的泛化能力。這一特性意味著模型不需要頻繁地重新訓練或進行增量更新，從而更適應實際應用場景。此外，實驗還證明，引入額外的文本信息并不會對模型性能造成負面影響或引入噪聲，這進一步支持了利用大型語言模型來增強時空預測任務的策略是可行的。

△表2：有監督設置下的預測性能評估

消融實驗

（1）時空上下文的效用：-STC。 當從指導文本中去除時空信息時，模型的性能出現了下降。這可能是因為缺少了時間維度的數據，導致模型只能依賴時空編碼器來處理與時間相關的特征并執行預測。同時，空間信息的缺乏也削弱了模型捕捉空間相關性的能力，這使得識別和分析不同區域的獨特時空模式變得更加困難。

（2）使用多個數據集進行指令微調的影響：-Multi。 模型僅接受了NYC-taxi數據集的訓練。由于缺少來自不同城市指標的廣泛信息，這限制了模型深入展現城市時空動態的能力，導致預測結果不盡人意。然而，通過融合多個來源的時空數據，模型能夠更有效地捕捉到不同地理位置的獨特屬性以及隨時間演變的模式，從而加深對城市復雜性的洞察。

（3）時空編碼器的作用：-STE。 缺少時空編碼器顯著限制了大型語言模型在時空預測任務中的效能。這突出了所設計時空編碼器在增強模型預測準確性方面的重要性。

（4）指令微調中的回歸層：T2P。 UrbanGPT被直接指導以文本形式輸出其預測結果。模型在性能上的不足主要是由于其訓練階段主要采用多類損失函數進行優化，這造成了模型概率輸出與時空預測任務所需的連續數值分布之間的不一致。為了解決這一問題，團隊在模型架構中集成了一個回歸預測模塊，這一改進顯著增強了模型在回歸任務中生成更精確數值預測的能力。

△圖5：UrbanGPT消融實驗

模型魯棒性研究

本部分對UrbanGPT在應對不同時空模式場景時的穩定性進行了評估。團隊根據區域內在特定時間段數值波動的大小將區域進行區分。方差較小的區域代表時間模式較為恒定，而方差較大的區域則代表時空模式更為多變，例如繁忙的商業區或人口密集地區。圖6的評估結果顯示，大多數模型在方差較低、時空模式相對穩定的區域中表現較好。然而，基線模型在方差較高、特別是方差位于(0.75, 1.0]區間的區域中表現不佳，這可能是因為基線模型在推斷未見區域的復雜時空模式方面存在局限。在實際的城市運營中，對人口密集或商業繁忙區域的準確預測對于城市管理極為關鍵，包括交通信號的控制和安全調度等方面。UrbanGPT在方差位于(0.75, 1.0]區間的區域中展現了顯著的性能提升，這凸顯了其在零樣本預測方面的卓越能力。

△圖6：模型魯棒性研究

案例研究

本次實驗旨在評估不同大型語言模型（LLMs）在零樣本時空預測任務中的效能。根據表3的實驗結果，團隊可以看到各類LLMs能夠依據提供的指令生成預測結果，這證實了團隊提示設計的有效性。

具體來看，ChatGPT在其預測中傾向于依賴歷史平均值，而不是明確地整合時間或空間數據。Llama-2-70b能夠分析特定時段和區域的信息，但在處理數值時間序列的依賴性時遇到了難題，這影響了其預測的準確性。相比之下，Claude-2.1能夠高效地整合和分析歷史數據，并利用高峰時段的模式以及興趣點（POI）信息來提高流量趨勢預測的精確度。在本研究中提出的UrbanGPT模型，通過時空指令微調的方式，成功地將時空上下文信號與大型語言模型的推理能力結合起來，顯著提升了預測數值和時空趨勢的準確性。這些發現凸顯了UrbanGPT框架在捕捉普遍時空模式方面的潛力，證實了其在實現零樣本時空預測方面的有效性。

△表3：不同的LLMs在紐約市自行車流量中的零樣本預測案例

總結與展望

本研究介紹了UrbanGPT，這是一個具備在多樣化城市情境下卓越泛化性能的時空大型語言模型。通過采用一種創新的時空指令微調策略，團隊成功實現了時空上下文信息與大型語言模型（LLMs）的緊密整合，從而讓UrbanGPT得以掌握廣泛適用且可遷移的時空模式。實驗數據充分證明了UrbanGPT模型架構及其核心組件的有效性。

盡管目前的成果充滿希望，但團隊也認識到未來研究中仍有一些挑戰需要克服。作為未來工作的一部分，團隊計劃積極收集更多樣化的城市數據，以此來加強和提升UrbanGPT在更廣泛城市計算場景中的應用能力。此外，深入理解UrbanGPT的決策機制也極為關鍵。盡管模型在性能上表現出色，但提供決策過程的透明度和可解釋性同樣重要。未來的研究將致力于開發能夠解釋其預測結果的UrbanGPT模型。

項目鏈接: https://urban-gpt.github.io/
代碼鏈接: https://github.com/HKUDS/UrbanGPT
論文鏈接: https://arxiv.org/abs/2403.00813
實驗室主頁: https://sites.google.com/view/chaoh/home

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態