無(wú)需Transformer，簡(jiǎn)單濾波器即可提高時(shí)間序列預(yù)測(cè)精度 | NeurIPS 2024

范瑋 投稿
量子位 | 公眾號(hào) QbitAI

無(wú)需Transformer，簡(jiǎn)單濾波器即可提高時(shí)間序列預(yù)測(cè)精度。

由國(guó)家信息中心、牛津大學(xué)、北京理工大學(xué)、同濟(jì)大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)等機(jī)構(gòu)的團(tuán)隊(duì)提出了一個(gè)FilterNet。

目前已被NeurlPS 2024接收。

準(zhǔn)確預(yù)測(cè)時(shí)間序列，對(duì)于能源、氣象、醫(yī)療等領(lǐng)域中來(lái)說(shuō)都非常重要。

目前很受歡迎的一類預(yù)測(cè)模式是基于Transformer網(wǎng)絡(luò)進(jìn)行建構(gòu)的。

但是，Transformer并不是萬(wàn)能的，尤其是對(duì)于時(shí)間序列預(yù)測(cè)這樣的問(wèn)題來(lái)說(shuō)，它的結(jié)構(gòu)顯得有點(diǎn)過(guò)于復(fù)雜。

以iTransformer模型為例，它存在很多問(wèn)題，比如對(duì)高頻信號(hào)的響應(yīng)較弱從而導(dǎo)致全頻段信息利用受限、計(jì)算效率低下等，這些問(wèn)題會(huì)大大影響模型的預(yù)測(cè)精度。

那么，F(xiàn)ilterNet有哪些創(chuàng)新之處？

研究動(dòng)機(jī)：現(xiàn)有模型架構(gòu)存在頻段信息利用瓶頸

時(shí)間序列信號(hào)往往由不同頻段信號(hào)組成，為了探究現(xiàn)有模型能否對(duì)頻域信號(hào)進(jìn)行準(zhǔn)確捕捉，團(tuán)隊(duì)設(shè)計(jì)一個(gè)簡(jiǎn)單的模擬驗(yàn)證實(shí)驗(yàn)。

首先，他們利用低頻、中頻和高頻分量合成的信號(hào)作為實(shí)驗(yàn)數(shù)據(jù)（見(jiàn)圖1(a)）來(lái)測(cè)試時(shí)序模型的預(yù)測(cè)性能。從圖1(b)可以看出，當(dāng)前時(shí)序預(yù)測(cè)的先進(jìn)模型iTransformer表現(xiàn)不佳。

這表明，即使是由三種不同頻率成分組成的簡(jiǎn)單信號(hào)，當(dāng)前先進(jìn)的基于Transformer的模型仍無(wú)法充分學(xué)到相對(duì)應(yīng)的頻譜信息。

相比之下，在傳統(tǒng)的信號(hào)處理（signal processing）領(lǐng)域，簡(jiǎn)單的頻率濾波器具備許多優(yōu)秀特性，例如頻率選擇性、信號(hào)調(diào)制和多速率處理。這些特性有望顯著提升模型在時(shí)間序列預(yù)測(cè)中提取關(guān)鍵信息頻率模式的能力。

因此，受信號(hào)處理中濾波過(guò)程的啟發(fā)，研究團(tuán)隊(duì)提出了一種非常簡(jiǎn)單并且高效的學(xué)習(xí)框架—-FilterNet，用于時(shí)間序列預(yù)測(cè)任務(wù)。

研究方法：濾波器網(wǎng)絡(luò)（FilterNet）

FilterNet的設(shè)計(jì)極其簡(jiǎn)單，整體框架如下圖所示：

FilterNet的核心模塊是頻率濾波模塊（Frequency Filter Block），包含團(tuán)隊(duì)設(shè)計(jì)的2種可學(xué)習(xí)濾波器：

1.Plain Shaping Filter：使用最簡(jiǎn)潔的、可學(xué)習(xí)的頻率濾波器，實(shí)現(xiàn)信號(hào)濾波與時(shí)間關(guān)系的建模。

2.Contextual Shaping Filter：針對(duì)利用濾波后的頻率與原始輸入信號(hào)的兼容性，進(jìn)行依賴關(guān)系的學(xué)習(xí)。

具體來(lái)說(shuō)，F(xiàn)ilterNet的各個(gè)組件有：

1.實(shí)例歸一化（Instance Normalization）

時(shí)間序列數(shù)據(jù)通常是在較長(zhǎng)時(shí)間跨度內(nèi)收集的，這些非平穩(wěn)序列不可避免地使預(yù)測(cè)模型面臨隨時(shí)間變化的分布偏移。像很多時(shí)序預(yù)測(cè)模型一樣，團(tuán)隊(duì)采用了可逆Instance Normalization，如下所示：

2.頻率濾波模塊（Frequency Filter Block）

時(shí)間序列預(yù)測(cè)器可以視為針對(duì)關(guān)鍵信號(hào)的捕捉，從某種程度上，也可以看作在頻域上進(jìn)行了一次濾波過(guò)程。

基于此，研究人員直接設(shè)計(jì)了一個(gè)濾波器模塊來(lái)建模相應(yīng)的關(guān)系，具體為：

文中包含兩類濾波器，分別為plain shaping filter (PaiFilter)和contextual shapingfilter (TexFilter)。PaiFilter直接通過(guò)初始化一個(gè)權(quán)重參數(shù)??_??來(lái)模擬對(duì)應(yīng)的濾波器，具體為：

相對(duì)應(yīng)的，TexFilter則通過(guò)一個(gè)可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)來(lái)生成相應(yīng)的濾波器，完成對(duì)應(yīng)的濾波學(xué)習(xí)，具體為：

3.前饋神經(jīng)網(wǎng)絡(luò)（Feed-forward Network）

頻率濾波模塊建模了時(shí)間序列數(shù)據(jù)中的一些主要時(shí)間依賴關(guān)系，隨后他們利用前饋神經(jīng)網(wǎng)絡(luò)（Feed-Forward Network）建立這些時(shí)間依賴關(guān)系和未來(lái)τ個(gè)時(shí)刻數(shù)據(jù)的關(guān)系，最后進(jìn)行預(yù)測(cè)，并對(duì)預(yù)測(cè)值進(jìn)行反歸一化操作。

FilterNet在各種場(chǎng)景下都表現(xiàn)優(yōu)越

1.預(yù)測(cè)結(jié)果

實(shí)驗(yàn)在八個(gè)時(shí)間序列預(yù)測(cè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了廣泛的測(cè)試，結(jié)果表明，與最新的預(yù)測(cè)算法相比，F(xiàn)ilterNet模型在不同預(yù)測(cè)場(chǎng)景中均表現(xiàn)出卓越的性能。

其中，PaiFilter在小數(shù)據(jù)集上（變量數(shù)較小，如ETT、Exchange數(shù)據(jù)集）表現(xiàn)更好，而TexFilter則在大數(shù)據(jù)集上（變量數(shù)較多，關(guān)系更為復(fù)雜，如Traffic、Weather數(shù)據(jù)集）表現(xiàn)出強(qiáng)有力的競(jìng)爭(zhēng)力。

2.頻率濾波器的可視化

圖7是學(xué)習(xí)到的濾波器的頻率響應(yīng)特性的可視化圖表，表明FilterNet具備全頻段的信號(hào)處理能力。

此外，如圖8所示，在ETTm1數(shù)據(jù)集上針對(duì)不同預(yù)測(cè)長(zhǎng)度進(jìn)行的可視化實(shí)驗(yàn)進(jìn)一步證明了FilterNet的強(qiáng)大處理能力。

3.預(yù)測(cè)結(jié)果的可視化

與其他最新模型相比，F(xiàn)ilterNet在預(yù)測(cè)未來(lái)序列變化方面展現(xiàn)了出色的準(zhǔn)確性，充分證明了其卓越的性能。

4.效率分析

團(tuán)隊(duì)還在兩個(gè)不同的數(shù)據(jù)集上對(duì)FilterNet進(jìn)行了相應(yīng)的效率分析實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，無(wú)論數(shù)據(jù)集大小，F(xiàn)ilterNet都表現(xiàn)出比Transformer方法更高的效率。

雖然在每個(gè)epoch訓(xùn)練時(shí)間上，F(xiàn)ilterNet比DLinear略差，但是FilterNet效果比DLinear要好。

為時(shí)間序列預(yù)測(cè)提供新思路

這篇論文是首次嘗試將頻率濾波器直接應(yīng)用于時(shí)間序列預(yù)測(cè)的工作，從信號(hào)處理的角度切入是一個(gè)非常有趣的新思路。

研究團(tuán)隊(duì)提出了一種簡(jiǎn)單而高效的架構(gòu)——FilterNet，該架構(gòu)基于他們?cè)O(shè)計(jì)的兩類頻率濾波器來(lái)實(shí)現(xiàn)預(yù)測(cè)目標(biāo)。在八個(gè)基準(zhǔn)數(shù)據(jù)集上的全面實(shí)驗(yàn)證明了FilterNet在效果和效率方面的優(yōu)越性。

此外，團(tuán)隊(duì)成員還對(duì)FilterNet及其內(nèi)部濾波器進(jìn)行了細(xì)致深入的模型分析，展示了其諸多優(yōu)秀特性。

他們表示，希望這項(xiàng)工作能夠推動(dòng)更多研究，將信號(hào)處理技術(shù)或?yàn)V波過(guò)程與深度學(xué)習(xí)相結(jié)合，提高時(shí)間序列建模與精確預(yù)測(cè)的效果。

Paper Link：https://arxiv.org/abs/2411.01623
Code Repository：https://github.com/aikunyi/FilterNet