在瑞典斯德哥爾摩國際會展中心舉行的國際機器學(xué)習(xí)大會 (ICML) 受到全世界科技界的關(guān)注。來自國內(nèi)人工智能企業(yè)隊代表第四范式的姚權(quán)銘與來自香港科技大學(xué)的研究者提出的「Online Convolutional Sparse Coding with Sample-Dependent Dictionary：樣本自適應(yīng)的在線卷積稀疏編碼」入選 ICML 2018。第四范式作為唯一的創(chuàng)業(yè)公司，與騰訊、螞蟻金服、百度等一起，成為國內(nèi)科技企業(yè)代表隊，涌進ICML國際舞臺。

論文鏈接：http://proceedings.mlr.press/v80/wang18k.html

隨著卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像識別的效果越來越好，CNN 越來越受 AI 學(xué)者的青睞，越來越多的應(yīng)用也開始嘗試采用 CNN 方法，但是，隨著對 CNN 的嘗試和研究的深入，它的不可解釋性以及實驗的不可復(fù)制重復(fù)的問題變的越來越嚴(yán)重，相比與處理圖像分類問題的 CNN，卷積稀疏編碼（CSC）是一個線性卷積的無監(jiān)督的學(xué)習(xí)的方法。CSC 模型更簡單，更直觀容易分析理解。因此，最近一些機器學(xué)習(xí)&機器視覺大牛 (e.g. Michael Elad - 稀疏編碼的創(chuàng)始人之一) 開始嘗試著用 CSC 解決應(yīng)用問題和理解 CNN，在應(yīng)用層面上，醫(yī)療/生物圖片數(shù)據(jù)，例如腦磁圖 (Magnetoencephalography, MEG)，(電子顯微鏡獲得)，還有頻譜 (hyperspectral image) 和光場 (light field) 數(shù)據(jù)上都使用 CSC 取得了非常不錯的成果。

不同于傳統(tǒng)的 CSC 算法使用由所有樣本共享的字典來卷積，此篇論文中的 SCSC 使用的是樣本自適應(yīng)的字典，其中每個過濾器是從數(shù)據(jù)中學(xué)習(xí)的一組基礎(chǔ)濾波器的線性組合。這種增加的靈活性允許捕獲大量依賴于樣本的模式，這在處理大型或高維數(shù)據(jù)集時特別有用。在計算上，所得到的模型可以通過在線學(xué)習(xí)有效地學(xué)習(xí)。在大型的數(shù)據(jù)集上的實驗結(jié)果表明，所提出的 SCSC 算法優(yōu)于現(xiàn)有的 CSC 算法，具有顯著減少的時間和空間復(fù)雜度。

這篇論文提出的樣本自適應(yīng)的卷積稀疏編碼 (SCSC) 主要解決傳統(tǒng)卷積稀疏編碼 (CSC) 不能適用于高維度數(shù)據(jù) (P 表示) 和較多過濾器 (K 表示) 的問題。SCSC 的核心有兩點：

(a) 首先將 CSC 過濾器用兩部分表示，第一部分是基礎(chǔ)濾波器 (base filters) 所有樣本共享，第二部分是樣本自適應(yīng)系數(shù) (sample-dependent weights) 每個樣本單獨學(xué)習(xí)。這樣一來，和標(biāo)準(zhǔn) CSC 比較，SCSC 方法中并沒有全局的濾波器，而是對每個樣本從一堆基礎(chǔ)濾波器中通過樣本自適應(yīng)系數(shù)組合出來自己的濾波器。

(b) 基于以上模型，只有基礎(chǔ)濾波器是依賴于全部數(shù)據(jù)的。方法的第二點在于我們使用在線學(xué)習(xí)的方法去快速并且小內(nèi)存的學(xué)習(xí)基礎(chǔ)濾波器。

下圖對比了標(biāo)準(zhǔn)的 CSC 算法與研究人員提出的樣本自適應(yīng) SCSC 算法：

左邊是標(biāo)準(zhǔn) CSC 算法，右邊是論文提出的樣本自適應(yīng) SCSC 算法。相比而言，對于每個測試樣本，研究人員都會用樣本獨立的系數(shù) Wi 和基礎(chǔ)濾波器 B 組合出來一個樣本自適應(yīng)的新濾波器。

表 1：SCSC 與其他 CSC 算法在時間/空間復(fù)雜度的比較

與目前的最新的 CSC 算法進行對比，SCSC 算法的優(yōu)勢主要體現(xiàn)在三個方面:

(1) 大數(shù)據(jù)集

在小樣本數(shù)據(jù)集的實驗中，論文中將 SCSC 算法與批量 CSC 算法進行比較 (包括 DeconvNet、fast CSC、fast and flexible CSC 等)，其中也包括著與 SCSC 一樣采用在線方法的 OCSC，實驗的檢驗指標(biāo)采用的是 PSNR(峰值信噪比 Peak Signal to Noise Ratio)，得到的結(jié)果如下圖：

上方的圖表現(xiàn)了各種 CSC 方法在時鐘時間 (clock time) 下的 PSNR 收斂性，實驗表明了小樣本數(shù)據(jù)集條件下，在線 CSC 算法比批量 CSC 算法收斂的更快，具有更好的 PSNR，而同樣是在線方法的 OCSC,SCSC 雖然與 OCSC 具有類似的 PSNR，但 SCSC 收斂的更快。

而在大樣本數(shù)據(jù)集實驗中，所有的批處理 CSC 算法和兩個在線 CSC 算法 OCDL DEGRAUX 和 OCDLLU 不能處理這樣大的數(shù)據(jù)集。因此，研究人員只比較 SCSC 與 OCSC，比較的結(jié)果如下：

在 CIFAR-10 數(shù)據(jù)集上，研究人員設(shè)定 SCSC 和 OCSC 的 K(濾波器數(shù)量)＝300。在 Flower 數(shù)據(jù)集上，SCSC 的 K 值仍為 300。然而，OCSC 只能使用 k＝50，因為它的內(nèi)存占用大得多。圖 7 顯示了測試的 PSNR 的收斂性。在這兩種情況下，SCSC 顯著優(yōu)于 OCSC。

(2) 高維度數(shù)據(jù)集下的表現(xiàn)

高維數(shù)組采用的是三種數(shù)據(jù)集：視頻數(shù)據(jù)集、光譜數(shù)據(jù)集、光場數(shù)據(jù)集。研究人員將 SCSC 與 OCSC 和 CCSC（分布式 CSC 的算法）作對比，為了公平的比較，所有的方法只使用一臺機器。值得一提的是，由于 SCSC 的內(nèi)存占用小，實驗人員可以在 GTX 1080 TI GPU 上運行這個實驗。OCSC 也在 GPU 上運行用于視頻。然而，OCSC 只能在 CPU 上運行多光譜和光場。CCSC 在處理過程中需要訪問所有的樣本和代碼，只能在 CPU 上運行，實驗的結(jié)果如下圖：

根據(jù)論文中的實驗結(jié)果顯示，SCSC 是唯一的可以處理整個視頻，多光譜和光場數(shù)據(jù)集在一臺機器上的方法。相比之下，CCSC 只能處理最多 30 個視頻樣本、40 個多光譜樣本和 35 個光場樣本。OCSC 可以處理整個視頻和多光譜，但是在使用整個光場數(shù)據(jù)集的 2 天內(nèi)不能收斂。

至于速度，如 Table 4 所示 SCSC 的速度是最快的。但是值得注意的是，這僅僅只是作為參考，因為 SCSC 是在 GPU 上運行的，而其他的（除了視頻數(shù)據(jù)集上的 OCSC）都是在 CPU 上運行。然而，這仍然表明 SCSC 的一個重要優(yōu)點，即它的小內(nèi)存占用可以受益于 GPU 的使用，而其他的則不能。

(3) 圖像的去噪與修復(fù)

在以前的實驗中，學(xué)習(xí)字典的優(yōu)勢是通過重建干凈的圖像來證明的。此篇論文中研究人員進一步研究學(xué)習(xí)字典中的兩個應(yīng)用：圖像去噪和修復(fù)。研究人員使用 SCSC 與（批處理 CSC）SBCSC 和（在線）OCSC 進行比較。結(jié)果如表 5 所示:

可以看出，由 SCSC 獲得的 PSNR 始終高于其他方法。這同時也表明，在圖像重建中產(chǎn)生高 PSNR 的字典也在可以使其他圖像處理應(yīng)用發(fā)揮更好的性能。

未來工作

同時研究人員也表示，未來將結(jié)合自適應(yīng)在線卷積稀疏編碼 SCSC 和神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢，將樣本自適應(yīng)的 idea 應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)模型中。這將增加神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的能力同時減少其所需要的計算量，使得這些網(wǎng)絡(luò)在高維度低樣本數(shù)據(jù)上也適用。