允中 發自 凹非寺
量子位 編輯 | 公眾號 QbitAI

2021年6月14日～6月17日，第48屆國際計算機體系結構大會（ISCA）通過線上模式順利召開。清華大學魏少軍、劉雷波教授團隊作了題為“ABC-DIMM: Alleviating the Bottleneck of Communication in DIMM-based Near Memory Processing with Inter-DIMM Broadcast”的學術報告。

該報告針對DIMM（雙列直插式存儲模塊）近存計算架構的通信瓶頸問題，提出了基于DIMM間廣播技術的通信優化方法。該方法充分利用了內存總線廣播的可擴展性以及廣播機制的廣泛適用性，為DIMM近存計算的通信優化提供了強有力的新工具。

報告人孫偉藝是論文第一作者（如圖1所示），目前正在清華大學集成電路學院攻讀博士學位。論文通訊作者是劉雷波教授，主要合作者還有李兆石、尹首一等。

△?圖1 孫偉藝同學報告論文的主要工作

當前，隨著數據密集型應用的廣泛部署，傳統主存系統已難以應對日益增長的容量和帶寬需求。為應對這一挑戰，諸多近存計算架構被相繼提出，其中基于DIMM的近存計算架構是公認最具潛力的架構之一（如圖2所示）。

該架構把計算邏輯集成到DIMM的緩存芯片上，通過讓內存通道內多個DIMM并行訪存和計算，實現較高的總訪存帶寬，從而以較低的設計與生產代價獲得較高的性能提升潛力。然而，DIMM近存計算系統的性能提升依賴于DIMM數量的增加，但現有DIMM間基于內存總線的點對點通信機制卻可能嚴重制約系統性能相對于DIMM數量的可擴展性。

具體來說，當一個內存通道內DIMM數量增加時，每個DIMM分配到的平均點對點通信帶寬迅速減小，對于許多重要的數據密集型應用，各個DIMM和CPU之間的通信主導了程序的運行時間，極大限制了系統的整體性能。

△?圖2 基于DIMM的近存計算架構

針對該問題，魏少軍、劉雷波團隊提出了DIMM間廣播技術。

從硬件角度來看，總線系統在物理層面上天然支持廣播，且主存總線的有效廣播帶寬隨著DIMM數量的增加而自然擴展。而從軟件角度來看，大量數據密集型應用都能以“廣播主導”的方式實現。

基于上述想法，團隊設計了ABC-DIMM系統，通過在主存中實現并利用“DIMM間廣播”來消除DIMM近存計算架構中的通信瓶頸。該系統由三部分構成。

首先，團隊設計了指導程序員以廣播主導方式實現各類應用的“廣播-計算”編程框架，從而讓軟件能夠充分利用“DIMM間廣播”來優化通信。如圖3（a）所示，它通過分割輸出來劃分任務，而任務間的通信則由輸入數據的廣播所主導。

其次，團隊提供了“內存通道內”和“內存通道間”的完整“DIMM間廣播”機制，如圖3（b）（c）所示。利用這些機制，“廣播-計算”框架在多內存通道下的通信可以得到高效的實現，如圖3（d）所示。

最后，團隊為“DIMM間廣播”機制提供了全棧式的硬件和API設計。為使系統實現盡可能地簡單和低廉，團隊將設計開銷和范圍成功控制在了DIMM緩存芯片以及CPU的內存控制器之內。具體而言，通過在緩存芯片中加入指令翻譯模塊，“DIMM間廣播”能夠在不更改DRAM芯片的前提下以新DDR指令的形式融入主存系統中。此外，通過對內存控制器的有限修改以及相應的API設計，“DIMM間廣播”能夠在不更改ISA的前提下被軟件有效使用。

模擬評估顯示，ABC-DIMM的平均性能分別達到了兩個主流基線近存系統性能的2.50倍和2.93倍。

過去10余年，魏少軍、劉雷波教授團隊在軟件定義芯片領域取得了多項重要技術突破，關鍵技術在多項國家重大工程中得到批量應用，曾獲國家技術發明二等獎、教育部技術發明一等獎、電子學會技術發明一等獎、中國發明專利金獎、世界互聯網大會15項世界互聯網領先科技成果等。

△?圖3（a）“廣播-計算”編程框架（b）內存通道內的廣播機制

（c）內存通道間的廣播機制（d）多內存通道下“廣播-計算”框架通信部分的多核實現

關于ISCA

ISCA（International Symposium on Computer Architecture，國際計算機體系結構大會）是提出或發現計算機體系結構新思想、新方法和新成果的重要國際會議，被譽為計算機體系結構領域最權威的會議之一，與MICRO、HPCA 并稱為體系結構三大頂會。超標量架構、多級緩存、同步多線程和緩存一致性等都在ISCA上首次被提出。自1973年以來，ISCA已成功舉辦48屆。

—?完?—