發布日期：2022-07-15 點擊率：75
隨著網絡的飛速發展,處理器架構、分組處理策略以及路由器和交換機核心技術也獲得長足發展,但鮮為人知的是,正是內存技術的發展促進了這些高級架構的完善。目前,內存的種類已由RAM、DRAM)、SRAM)和SDRAM發展到單倍、雙倍乃至四倍速(QDR)RAM、SigmaRAM、低延遲(RL)RAM以及最新面世的快速循環RAM(FCRAM)。在此,緩存速率、同一存儲段的循環時間等問題是設計工程師對內存進行選擇中面臨的難題,本文介紹面對多種可選方案,設計工程師應該如何考慮設計要求與內存特性的精確匹配。
近年來,每一代新型的WAN交換機和路由器采用的技術均與前一代技術截然不同。隨著互聯網從低增長率的語言傳輸流轉向需求更高的數據流,網絡對核心交換機/路由器的要求也與日俱增,這歸結于光纖傳輸系統的迅猛發展。激光技術及其它器件的發展使得傳輸設備提供商能使新一代核心網管道的帶寬增大四倍。例如,WAN路由器在不到7年的時間內,已至少經歷了兩次飛躍發展,從OC-3到OC-192,再到OC-768。
各代產品之間性能的飛躍并不僅僅局限于器件部分。就其架構而言,由于互連距離限制了時鐘速率,因此路由器和交換機的分離架構也被緊密封裝盒(packed box)取代,封裝盒內部全由智能線路卡構成,可完成大部分路由和轉發操作。在某些架構中,交換結構位于每塊智能線路卡上并通過無源底板互連,而其余架構則通過光學或電子中央交換結構與路由器和傳輸管理線路卡互連。架構變更的另一結果就是功率管理已成為當前和未來設計的首要任務。
隨著業務提供商啟動下一代網絡,性能要求所需的技術飛躍已促使路由器和交換機的架構、分組處理策略和交換技術發生顯著變化。然而,內存技術的更新還遠遠無法滿足需求。雖然早期的路由器采用與服務器和工作站相同的存儲策略(中央DRAM緩存),但在封裝盒Sonet側的線速率要采用較為昂貴的高速SRAM。因此,雖然PC業界的主流DRAM技術逐漸由單倍速(SDR) SDRAM轉向雙倍速(DDR) SDRAM,但WAN開發人員仍強烈擁護在數據通路處理中采用高速SRAM(如QDR 和SigmaRAM)。該轉變源自PC-DRAM和SRAM之間的性能差異。
內存性能的評估
內存技術的性能一般根據WAN應用中的隨機循環時間、延遲和塊移動速率加以衡量。隨機循環時間是指隨機存取讀或寫之間的最短時間。延遲表征指令響應數據的滯后時間。塊移動速率實際上不僅僅表示支持內部多組傳輸的內存突發速率,而且隨數據塊規格的增大,與數據引腳的原始位傳輸率(raw bit transfer rate)也很接近。比較兩種主流內存類型的性能可見,當數據塊規格增大時,133MHz DDR SDRAM的傳輸率可達每引腳266Mbps,且其隨機循環時間tRC約為65ns。
相比之下,同等數目的167MHz QDR SRAM的傳輸率可達每引腳333Mbps,相應的tRC為12ns。這里采用的折衷是以密度為代價,換取5倍的循環時間性能。SRAM中的每位通常需要6個晶體管,而DRAM則只需一個晶體管和一個存儲電容。注意到QDR SRAM的激勵電流為450mA(此時Vdd=)。與以上提及的DRAM相比,該數值并未完全超出常規,但遺憾的是僅為SDR DRAM存儲容量的1/16,即SDR DRAM的容量為32M字節,而QDR的容量僅為2M字節。
性能與容量的折衷在短期內是可接受的,因為設計工程師對速度更為關注。既然已達到OC-192速率,即輸入數據流可以Gbps的速率傳送凈荷,那么還需要改變傳輸策略嗎？
問題在于,路由器數據通路對內存容量的需求比速率更為迫切(圖1)。例如,思科公司124系列互聯網路由器中基于OC-192的SONET的分組傳輸(POS)線路卡采用了256M字節緩存來存儲那些經過分類后仍無法經由快速路徑路由的輸入分組包。該緩存除了在交換架構之前可保存2,000個以上的業務隊列外,還帶有能在重傳之前用于分組包重裝的等規格后交換架構(post-switch fabric)傳輸緩存。
考慮輸入端的線速率緩存要求,緩存器的帶寬不僅要求足夠快以支持全部線速率,還必須足夠大以保存長度達到幾十毫秒的分組數據。對于OC-192的線速緩存速率,這些計算即便不甚令人滿意,其實現也極為容易。為支持的原始突發速率,能保持每個DDR引腳的塊傳輸速率達到333M至400M位的內存接口帶寬至少為32位(舍入到最接近的字節數)。此外為使該緩存有效工作,還必須具有足夠的讀和寫帶寬,由于無法將速率提高一倍,因此接口帶寬還必須增加一倍。
因此,總線時鐘頻率高達200MHz的輸入端口緩存帶寬必須達到64位。但其深度應當達到怎樣的水平？這些執行方面的細節問題具體將取決于開發人員。然而,許多采用太位路由器的互聯網業務提供商(ISP)需要高達100ms的緩存；有些甚至還要求達到300ms。如此龐大的緩存可在網絡擁塞時通過提供高靈活性而使丟包率降至最低。
單個OC-192管道僅具有100ms的入口緩存容量,因而緩存需要×秒,約為120M字節。如果該架構在寫模式和讀模式之間需要反復緩存,那么上述數值將相應增大一倍。
因此,入口緩存可能需要帶寬為64位的內存,以實現高達120M字節的緩存,或者入口緩存取決于讀緩存器和寫緩存器的管理模式。緩存容量需求可能促使設計工程師采用像PC-133這樣的主流DRAM技術,但133MHz的SDR傳送速率需要再次將緩存帶寬增大一倍。其它的DRAM技術(如DDR SDRAM或Rambus)似乎更為適宜,但其60至70ns的隨機循環時間仍是一個嚴重問題,因為在處理的分組數據中,50%以上是40字節的控制信息包。
SRAM緩存是解決上述性能問題的一種選擇,但還需考慮其它問題。考慮到QDR SRAM的基本容量只為2M字節,因此100ms緩存器在OC-192速率上將需要60個部件。即便具有足夠的線路板空間,完全實現上述內存配置所需消耗的功率也將達到70瓦。
新型網絡內存
面向網絡的FCRAM和低延遲DRAM (RLDRAM)有助于設計工程師克服與OC-192卡緩沖存儲器設計相關的難題,其性能有利于設計工程師利用已掌握的DRAM知識,而這些知識可能源自為最低每位成本(cost-per-bit)應用所設計的產品。這些面向網絡的新型DRAM專為高速數據應用精心打造,并改進了隨機循環和塊移動性能。
與其它基于DRAM的內存不同,這些新型的內存架構為設計工程師提供了完全時鐘控制的輸入和輸出、塊移動和以前只在高端SRAM中使用的隨機循環時間。這些新型內存架構還提供高性能的刷新支持,解決內部存儲段激活問題,消除循環之間的預加載時間,并為通信系統開發提供架構和封裝。
目前,應用于PC中的PC266 DDR DRAM具有每引腳266Mbps的突發速率,且其隨機存取時間為60或70 ns。網絡DRAM的突發速率比PC DRAM高50%,而循環時間則不到PC DRAM的一半。盡管由于高端SRAM采用了更小的內存矩陣,其隨機循環性能理應更好,但200MHz FCRAM的總體隨機(非存儲段或其它子類)循環時間(25ns)僅為167MHz QDR SRAM循環時間(12ns)的兩倍。
在許多應用中,由上述循環時間差異所提高的性能將因以下三種原因而被抵消:FCRAM具有16倍的密度、FCRAM支持同等的塊移動速率,以及1:6的晶體管比率極大地降低了功耗。這些就是網絡DRAM最初吸引太位路由器/交換機設計工程師的優良特性(圖2)。
FCRAM中同一存儲段的循環時間相當短,因此一旦管線始于交叉模式,那么理論上該傳輸就能持續進行,直至需要考慮其它因素(如刷新)。在128字節塊傳輸示例中,FCRAM可提供比DDR存儲器快25%的數據率,且隨著數據塊的增大(如支持1,500字節的IP分組數據),FCRAM的傳送速率幾乎是DDR的兩倍。
但原始時鐘速率并非衡量網絡DRAM性能的唯一指標。在處理分組數據過程中,具有最短原始時鐘速率的DRAM往往使系統承受最大的壓力。NPU的實時性能通常可根據NPU處理背對背40字節TCP/IP控制信息包的能力加以衡量。由于控制信息包不需要連續配置在內存中,因此隨機塊存取的時間間隔與原始傳送速率同樣重要,而且對傳輸流所進行的研究也表明:混合數據中的一半是小分組數據包。
如果兩個TCP/IP控制信息包在相同的PC-DDR存儲段中背對背存取,由于存在較長的隨機循環時間tRC,這兩個塊存取之間的間隔將達60至70ns。同樣的問題也困擾著具有最高原始時鐘速率(Rambus可達400MHz)的DRAM技術,這是導致DRAM技術難以得到廣泛應用的一個重要原因。
相反,FCRAM能每25ns完成一次40字節數據塊的隨機存取。內存緩沖的平均性能更多的取決于隨機循環而非突發速率和傳統DRAM設計。與網絡專用DRAM相比(圖3和圖4),傳統的DRAM設計還存在一些缺陷。一些新型架構利用該性能優勢,在查表應用中替代了SRAM和按內容尋址內存(CAM)。通過采用并行處理單元獲取固定大小的數據塊并保持數據總線繁忙,即可嚴格管理數據管線,進而在將線路板空間、成本和功耗降至最低的同時,保證最佳的內存性能。
各種內存的結構差異
在選擇內存時,考察各種內存的不同架構相當重要。各種內存之間的主要區別在于陣列核心,因為每種DDR SDRAM均由四組8192行×512列的存儲段構成,而FCRAM則由32768行×128列的存儲段構成。FCRAM不支持8字節或半字節突發數據,但支持雙倍速SDRAM。
設計工程師應當慎重選擇內存,因為有時采用DDR SDRAM就已足夠。例如,在對突發長度為8字節的單存儲段進行讀操作時,由于DDR SDRAM只需單個突發數據即可完成操作,而FCRAM則需要兩個4字節的突發數據,因此DDR SDRAM更適用于這種特殊情形。如果該架構包含兩個存儲段操作,則應選用FCRAM,因其能更快地向第二個存儲段發送讀指令。
盡管這些特性使FCRAM和其它網絡DRAM成為線速緩存的理想選擇,但對于線路卡上的其它內存應用呢？如前所述,當前采用的10萬條查表項達到100萬條的時候,用于支持Cos/QoS/流量管理的隊列也將變得極為龐大。
路由表查詢
早期的幾代路由表均建立在CAM的基礎上,但由于存在規模問題,路由表已開始向基于DRAM的CAM(而非SRAM信元)轉變,而且隨著表項規模的不斷增大,今后這種趨勢將更加明顯。為開發擺脫CAM規模限制的表項,一些開發人員采用了多層內存路由表構建方法。
在應用中,ASIC開發人員和NPU供應商均采用了網絡DRAM的快速隨機循環時間和塊移動速率。這是路由邏輯電路以塊或“大塊”方式處理表項的常規設計方法,這里對每個數據塊的存取完全是隨機的。為優化表查詢,可采用多個CPU對內存進行管線式存取,以使并行處理中表項和路由引擎間的數據傳送達到最大。需要指出的是,該應用中的內存存儲方法不同于先前討論的線速緩存應用,后者由占空比為50%的隨機讀和寫組成。
當然,當代網絡DRAM不可能滿足所有高速線路卡的內存要求,進而取代SRAM。SRAM還常用于像連接表(connection table)和鏈接表(linked table)這樣的內存應用中。這些應用需要QDR隨機循環時間, 或者完全不需要網絡DRAM容量,盡管該容量在不斷增長。雖然目前QDR的容量已足以應付這些應用,但下一代產品的容量要求還是促使設計工程師再次向網絡DRAM開發人員尋求援助,以開發下一代40G產品或低成本的10G產品。
設計工程師正致力于采用DRAM技術提供與QDR相當的隨機循環時間,以在降低功耗的同時極大地提高RAM架構的容量。這些努力有望于明年成為現實。事實上,延遲是網絡DRAM無法與SRAM媲美的唯一性能特征,因為兩者的常規存儲段規格存在較大差異,但設計工程師完全可以借助RISC處理器管線處理功能彌補不足。
新型存儲器產生的影響
近年來,WAN路由器和交換機開發人員被迫在各代存儲器中進行重大的技術改造。各代存儲器銜接點上的性能制約并非來自用戶,而是來自ISP運營的核心網。遺憾的是,核心網偏離了快速發展的光傳輸軌道,而是轉向發展Sonet。單單一項技術革新不足以保證下一代網絡所需的性能飛躍,還需要得到片上系統ASIC技術、網絡處理、微機電系統和光交換系統中高端技術的大力支持。架構變更及其相關問題(如密集分組數據包中的熱生成)只會增大系統開發人員的開發難度。
這些具有DRAM技術固有的密度和功率優勢的新型網絡存儲器可以有效地解決上述處理瓶頸。這些新產品不但能使原始數據吞吐率與高端SRAM相當,還縮短了兩者之間循環時間和延遲的差異。此外,新產品還有助于設計工程師解決許多困擾SRAM或傳統DRAM技術的難題。
設計工程師當然極力擁護將DRAM技術應用于高性能領域。盡管該技術推出的時間不長,但像仿真模型、ASIC控制器和FPGA控制器這樣的宏支持架構已在許多產品中占有一席之地。廣泛的應用領域本身就是一種產品支持。
目前,以更高的性能支持奇偶校驗、錯誤檢查和糾錯架構的下一代產品已提上開發日程。網絡DRAM技術不僅適用于最新一代的WAN路由器和交換機,還應用于低端設備中低成本的城域和邊緣器件、快速演進的10G位以太網解決方案以及高端的OC-768解決方案中。
作者: Adrian Cosoroaba
戰略營銷經理
美國富士通微電子公司
Email: acosoroa@
