如何以ScaleIO為例分析SERVER SAN的部署

這期內容當中小編將會給大家帶來有關如何以ScaleIO為例分析SERVER SAN的部署，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

前言

支持iSCSI的SERVER SAN有全閃存陣列廠商SolidFire（也支持純軟件部署），還有我們前面分享過的Zadara Storage。其實采用iSCSI的Scale-out SAN，其節點一般都不能太多，因為iSCSI支持分布式難度很大，比如NetApp是8個，華為/EMC的高端存儲是16個，富士通高端可以做到24個，SolidFire號稱可以做到100個。但EMC ScaleIO可以擴展到1024個，華為FusionStorage可以支持4K個。也就是從工業實現的角度看，支持1000個節點以上的SERVER SAN，基本都需要靠專用的客戶端來提供塊服務，而不能依賴標準的iSCSI協議了。

網絡拓撲

網絡的部署，首先要考慮拓撲。SERVER SAN的網絡拓撲分兩種，一種是扁平網絡（Flat），一種是葉刺網絡(Leaf-Spine)，也就是有骨干和分支的。

一般小規模部署采用扁平網絡，而大規模的部署采用Leaf-Spine網絡。部署的時候除了考慮節點規模外，還需要考慮未來的擴展，如果超融合部署還需要考慮應用的帶寬，還有安全性，比如客戶端來自不信任域，需要考慮把SDC和SDS隔離開來。

Leaf-Spine是一種兩層架構，是傳統三層網絡的另類實現。每一個Leaf交換機都需要連接到所有的Spine交換機，但Leaf交換機和Spine交換機之間并不互連。Leaf交換機控制服務器之間的流量，而Spine交換機移動L2節點間的流量。

大多數情況，EMC建議采用Leaf-Spine拓撲，這是因為：

• ScaleIO可以擴展到幾百個節點；

• Leaf-Spine面向未來，以后擴展無需重新調整網絡；

• 規劃正確可以實現無阻塞交換；

• 使用的連接有一樣的帶寬；

• 可預測的時延；

• 更高的可用性和性能。
  

但扁平網絡也不是不可以用，特別是在一些分支機構和中小企業，足夠了。采用扁平網絡建議最多4臺交換機，EMC建議的拓撲如下圖，并沒有采用全網狀連接，這樣可以節省一些端口。如果超過4臺交換機，那么還是采用Leaf-Spine網絡好了。

網絡性能

選好網絡拓撲，性能的規劃就是最重要的了。

EMC建議在網絡初始配置的時候，采用交換機的缺省設置，先不要啟用巨幀、流控和鏈路聚合這些高級特性。只有確認網絡上的設備都支持這些特性后，再慢慢啟用，否則調試起來會反復，效率不高。

大家知道元數據服務MDM是整個系統的控制中心，EMC建議SDS到MDM的通訊時延（采用ping可以測試）要小于1ms。

需要計算的部分主要是網絡的帶寬。網絡的帶寬，需要考慮很多因素：

• 重構時間。一個節點失效，重構的時間；

• 重平衡的時間。新增和刪除節點，數據重新平衡分布的時間；

• 硬盤的能力和性能；

• 應用的性能期望，帶寬、時延、IOPS等。

不管怎么算，1Gbps的帶寬明顯是不夠的，因此，萬兆網絡是必須的。那么，怎么計算每個節點需要多少個萬兆網卡呢？

如果你把一個節點當成一個存儲系統，硬盤的總帶寬當成后端的帶寬，萬兆網卡的總帶寬當成前端的總帶寬。從系統角度，如果前端總帶寬和后端總帶寬相當，那么這個存儲系統就沒有瓶頸。

為了更好理解，提供兩個估算的例子。

例子1:

某節點一個有10個HDD，每個HDD的持續帶寬是100MB/s。因此后端總帶寬就是1000MB/s。大約相當于1塊萬兆網卡的性能，考慮冗余，因此配置2塊萬兆網卡是比較合適的。

例子2：

如果這個節點有6個SSD，每個SSD的持續帶寬是450MB/s（我理解應該按照最大值，即讀帶寬算）。那么后端系統總帶寬就是2700MB/s，配置3塊萬兆網卡（我理解指3個線速的萬兆端口，具體物理上是兩塊2端口的和三塊1端口的都行）就比較合適。

也就是說，為了可靠性，最少配置2塊物理網卡（不同槽位提高可靠性）。但具體使用多少個給萬兆端口，還需要估算一下。一般服務器節點的硬盤槽位是12個，如果用HDD，2個萬兆口基本夠用，但如果用SSD，可能需要4個以上。但有些高密網卡，可能不能所有端口都跑滿，這個就需要更多的物理網卡了。

要注意以上只是存儲I/O本身的帶寬要求，如果你要采用超融合部署，還需要考慮應用的帶寬。

EMC最佳實踐還建議隔離前端（SDC-SDS)和后端（SDS-SDS）流量，這樣可能需要更多的網卡或者端口。比如4塊網卡，2塊跑縱向流量，2塊跑橫向流量。ScaleIO每個節點最大支持8個網絡。

為了更好性能，EMC還建議交換機接入端口采用缺省配置，ScaleIO的流量不要啟用VLAN tagging（這個應該指NIC收到的報文都是不帶VLAN ID的）。

至于巨幀（Jumbo Frames）的使用，EMC建議等網絡部署完成后啟用。如果網絡都支持，而且典型的寫大小超過1500字節，啟用巨幀功能還是可以提高性能的（一般文件系統的讀寫都是4K，8K吧，因此，大部分情況應該符合這個條件）。

至于流控，一般建議性能調優階段啟用。流控分全局流控和優先級流控（Priority Flow Control，DCB/PFC，只針對特定流量，需要交換機和NIC支持）。有些情況下可能用不了流控，比如超融合部署不適宜使用全局流控（因為不僅僅有ScaleIO流量），如果存儲部分有專用的物理網絡可能也不需要流控。

至于鏈路聚合，如果網絡支持，建議啟用，性能和可靠性都會更好。

如果交換機支持teaming/bonding，盡量采用動態鏈路檢測（不要用靜態LACP配置），并且配置更短的定時器來進行更快的故障切換。

上述就是小編為大家分享的如何以ScaleIO為例分析SERVER SAN的部署了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。