H3C交換機4核心節(jié)點IRF2虛擬化下檢測機制——背景介紹：項目中涉及4臺核心交換機做虛擬化，實施中發(fā)現(xiàn)不同的檢測方式在腦裂情況下存活設(shè)備并不是一樣的現(xiàn)象，在BFD監(jiān)測、萬兆業(yè)務(wù)單板的情況下，一旦主master節(jié)點主業(yè)務(wù)單板故障，則業(yè)務(wù)會全部中斷、所有存活設(shè)備均會抑制端口，必須采用lacp mad方式監(jiān)測，以保留腦裂后存活節(jié)點多的一組設(shè)備。

　　1.IRF介紹

　　H3C 交換機支持IRF2功能，可將多臺設(shè)備虛擬化為一臺邏輯設(shè)備，可簡化管理并提高可靠性。

　　IRF是利用設(shè)備普通的萬兆接口建立的，某些特殊性況下(如物理線路故障)會導(dǎo)致IRF設(shè)備之間通信中斷，一個IRF變成多個新的IRF。這些IRF擁有相同的IP地址等三層配置，會引起地址沖突，導(dǎo)致故障在網(wǎng)絡(luò)中擴大。為了提高系統(tǒng)的可用性，當IRF分裂時我們就需要一種機制，能夠檢測出網(wǎng)絡(luò)中同時存在多個IRF，并進行相應(yīng)的處理，盡量降低IRF分裂對業(yè)務(wù)的影響。MAD(Multi-ActiveDetection，多Active檢測)就是這樣一種檢測和處理機制。

　　2.BFD和LACP檢測原理

　　BFD MAD檢測原理

　　BFD MAD檢測是通過BFD協(xié)議來實現(xiàn)的。要使BFD MAD檢測功能正常運行，除在三層接口下使能BFD MAD檢測功能外，還需要在該接口上配置MAD IP地址。MAD IP地址與普通IP地址不同的地方在于：MAD IP地址與成員設(shè)備是綁定的，IRF中的每個成員設(shè)備上都需要配置，且所有成員設(shè)備的MAD IP必須屬于同一網(wǎng)段。

　　當IRF正常運行時，只有主設(shè)備上配置的MAD IP地址生效，從設(shè)備上配置的MAD IP地址不生效，BFD會話處于down狀態(tài);(使用display bfd session命令查看BFD會話的狀態(tài)。如果Session State顯示為Up，則表示激活狀態(tài);如果顯示為Down，則表示處于down狀態(tài))

　　當IRF分裂形成多個IRF時，不同IRF中主設(shè)備上配置的MADIP地址均會生效，BFD會話被激活，此時會檢測到多Active沖突。

　　沖突處理原則：對于BFD MAD，與ARP MAD、ND MAD檢測處理原則相同，沖突處理會直接讓主設(shè)備成員編號小的IRF繼續(xù)正常工作;其它IRF遷移到Recovery狀態(tài)。

　　LACP MAD檢測原理

　　LACP MAD檢測是通過擴展LACP協(xié)議報文內(nèi)容實現(xiàn)的，即在LACP協(xié)議報文的擴展字段內(nèi)定義新的TLV(Type/Length/Value，類型/長度/值)數(shù)據(jù)域——用于交互IRF的DomainID(域編號)和ActiveID(等于主設(shè)備的成員編號)及成員數(shù)量。

　　使能LACP MAD檢測后，成員設(shè)備通過LACP協(xié)議報文和其它成員設(shè)備交互DomainID和ActiveID信息。

　　當成員設(shè)備收到LACP協(xié)議報文后，先比較DomainID。如果DomainID相同，再比較ActiveID;如果DomainID不同，則認為報文來自不同IRF，不再進行MAD處理。

　　如果ActiveID相同，則表示IRF正常運行，沒有發(fā)生多Active沖突;如果ActiveID值不同，則表示IRF分裂，檢測到多Active沖突。

　　沖突處理原則：對于LACP MAD檢測，沖突處理會先比較兩個IRF中成員設(shè)備的數(shù)量：數(shù)量多的IRF繼續(xù)正常工作;數(shù)量少的遷移到Recovery狀態(tài)(即禁用狀態(tài));如果成員數(shù)量相等，則主設(shè)備成員編號小的IRF繼續(xù)正常工作，其它IRF遷移到Recovery狀態(tài)。為減小當IRF分裂對網(wǎng)絡(luò)的影響，當只有兩個成員設(shè)備組成IRF時，建議您配置成員編號小的成員設(shè)備為Master。

　　3.核心區(qū)域IRF拓撲圖

　　4.核心交換IRF互聯(lián)端口

　　5.核心交換機規(guī)劃

　　交換機1/2/3/4 IRF端口都是采用萬兆端口建立鄰居關(guān)系，BFD檢測采用的千兆端口互聯(lián)，核心交換機優(yōu)先級設(shè)置規(guī)則：1號交換機對應(yīng)20，2號交換機對應(yīng)15,3號交換機對應(yīng)10,4號交換機對應(yīng)5，虛擬組內(nèi)的交換機根據(jù)設(shè)置的優(yōu)先級進行master和slave選舉，優(yōu)先級高的將會成為虛擬組內(nèi)的master機器，在虛擬組合并過程中將根據(jù)設(shè)備的成員編號進行選舉，成員編號低的將選舉成為虛擬組內(nèi)存活設(shè)備。

　　6.核心萬兆單板處理過程

　　原來核心區(qū)域部署方式采用BFD MAD檢測，在模擬故障測試過程中，將核心交換機1的萬兆板卡拔掉后，交換機1和交換機2/3/4IRF端口失效，鄰居關(guān)系中斷。由于BFD檢測采用的是千兆板卡互聯(lián)，所以交換機1和交換機2/3/4之間BFD檢測是正常的，但是萬兆板卡故障后IRF鄰居關(guān)系卻失效了，BFD檢測發(fā)現(xiàn)IRF鄰居出現(xiàn)異常了，交換機1優(yōu)先級高會成為master，成員編號最低會成為存活設(shè)備。反之交換機2/3/4 被遷移為Recovery狀態(tài)，業(yè)務(wù)無法通過交換機1的萬兆板卡傳輸(萬兆板卡故障)，同時交換機2/3/4處于Recovery狀態(tài)無法傳輸萬兆業(yè)務(wù)，造成亦莊和東壩數(shù)據(jù)中心萬兆業(yè)務(wù)全部中斷。

　　目前核心區(qū)域部署方式改為LACP MAD檢測，LACP MAD檢測和BFD MAD處理原則不同，LACP MAD沖突處理會先比較兩個IRF中成員設(shè)備的數(shù)量：數(shù)量多的IRF繼續(xù)正常工作;數(shù)量少的遷移到Recovery狀態(tài)(即禁用狀態(tài));如果成員數(shù)量相等，則主設(shè)備成員編號小的IRF繼續(xù)正常工作，其它IRF遷移到Recovery狀態(tài)。

　　當模擬核心交換機1萬兆板卡故障時，LACP MAD同樣會檢測到1和2/3/4之間的IRF鄰居關(guān)系失效。選舉方式會先比較成員設(shè)備數(shù)量，2/3/4交換機 IRF鄰居關(guān)系是正常的并且設(shè)備成員數(shù)量多會繼續(xù)存活下去，相反交換機1只有一臺存活被遷移為Recovery狀態(tài)。交換機2/3/4會形成一個虛擬組并正常轉(zhuǎn)發(fā)數(shù)據(jù)和處理業(yè)務(wù)。交換機1被Recovery后，交換機2優(yōu)先級最高選舉成為master。

　　7.IRF注意事項

　　當IRF分裂后，不要在存活的交換機上敲save命令，一旦保存配置會將分裂的狀態(tài)寫入設(shè)備，將丟失掉分裂出去的設(shè)備配置。

　　當虛擬組中的設(shè)備萬兆板卡出現(xiàn)故障時，盡量將故障設(shè)備斷電將萬兆板卡更換完畢后再啟動設(shè)備，這樣分裂出去的交換機會重新加入虛擬組中，并且不會與現(xiàn)有的虛擬組設(shè)備進行競爭。如果在線更換板卡，交換機IRF鄰居將會以新的角色與現(xiàn)有的虛擬組以合并的方式進行競選，競選失敗的交換機會重啟并成為slave。

　　來源：互聯(lián)網(wǎng)