本文部分內(nèi)容引用微信公眾號:數(shù)據(jù)中心運維管理,《淺談數(shù)據(jù)中心機房供電配電系統(tǒng)設(shè)計》
摘要:現(xiàn)代的數(shù)據(jù)中心中都包括大量的計算機,對于這種場所的電力供應(yīng),都要求供電系統(tǒng)需要在所有的時間都有效,這就不同于一般建筑的供配電系統(tǒng),它是一個交叉的系統(tǒng),涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等,每個系統(tǒng)互相交叉,互有影響,這就使我們在設(shè)計時需要考慮多方面的因素。本文從數(shù)據(jù)中心的高壓供電系統(tǒng)到末端精密配電系統(tǒng)介紹數(shù)據(jù)中心供配電及能效管理系統(tǒng)的設(shè)計。
系統(tǒng)概述
現(xiàn)代的數(shù)據(jù)中心機房中都包括大量的計算機,對于這種場所的電力供應(yīng),都要求供電系統(tǒng)需要在所有的時間都有效,擴容容易,維護簡便,容錯力強,主要的是性價比高。數(shù)據(jù)中心機房是現(xiàn)代信息化建設(shè)的基礎(chǔ)工程,為各個業(yè)務(wù)提供穩(wěn)定、安全的工作環(huán)境,而機房的供配電系統(tǒng)就是這基礎(chǔ)工程的心臟和大動脈,供配電系統(tǒng)的穩(wěn)定,能夠保障其它系統(tǒng)發(fā)揮作用和核心業(yè)務(wù)正常運行。系統(tǒng)不同于一般建筑的供配電系統(tǒng),它是一個交叉的系統(tǒng),涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等,各個系統(tǒng)互相交叉,互有影響,這就使我們在設(shè)計時需要考慮多方面的因素。
系統(tǒng)設(shè)計
供配電系統(tǒng)的布置
數(shù)據(jù)中心機房供配電系統(tǒng)主要設(shè)備有:UPS、電池、配電柜和柴油發(fā)電機等。這些設(shè)備單位占地面積、重量大,對于這些設(shè)備的擺放位置既要考慮功能上的需求,又要考慮空間和承重的需要,還要考慮對外界的危害。
數(shù)據(jù)中心機房供電系統(tǒng)應(yīng)有獨立的配電間、變配電所,UPS 電源機房應(yīng)靠近設(shè)備機房(負荷中心)布置,這樣能保證從UPS輸出到用電設(shè)備之間的壓降和損耗盡可能的小。UPS 電源主機、配電柜與蓄電池組是否需要分隔,按照數(shù)據(jù)中心等級的要求決定,另外還需要考慮到UPS屬于大型設(shè)備,重量比較大,噪聲大,需要擺放在一個承重比較好,并且不影響辦公和休息環(huán)境的地方。配電柜位置的選擇,主要考慮功能上的需求,配電柜應(yīng)在滿足功能分區(qū)的基礎(chǔ)上,盡可能靠近供電負載。發(fā)電機房宜設(shè)置在地面一層,當發(fā)電機房設(shè)置于地下層時,應(yīng)特別注意進、出風通道能否滿足要求,應(yīng)注意發(fā)電機組儲油裝置(日用油箱、儲油罐)的消防要求。
變配電所、發(fā)電機房、UPS電源機房均應(yīng)留有足夠的面積,可與設(shè)備機房同步發(fā)展,應(yīng)對設(shè)備機房面積擴展或設(shè)備機房功率密度上升引起的供電需求。于非專門設(shè)計用于數(shù)據(jù)中心的建筑,應(yīng)注意其是否滿足設(shè)備安裝和線路敷設(shè)的要求,包括樓面荷載、凈高、抗震等級、耐火等級等方面。
下圖為典型數(shù)據(jù)中心的供配電系統(tǒng)示意圖,采用雙路110kV進線,配置10kV柴油發(fā)電機作為自備應(yīng)急電源,UPS采用冗余供電方式,末端精密配電柜和精密空調(diào)均采用UPS供電,提高數(shù)據(jù)中心運行穩(wěn)定性,見圖1。
圖1 數(shù)據(jù)中心典型供配電系統(tǒng)示意圖
5.2 供配電系統(tǒng)設(shè)計
5.2.1 市電動力配電系統(tǒng)設(shè)計
為了提高數(shù)據(jù)中心供電可靠性,減少電網(wǎng)故障的干擾,大型數(shù)據(jù)中心一般采用110kV甚至更高電壓等級市電電源,根據(jù)當?shù)毓╇姉l件確定。市電動力配電主要用于供給機房精密空調(diào)設(shè)備、普通照明和給排風、維修插座、一般動力、UPS設(shè)備等。市電動力配電一般由大樓總配電柜饋出的動力供配電系統(tǒng),采用50Hz交電,380/220V三相五線電源,TN-S接地方式,零線和地線分開設(shè)置且零地線之間電壓小于1V。
一般可靠性要求數(shù)據(jù)中心宜引入兩路市電電源,條件受限制時也可引入一路市電電源。引入兩路市電電源時,宜為冗余關(guān)系,也可作為供電容量擴展關(guān)系。
每一路市電電源的供電容量應(yīng)能滿足全部一、二級負荷的需求,包括UPS電源系統(tǒng)、機房精密空調(diào)、機房照明、蓄電池充電及建筑設(shè)備中的一、二級負荷。兩路市電電源的供電容量應(yīng)為全冗余,正常時應(yīng)同時供電運行,兩路電源在負荷設(shè)備輸入端自動切換。
圖2 110kV變電站或10kV開閉所保護測控裝置配置示意圖
市電動力配電柜一般采用放射式配電直接配至各用電設(shè)備或電箱,機房內(nèi)所有動力配電線纜需要設(shè)計橋架或鋼管敷設(shè),市電動力配電柜具有火警聯(lián)動保護功能,出現(xiàn)火警時可與消防系統(tǒng)聯(lián)動及時切斷電源,動力配電柜、照明箱內(nèi)的開關(guān)和主要元器件應(yīng)設(shè)置有效的防雷措施。
表1 110/10kV變電站和10kV開閉所、變電所保護測控裝置選型表
圖3 0.4kV配電柜測控裝置配置示意圖
表2 0.4kV配電柜測控裝置選型表
5.2.2自備應(yīng)急電源系統(tǒng)設(shè)計
數(shù)據(jù)中心一般采用柴油發(fā)電機組作為自備應(yīng)急電源,對于大型、高等級數(shù)據(jù)中心也可以選擇可靠性高、輸出電源品質(zhì)好、帶非線性負載能力強、體積小、重量輕的大功率燃氣輪機發(fā)電機組。一般可靠性要求的數(shù)據(jù)中心宜配置一路自備應(yīng)急電源,供電容量應(yīng)能滿足全部一、二級負荷的需求,包括UPS電源系統(tǒng)、機房空調(diào)、機房照明、蓄電池充電及建筑設(shè)備中的一、二級負荷。當數(shù)據(jù)中心條件受限制,且市電電源具有較高可靠性時,也可以部分或全部采用移動式發(fā)電機組作為自備應(yīng)急電源。發(fā)電機組燃料儲備量應(yīng)根據(jù)數(shù)據(jù)中心等級的要求,結(jié)合市電電源可靠性、供油可靠性、消防要求綜合決定,一般不宜少于發(fā)電機組滿負荷運行8小時的用油量。
圖4 10kV柴油發(fā)電機室保護測控裝置配置示意圖
表3 10kV柴油發(fā)電機保護測控裝置選型表
5.2.3 UPS供配電系統(tǒng)設(shè)計
UPS配電主要用于計算機設(shè)備、服務(wù)器、小型機、存儲、網(wǎng)絡(luò)設(shè)備、保安監(jiān)控設(shè)備等。UPS 電源系統(tǒng)輸出一般采用三級配電方式:系統(tǒng)輸出配電柜-機房配電柜-機柜配電單元。
UPS電源系統(tǒng)蓄電池組容量的計算方法有以下兩種:
(1) 按負荷電流計算;
(2) 按負荷功率計算;
按負荷電流計算的結(jié)果是蓄電池組的總?cè)萘浚缓笤龠x擇單組蓄電池的容量和組數(shù)。按負荷功率計算的結(jié)果是選定容量規(guī)格的蓄電池組數(shù)。兩種計算方法的結(jié)果可互相校驗。
對于單電源輸入設(shè)備,即使已采用雙單元冗余UPS 電源系統(tǒng),也宜將其連接在其中一個單元上。對于雙單元冗余UPS電源系統(tǒng),可將其每個單元中的部分容量視為并聯(lián)冗余性質(zhì)。對于需要雙回路供電的單電源輸入設(shè)備,宜在其輸入端設(shè)置靜態(tài)轉(zhuǎn)換開關(guān)STS。靜態(tài)轉(zhuǎn)換開關(guān)STS 的性能應(yīng)能滿足其要求,一般轉(zhuǎn)換時間小于5~10ms。
當負荷設(shè)備對零-地電壓要求較高時,可在機房配電柜設(shè)置隔離變壓器。有時候為保證UPS故障旁路后輸出高質(zhì)量電源,往往在UPS旁路輸出端設(shè)置隔離變壓器。
數(shù)據(jù)中心UPS供配電系統(tǒng)一般采用冗余方式供電,很少采用單機供電。冗余方式供電能在一臺UPS設(shè)備故障時,仍然能夠滿足機房內(nèi)重要設(shè)備的用電需求,這是單機供電所不能達到的。從冗余式配置方案來看,常用的有以下幾種方式:
(1) 熱備份式冗余UPS供電方式
主機帶負載,備機空載或帶非重要負載,備機接入主機的BYPASS(旁路)輸入端。這種方式布置比較靈活,不需要兩臺UPS同品牌,而且不要增加額外輔助電路,不增加購置成本。如果UPS主機發(fā)生了故障,那么UPS備機需要接替全部負載,這也就意味著設(shè)計時需要計算好UPS主機故障時,UPS備機所需承擔的總負載。此方式的缺陷在于UPS備機得具有階躍性負載承載能力,無法對電源系統(tǒng)進行擴容,兩臺容量不同的UPS相聯(lián),只能按至低的UPS容量輸出。
(2) 直接并機冗余UPS供電方式
為克服熱備份式冗余供電系統(tǒng)的弱點,隨著UPS控制技術(shù)的進步,具有相同額定輸出功率的UPS可直接并聯(lián)而形成冗余供電系統(tǒng),為保證高質(zhì)量的并機系統(tǒng),各電源間需要保持同頻、同相、且各機均流。此供電方式瞬間過載能力強,能夠自動均分功率,系統(tǒng)互為主備,提高供電可靠性,電源系統(tǒng)擴容方便。但是存在著環(huán)流,增加無功損耗,降低系統(tǒng)可靠性,需增加額外輔助電路,隨之而來是增加成本,增加故障點。設(shè)計時,如2臺互備,每臺按照50%帶載能力考慮,并聯(lián)的主機越多,單臺主機的帶載能力就越低。
(3) 雙總線冗余供電方式
雙總線供電方式是采用兩條總線對后端設(shè)備進行供電,每條總線上具有相同的一套UPS供電方式,消除可能出現(xiàn)在UPS輸出端與最終用戶負載端之間的“單點瓶頸"故障隱患,以提高輸出電源供電系統(tǒng)的“容錯"功能。此供電方式能夠在線維護,在線擴容,在線升級,改善了重要總線的可用性,滿足了雙電源用電設(shè)備的需求,實現(xiàn)了7×24×365運行的目標。但是雙總線冗余供電方式相當于搭建了兩套前述供電方式的回路,需要增加2倍以上的成本。同時,為滿足單電源設(shè)備的供電需求,可在輸出端安裝STS,來保證供電輸出的可靠性?! ?/span>
UPS供電系統(tǒng)是滿足數(shù)據(jù)中心供電可靠性的核心部分,而蓄電池又是整個系統(tǒng)中主要的組成之一,是整個供電系統(tǒng)的“最后一道屏障"。當組串中的一只電池因過充、過放等原因造成電池性能下降,電池內(nèi)阻變大,會導(dǎo)致電池出現(xiàn)發(fā)熱、鼓包等現(xiàn)象,將造成供電系統(tǒng)安全性的整體下降,同時增加蓄電池充放電的損耗。
圖5 數(shù)據(jù)中心UPS和蓄電池監(jiān)測配置示意圖
表4 數(shù)據(jù)中心蓄電池監(jiān)測選型表
5.3 末端配電系統(tǒng)
機房UPS、精密空調(diào)電源系統(tǒng)輸入應(yīng)設(shè)置專用的輸入配電柜。電源系統(tǒng)輸入配電柜應(yīng)引接兩路電源、自動切換。UPS 電源主機的主電源和旁路電源應(yīng)分別引入,并宜由不同的輸入配電柜引接。UPS電源系統(tǒng)輸出應(yīng)采用放射式、雙回路配電方式。UPS 電源系統(tǒng)輸出應(yīng)采用三相配電,末端分相,以利三相平衡。
機房配電柜、UPS電源柜落地安裝,動力配電箱、照明配電箱底邊距地1.4m墻上暗裝,配電柜及其他電氣裝置的底座應(yīng)與建筑樓地面牢靠固定,并接地,機房內(nèi)應(yīng)分別設(shè)置維修和測試用插座,且有明顯區(qū)別標志,測試用電源插座應(yīng)由UPS供電,維修插座由市電供電。所有線路的敷設(shè)是要以設(shè)備布局和設(shè)計圖紙為基礎(chǔ)進行,設(shè)計時考慮供電距離盡量短,機房內(nèi)的電源線、信號線和通信線應(yīng)分別鋪設(shè),不能共走同一線槽,UPS電源配電箱(柜)引出的配電線路,穿鍍鋅鋼管,沿機房活動地板下敷設(shè)至各排網(wǎng)絡(luò)或服務(wù)器機柜,使用插座或工業(yè)連接器為機柜供電。
5.3.1 精密配電柜
精密配電柜是為數(shù)據(jù)中心的設(shè)備機柜提供電源的末端配電設(shè)備,一般采用雙回路供電,電源分別來自兩臺冗余的UPS,分為交流和直流供電,一般放置在機柜陣列的兩端,也稱列頭柜,如圖6所示。
圖6 ANDPF精密配電柜
安科瑞精密配電監(jiān)控解決方案針對精密配電柜監(jiān)控數(shù)字化要求,方案包括交流(AC220V)、直流(DC-48V/240V/336V)系統(tǒng)。由觸摸式液晶顯示屏、綜合信息處理主機模塊、開關(guān)狀態(tài)采集模塊、電流互感器(交流)或霍爾傳感器(直流)采集單元模塊等組成。監(jiān)測兩路主進線和A+B雙面饋線回路電量參數(shù)、開關(guān)狀態(tài)、諧波含量、柜內(nèi)溫濕度等數(shù)據(jù),可以在本地觸摸屏顯示,同時可以上傳AcrelEMS-IDC數(shù)據(jù)中心能效管理系統(tǒng)顯示和報警。產(chǎn)品方案見表5。
表5 精密配電柜數(shù)字化方案產(chǎn)品選型
5.3.2 智慧母線槽
近年來隨著數(shù)據(jù)中心建設(shè)的快速發(fā)展,智能母線槽的方案運用越來越多。相比傳統(tǒng)精密配電柜,數(shù)據(jù)中心母線槽架空鋪設(shè),具有安裝檢修方便、不占地、散熱快、易增容等優(yōu)勢。母線槽通過始端箱從前端UPS取電,以母排系統(tǒng)組成輸電結(jié)構(gòu),采用即插即用的方式,通過插接箱給各個IT機柜內(nèi)的PDU供電。
圖7 智能母線槽數(shù)據(jù)采集方案示意圖
安科瑞智能母線槽方案在始端箱和插接箱內(nèi)配置AMB100/AMB110監(jiān)測單元,測量始端箱、插接箱電壓、電流、頻率、有功功率、無功功率、功率因數(shù)、有功電能、無功電能、諧波畸變、溫濕度、漏電電流等數(shù)據(jù),可以通過有線或無線方式傳輸數(shù)據(jù),在本地觸摸屏顯示,同時可以上傳數(shù)據(jù)中心能效管理系統(tǒng),實現(xiàn)母線槽的數(shù)據(jù)展示和異常預(yù)警。
另外由于母線槽是由銅制母排搭接而成,接頭部位可能會由于接觸不良而異常發(fā)熱,所以需要對母線槽接頭溫度進行實時監(jiān)測,安科瑞AMB200母線接頭溫度監(jiān)測裝置進行接觸式測溫,AMB300通過紅外非接觸式測溫方式監(jiān)測母線溫度,數(shù)據(jù)通過有線或無線方式傳輸本地觸摸屏顯示,同時可以上傳數(shù)據(jù)中心能效管理系統(tǒng),實現(xiàn)母線槽溫度的實時預(yù)警,設(shè)備選型如表6所示。
表6 智能母線槽解決方案選型表
5.4 數(shù)據(jù)中心能效管理系統(tǒng)設(shè)計
AcrelEMS-IDC數(shù)據(jù)中心能效管理系統(tǒng)搭建基于高、中、低壓配電系統(tǒng)、柴油發(fā)電機、UPS的實時監(jiān)控和末端配電系統(tǒng)數(shù)據(jù)采集的電力監(jiān)控、PUE分析以及動環(huán)監(jiān)測,幫助數(shù)據(jù)中心管理者了解數(shù)據(jù)中心能源運行情況,并關(guān)注消防和電氣安全,及時預(yù)警異常情況,保障數(shù)據(jù)中心穩(wěn)定可靠運行。除了變電站、柴油發(fā)電機和UPS運行監(jiān)控以外,特別是針對數(shù)據(jù)中心的末端配電環(huán)節(jié),系統(tǒng)數(shù)據(jù)跟蹤到每一個回路的電氣參數(shù)和開關(guān)狀態(tài)、溫濕度數(shù)據(jù)等。
圖8 數(shù)據(jù)中心能效管理系統(tǒng)架構(gòu)圖
5.4.1 電力監(jiān)控
監(jiān)控110kV變電站、10kV開閉所、10/0.4kV低壓變配電室配電系統(tǒng)運行情況,實現(xiàn)遙測、遙信、越限報警、故障分析、電能質(zhì)量分析、運行報表等功能。
5.4.2 設(shè)備監(jiān)控
監(jiān)測柴油發(fā)電機、變壓器、UPS、蓄電池組、精密配電柜、精密空調(diào)的狀態(tài)以及運行參數(shù),并提供異常預(yù)警、運行報表等功能。
5.4.3 能耗分析
統(tǒng)計數(shù)據(jù)中心總能耗、IT設(shè)備能耗、制冷系統(tǒng)能耗、供電系統(tǒng)能耗、照明及辦公能耗等分項用能,并計算CLF/PLF/PUE等能耗指標。
5.4.4 環(huán)境監(jiān)測
監(jiān)測數(shù)據(jù)中心溫濕度、水浸,蓄電池內(nèi)阻、溫度、電壓、蓄電池間氫氣濃度等數(shù)據(jù)并提供越限告警和聯(lián)動控制。
5.4.5 精密配電柜或小母線運行監(jiān)測
系統(tǒng)監(jiān)測精密配電柜或母線槽系統(tǒng)電氣接點溫度以及漏電電流,并設(shè)置溫度、漏電越限告警,及時消除系統(tǒng)隱患。系統(tǒng)監(jiān)測每路饋線回路的電流、功率、開關(guān)狀態(tài)和用電量,還可以配置溫度、濕度傳感器用于監(jiān)測線路接點溫度和柜內(nèi)濕度,設(shè)置參數(shù)高低越限告警,避免回路超負荷運行而導(dǎo)致意外斷電。
5.4.6 故障預(yù)警
系統(tǒng)對數(shù)據(jù)中心的故障類型進行分級分類處理,可以通過語音、文字彈窗、短信等方式提供故障預(yù)警信號,并對故障進行分類展示。
5.4.7 運維管理
系統(tǒng)為數(shù)據(jù)中心提供設(shè)備管理和運維管理功能,包括設(shè)備臺賬、設(shè)備保養(yǎng)、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能,告別依靠手工記賬,降低人力和時間成本。
結(jié)束語
不同用途或等級的數(shù)據(jù)中心對可靠性的要求不同,直接關(guān)系到數(shù)據(jù)中心的建設(shè)投資和運營成本。數(shù)據(jù)中心供配電系統(tǒng)是數(shù)據(jù)中心主要的基礎(chǔ)設(shè)施,應(yīng)在數(shù)據(jù)中心建設(shè)初期予以統(tǒng)籌考慮和規(guī)劃,并根據(jù)數(shù)據(jù)中心對供電可靠性的要求,在供電電源選擇、供配電系統(tǒng)布置、供配電系統(tǒng)結(jié)構(gòu)和形式等方面采取相應(yīng)的技術(shù)措施。同時,還應(yīng)充分運用成熟有效的節(jié)能措施和能效管理系統(tǒng),降低供配電系統(tǒng)的損耗,減少運營成本。