數(shù)據(jù)中心風(fēng)險(xiǎn)評(píng)估預(yù)案

數(shù)據(jù)中心風(fēng)險(xiǎn)評(píng)估預(yù)案總述我從事數(shù)據(jù)中心運(yùn)維相關(guān)工作快六年了，見過(guò)太多因?yàn)樘崆皼]做風(fēng)險(xiǎn)排查，小隱患拖成大事故的例子：小到區(qū)域斷電導(dǎo)致業(yè)務(wù)停擺幾小時(shí)，大到核心服務(wù)器燒壞丟失用戶數(shù)據(jù)，最后賠了幾百萬(wàn)還丟了客戶信任。說(shuō)到底，數(shù)據(jù)中心是所有業(yè)務(wù)的“心臟”，一旦出問(wèn)題牽一發(fā)動(dòng)全身，做這份工作越久越明白，風(fēng)險(xiǎn)評(píng)估絕對(duì)不是應(yīng)付檢查的紙面文件，是給數(shù)據(jù)中心上的一道安全鎖。這份數(shù)據(jù)中心風(fēng)險(xiǎn)評(píng)估預(yù)案，是我們結(jié)合多年一線運(yùn)維經(jīng)驗(yàn)，從實(shí)際工作出發(fā)整理出來(lái)的，目的就是提前識(shí)別、分級(jí)評(píng)估、及時(shí)處置各類可能影響數(shù)據(jù)中心穩(wěn)定運(yùn)行的風(fēng)險(xiǎn)，把隱患消滅在萌芽狀態(tài)，最大程度降低事故發(fā)生的概率和損失，保障所有業(yè)務(wù)安全穩(wěn)定運(yùn)行。接下來(lái)我從各個(gè)環(huán)節(jié)具體說(shuō)明預(yù)案內(nèi)容。1總則1.1編制目的編制本預(yù)案核心就是三個(gè)目的：第一是建立常態(tài)化的風(fēng)險(xiǎn)識(shí)別機(jī)制，改變“出事才救火”的被動(dòng)模式，把日常運(yùn)維的重心從搶修轉(zhuǎn)到預(yù)防；第二是明確風(fēng)險(xiǎn)評(píng)估的標(biāo)準(zhǔn)和流程，讓所有人做評(píng)估的時(shí)候有章可循，不會(huì)因?yàn)樾氯私?jīng)驗(yàn)不足漏了風(fēng)險(xiǎn)點(diǎn)，也不會(huì)因?yàn)榱鞒袒靵y導(dǎo)致責(zé)任不清；第三是規(guī)范不同等級(jí)風(fēng)險(xiǎn)的處置方法，真碰到問(wèn)題能快速響應(yīng)，不會(huì)手忙腳亂亂處置。我一直跟組里的新人說(shuō)，我們多查一個(gè)小隱患，后面就少熬一個(gè)搶修的通宵，這份預(yù)案就是幫我們少熬夜、少出事的護(hù)身符，真不是擺著看的。1.2適用范圍本預(yù)案適用于我們負(fù)責(zé)運(yùn)維的所有規(guī)模數(shù)據(jù)中心，涵蓋主機(jī)房、輔助配電房、制冷機(jī)房、監(jiān)控中心、災(zāi)備機(jī)房等所有功能區(qū)域，不管是自營(yíng)的核心區(qū)域還是對(duì)外合作的托管區(qū)域，不管是自有運(yùn)維團(tuán)隊(duì)還是外包服務(wù)團(tuán)隊(duì)，都必須嚴(yán)格按照本預(yù)案開展風(fēng)險(xiǎn)評(píng)估工作，沒有例外。1.3工作原則我們開展風(fēng)險(xiǎn)評(píng)估一直堅(jiān)持四個(gè)原則：第一是預(yù)防為主，全員參與，風(fēng)險(xiǎn)評(píng)估不是只有運(yùn)維部門的事，業(yè)務(wù)部門管數(shù)據(jù)安全，安防部門管消防門禁，行政管后勤保障，每個(gè)環(huán)節(jié)都要參與進(jìn)來(lái)，每個(gè)人都是風(fēng)險(xiǎn)排查員；第二是全面覆蓋，不漏死角，不管是看得見的硬件設(shè)備，還是看不見的網(wǎng)絡(luò)權(quán)限、管理流程，甚至是周邊環(huán)境的外部風(fēng)險(xiǎn)，都要納入評(píng)估范圍；第三是動(dòng)態(tài)評(píng)估，及時(shí)更新，不是一年做一次評(píng)估就一勞永逸，環(huán)境變了、設(shè)備變了、業(yè)務(wù)變了，都要重新評(píng)估；第四是分級(jí)處置，閉環(huán)管理，不同大小的風(fēng)險(xiǎn)用不同力度應(yīng)對(duì)，所有排查出來(lái)的風(fēng)險(xiǎn)必須整改銷號(hào)，不能放著隱患不管。明確了總則要求，接下來(lái)要落實(shí)的就是組織保障，只有把責(zé)任分到每個(gè)人頭上，風(fēng)險(xiǎn)評(píng)估才不會(huì)變成沒人管的糊涂事。2風(fēng)險(xiǎn)評(píng)估的組織架構(gòu)與職責(zé)分工2.1風(fēng)險(xiǎn)評(píng)估領(lǐng)導(dǎo)小組領(lǐng)導(dǎo)小組組長(zhǎng)由數(shù)據(jù)中心總負(fù)責(zé)人擔(dān)任，副組長(zhǎng)是運(yùn)維主管和安全主管，成員包括各業(yè)務(wù)部門的對(duì)接負(fù)責(zé)人，主要職責(zé)是審批年度風(fēng)險(xiǎn)評(píng)估計(jì)劃和重大風(fēng)險(xiǎn)整改方案，統(tǒng)籌協(xié)調(diào)評(píng)估和整改需要的人員、物資、經(jīng)費(fèi)，發(fā)生重大風(fēng)險(xiǎn)的時(shí)候拍板決策應(yīng)急處置方案，對(duì)整個(gè)風(fēng)險(xiǎn)評(píng)估工作負(fù)最終責(zé)任。2.2風(fēng)險(xiǎn)評(píng)估執(zhí)行工作組執(zhí)行工作組就是一線干活的具體團(tuán)隊(duì)，由資深運(yùn)維工程師、網(wǎng)絡(luò)安全工程師、消防專員、安防專員組成，要求每個(gè)成員都有三年以上一線經(jīng)驗(yàn)，熟悉數(shù)據(jù)中心所有環(huán)節(jié)的運(yùn)行情況。主要職責(zé)就是開展日常排查和定期評(píng)估，逐個(gè)點(diǎn)位收集風(fēng)險(xiǎn)信息，對(duì)照標(biāo)準(zhǔn)做風(fēng)險(xiǎn)分析和定級(jí)，編寫風(fēng)險(xiǎn)評(píng)估報(bào)告，跟進(jìn)整改進(jìn)度，落實(shí)整改要求。說(shuō)實(shí)話我們每次做全面評(píng)估，都是背著工具一個(gè)個(gè)機(jī)柜摸過(guò)去，一個(gè)個(gè)參數(shù)核對(duì)，絕不是坐在辦公室填表格走流程，這點(diǎn)是底線。2.3監(jiān)督復(fù)核組監(jiān)督復(fù)核組由單位質(zhì)控部門和合規(guī)部門的人員組成，不參與具體評(píng)估，主要職責(zé)是檢查評(píng)估過(guò)程有沒有漏項(xiàng)，有沒有隱瞞風(fēng)險(xiǎn)不報(bào)，整改措施有沒有落實(shí)到位，定期抽查風(fēng)險(xiǎn)點(diǎn)的整改情況，避免因?yàn)橐痪€人員嫌麻煩或者熟人關(guān)系放過(guò)隱患，給整個(gè)數(shù)據(jù)中心留下漏洞。有了明確的分工和責(zé)任，接下來(lái)就是整個(gè)預(yù)案最核心的部分，也就是風(fēng)險(xiǎn)識(shí)別和評(píng)估的具體實(shí)施流程，能不能找準(zhǔn)隱患、定對(duì)等級(jí)，全看這一步做得扎不扎實(shí)。3風(fēng)險(xiǎn)識(shí)別與評(píng)估實(shí)施流程3.1常態(tài)化日常風(fēng)險(xiǎn)排查風(fēng)險(xiǎn)排查不是只有定期評(píng)估才做，要融入日常運(yùn)維的每一天。日常值班人員每天上班第一件事，就是核對(duì)動(dòng)力環(huán)境監(jiān)控系統(tǒng)的所有參數(shù)：市電電壓是否穩(wěn)定，UPS輸出是否正常，每個(gè)機(jī)柜的進(jìn)風(fēng)出風(fēng)溫度有沒有超標(biāo)，漏水檢測(cè)繩有沒有觸發(fā)報(bào)警，消防系統(tǒng)的煙感溫感是否在線，監(jiān)控門禁是否運(yùn)行正常，網(wǎng)絡(luò)帶寬有沒有異常波動(dòng)。除了系統(tǒng)監(jiān)控，每周還要做一次現(xiàn)場(chǎng)抽查，比如摸一摸主電纜的接頭溫度有沒有異常，看一看蓄電池有沒有鼓包漏液，試一下應(yīng)急照明能不能正常點(diǎn)亮，檢查消防通道有沒有被雜物堵住。我剛參加工作的時(shí)候，就吃過(guò)日常排查不仔細(xì)的虧：一個(gè)電纜接頭比別的接頭溫度高兩度，我當(dāng)時(shí)覺得差一點(diǎn)沒事，結(jié)果過(guò)了半個(gè)月絕緣層融化差點(diǎn)短路起火，還好夜班師傅巡檢及時(shí)發(fā)現(xiàn)，不然后果不堪設(shè)想，從那以后我就要求所有人，哪怕差一度也要記下來(lái)跟進(jìn)，絕對(duì)不能放過(guò)任何小異常。3.2定期與專項(xiàng)全面風(fēng)險(xiǎn)評(píng)估除了日常排查，我們固定每季度做一次局部風(fēng)險(xiǎn)評(píng)估，每半年做一次全面風(fēng)險(xiǎn)評(píng)估，除此之外，只要出現(xiàn)以下幾種情況，必須立即開展專項(xiàng)風(fēng)險(xiǎn)評(píng)估：一是機(jī)房完成擴(kuò)容、新增大量設(shè)備或者改動(dòng)人電、制冷線路之后；二是數(shù)據(jù)中心周邊有大規(guī)模施工，可能挖斷外線或者影響建筑地基的時(shí)候；三是極端天氣來(lái)臨之前，比如夏季高溫期、冬季暴雪期之前；四是發(fā)生過(guò)局部小事故之后，都要重新做全面排查。具體的評(píng)估內(nèi)容覆蓋四個(gè)大類：3.2.1基礎(chǔ)設(shè)施類風(fēng)險(xiǎn)基礎(chǔ)設(shè)施是數(shù)據(jù)中心運(yùn)行的基礎(chǔ)，所有環(huán)節(jié)都不能出問(wèn)題。供電方面要檢查市電輸入的穩(wěn)定性，UPS蓄電池的容量衰減情況，備用發(fā)電機(jī)能不能正常啟動(dòng)供油，電纜有沒有老化開裂，接頭有沒有松動(dòng)，接地電阻是否合格；制冷方面要檢查空調(diào)機(jī)組的運(yùn)行效率，冷通道的密閉性好不好，有沒有局部熱點(diǎn)，水冷管道有沒有腐蝕漏水的隱患，冷卻塔有沒有堵塞；建筑方面要檢查機(jī)房頂面墻面有沒有滲水痕跡，地面防水有沒有破損，周邊有沒有積水塌方的風(fēng)險(xiǎn)；消防方面要檢查所有煙感溫感能不能正常報(bào)警，氣體滅火系統(tǒng)的壓力是否達(dá)標(biāo)，滅火器有沒有過(guò)期，疏散通道是否暢通，應(yīng)急廣播能不能正常使用。3.2.2網(wǎng)絡(luò)與數(shù)據(jù)安全類風(fēng)險(xiǎn)現(xiàn)在數(shù)據(jù)價(jià)值越來(lái)越高，網(wǎng)絡(luò)和數(shù)據(jù)安全的風(fēng)險(xiǎn)絕對(duì)不能忽視。我們要檢查網(wǎng)絡(luò)架構(gòu)有沒有單點(diǎn)故障，防火墻和入侵檢測(cè)系統(tǒng)的病毒庫(kù)有沒有定期更新，有沒有異常入侵留下的痕跡，用戶權(quán)限管理是不是合規(guī)，有沒有長(zhǎng)期未清理的僵尸賬號(hào)，有沒有弱口令，第三方合作單位接入的權(quán)限是不是管控到位，數(shù)據(jù)備份是不是按要求做，備份數(shù)據(jù)能不能正常恢復(fù)，這些細(xì)節(jié)看起來(lái)小，出問(wèn)題就是大問(wèn)題。之前我們?cè)u(píng)估的時(shí)候就發(fā)現(xiàn)，一個(gè)合作方的外包運(yùn)維人員用了好幾年的弱口令，已經(jīng)被黑客掃描到了，還好我們及時(shí)發(fā)現(xiàn)要求更換，不然核心數(shù)據(jù)被盜就晚了。3.2.3管理與人為類風(fēng)險(xiǎn)很多事故其實(shí)不是設(shè)備壞了，是管理不到位出的錯(cuò)。我們要評(píng)估操作流程是不是完善，有沒有明確的雙人復(fù)核制度，運(yùn)維人員是不是持證上崗，有沒有定期參加安全培訓(xùn)，應(yīng)急演練是不是按時(shí)開展，人員離職之后有沒有及時(shí)收回所有系統(tǒng)權(quán)限，外包人員進(jìn)場(chǎng)操作有沒有專人全程監(jiān)管，這些都是容易出問(wèn)題的地方。之前行業(yè)里就出過(guò)事，新手工程師操作的時(shí)候沒有復(fù)核，拔錯(cuò)了核心業(yè)務(wù)的網(wǎng)線，導(dǎo)致整個(gè)業(yè)務(wù)斷了兩個(gè)多小時(shí)，損失很大，所以人為風(fēng)險(xiǎn)一定要提前評(píng)估，把流程漏洞補(bǔ)上。3.2.4外部環(huán)境類風(fēng)險(xiǎn)除了內(nèi)部的問(wèn)題，外部風(fēng)險(xiǎn)也不能漏。我們要評(píng)估數(shù)據(jù)中心周邊有沒有污染源、強(qiáng)電磁干擾，有沒有洪水、地震等地質(zhì)災(zāi)害的風(fēng)險(xiǎn)，外線電纜有沒有被施工破壞的可能，夏季極端高溫會(huì)不會(huì)超出制冷系統(tǒng)的承載能力，冬季低溫會(huì)不會(huì)導(dǎo)致室外管道凍裂，這些外部因素很多時(shí)候容易被忽略，真出問(wèn)題同樣會(huì)導(dǎo)致整個(gè)數(shù)據(jù)中心停運(yùn)。3.3風(fēng)險(xiǎn)分析與定級(jí)所有風(fēng)險(xiǎn)點(diǎn)排查出來(lái)之后，我們根據(jù)風(fēng)險(xiǎn)發(fā)生的可能性和發(fā)生后影響程度，分成四個(gè)等級(jí)：一般風(fēng)險(xiǎn)，就是影響很小，不涉及核心區(qū)域，隨時(shí)可以整改的，比如個(gè)別非核心監(jiān)控?cái)z像頭故障；較大風(fēng)險(xiǎn)，就是影響局部非核心業(yè)務(wù)，短期內(nèi)整改不會(huì)影響整體運(yùn)行的，比如個(gè)別非核心服務(wù)器硬件報(bào)警；重大風(fēng)險(xiǎn)，就是可能影響核心業(yè)務(wù)運(yùn)行，會(huì)造成較大損失的，比如超過(guò)一半的UPS電池容量衰減不達(dá)標(biāo)；特別重大風(fēng)險(xiǎn)，就是可能導(dǎo)致整個(gè)數(shù)據(jù)中心停運(yùn)，造成重大安全事故的，比如主供電電纜老化開裂、消防系統(tǒng)整體失效。每個(gè)風(fēng)險(xiǎn)點(diǎn)都要登記造冊(cè)，寫清楚風(fēng)險(xiǎn)位置、風(fēng)險(xiǎn)類型、等級(jí)、責(zé)任人、整改期限，絕不允許含糊不清。把所有風(fēng)險(xiǎn)找出來(lái)定好級(jí)之后，接下來(lái)就是實(shí)打?qū)嵉奶幹煤捅Ｕ希挥邪扬L(fēng)險(xiǎn)改到位，評(píng)估才不算白做。4風(fēng)險(xiǎn)處置與預(yù)案保障4.1分級(jí)分類處置不同等級(jí)的風(fēng)險(xiǎn)用不同的處置方式，避免浪費(fèi)資源也不放大風(fēng)險(xiǎn)。一般風(fēng)險(xiǎn)由責(zé)任部門在一周內(nèi)完成整改，整改完成后報(bào)執(zhí)行工作組復(fù)核，通過(guò)就可以銷號(hào)；較大風(fēng)險(xiǎn)要制定明確的整改方案，半個(gè)月內(nèi)完成整改，整改過(guò)程中要安排專人實(shí)時(shí)監(jiān)控風(fēng)險(xiǎn)點(diǎn)，防止整改過(guò)程中出意外；重大風(fēng)險(xiǎn)要立即上報(bào)領(lǐng)導(dǎo)小組，暫停相關(guān)區(qū)域的非必要操作，24小時(shí)安排專人盯守，一周內(nèi)必須啟動(dòng)專項(xiàng)整改，整改完成后經(jīng)過(guò)三次復(fù)核驗(yàn)收才能恢復(fù)正常運(yùn)行；特別重大風(fēng)險(xiǎn)要立即啟動(dòng)應(yīng)急響應(yīng)，疏散非必要工作人員，第一時(shí)間切斷風(fēng)險(xiǎn)源，上報(bào)單位主要負(fù)責(zé)人，如果可能影響核心業(yè)務(wù)，立刻把核心業(yè)務(wù)切換到災(zāi)備中心，整改完成后經(jīng)過(guò)全面檢測(cè)確認(rèn)沒有問(wèn)題，才能逐步恢復(fù)運(yùn)行。4.2閉環(huán)管理所有排查出來(lái)的風(fēng)險(xiǎn)必須做到“發(fā)現(xiàn)一個(gè)、整改一個(gè)、銷號(hào)一個(gè)”，絕對(duì)不允許拖著不整改。如果因?yàn)榭陀^原因暫時(shí)不能整改，比如需要廠家定制配件，或者需要停核心業(yè)務(wù)才能施工，那必須制定嚴(yán)格的臨時(shí)管控措施，24小時(shí)監(jiān)控風(fēng)險(xiǎn)點(diǎn)，每天上報(bào)風(fēng)險(xiǎn)情況，直到整改完成，絕不能讓隱患“帶病運(yùn)行”，這是我們定下的鐵規(guī)矩。4.3基礎(chǔ)保障要讓預(yù)案能落地，必須做好四個(gè)保障：第一是人員保障，所有參與評(píng)估的人員定期培訓(xùn)，熟悉評(píng)估標(biāo)準(zhǔn)和方法，每個(gè)崗位都有備用人員，避免沒人頂崗耽誤事；第二是物資保障，評(píng)估需要的測(cè)溫儀、電纜測(cè)試儀、電池內(nèi)阻檢測(cè)儀這些工具，定期校準(zhǔn)保證準(zhǔn)確，常用的備用配件比如電池、電源模塊、空調(diào)配件都有合理備貨，不用等要用的時(shí)候到處找；第三是制度保障，把風(fēng)險(xiǎn)評(píng)估工作納入日常績(jī)效考核，認(rèn)真排查發(fā)現(xiàn)隱患的給獎(jiǎng)勵(lì)，漏查隱患導(dǎo)致出問(wèn)題的追責(zé)，從制度上倒逼大家重視；第四是經(jīng)費(fèi)保障，每年年初都預(yù)留專門的風(fēng)險(xiǎn)評(píng)估和整改經(jīng)費(fèi)，不會(huì)出現(xiàn)“查到隱患沒錢改”的尷尬情況。風(fēng)險(xiǎn)不是一成不變的，數(shù)據(jù)中心的設(shè)備、業(yè)務(wù)、外部環(huán)境一直在變化，所以預(yù)案也不能一成不變，需要持續(xù)優(yōu)化更新，才能適應(yīng)新的情況。5預(yù)案的動(dòng)態(tài)優(yōu)化5.1定期更新預(yù)案我們每年年底都會(huì)對(duì)當(dāng)年的風(fēng)險(xiǎn)評(píng)估工作做一次總結(jié)，把當(dāng)年新出現(xiàn)的風(fēng)險(xiǎn)類型、處置經(jīng)驗(yàn)加進(jìn)去，比如這兩年數(shù)據(jù)中心算力擴(kuò)容越來(lái)越多，機(jī)柜密度比之前高了很多，制冷系統(tǒng)的負(fù)荷變大，我們就把高密度機(jī)柜的局部熱點(diǎn)評(píng)估加進(jìn)了常規(guī)內(nèi)容，還有現(xiàn)在網(wǎng)絡(luò)攻擊的方法越來(lái)越新，我們也及時(shí)更新了網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的評(píng)估標(biāo)準(zhǔn)，保證預(yù)案永遠(yuǎn)貼合實(shí)際情況。5.2結(jié)合演練優(yōu)化預(yù)案我們每半年都會(huì)做一次風(fēng)險(xiǎn)處置演練，模擬評(píng)估出重大風(fēng)險(xiǎn)之后的處置流程，比如模擬主供電電纜出現(xiàn)隱患、模擬發(fā)現(xiàn)網(wǎng)絡(luò)入侵風(fēng)險(xiǎn)，通過(guò)演練檢驗(yàn)我們的評(píng)估準(zhǔn)不準(zhǔn)、流程順不順，哪里有漏洞就及時(shí)改。上次演練我們就發(fā)現(xiàn)，原來(lái)重大風(fēng)險(xiǎn)要層層上報(bào)審批，耽誤了十幾分鐘，后來(lái)我們直接改了規(guī)則，重大風(fēng)險(xiǎn)可以直接跳過(guò)中間環(huán)節(jié)報(bào)領(lǐng)導(dǎo)小組，節(jié)省了大量時(shí)間，所以演練不是擺樣子，是真能幫我們優(yōu)化預(yù)案的。總結(jié)總的來(lái)說(shuō)，這份數(shù)據(jù)中心風(fēng)險(xiǎn)評(píng)估預(yù)案，從編制到執(zhí)行，都是從