服務(wù)器巡檢辦法

服務(wù)器巡檢辦法總述我干運維相關(guān)工作快六年了，見過太多因為偷懶跳過巡檢、或者巡檢走形式最后出大問題的案例：好幾年前有個合作的小公司，機房的一塊硬盤亮了黃燈半個月沒人發(fā)現(xiàn)，最后整組RAID陣列崩潰，丟了近十萬條用戶數(shù)據(jù)，最后賠了一大筆錢還丟了客戶。從那時候我就明白，服務(wù)器巡檢從來不是應(yīng)付領(lǐng)導檢查的表面功夫，是給業(yè)務(wù)穩(wěn)定上的第一道保險，就像人要定期做體檢一樣，提前找出來小毛病，總比等病倒了再搶救要省錢省力得多。這篇巡檢辦法是我們行業(yè)里摸爬滾打這么多年總結(jié)出來的實操規(guī)則，覆蓋了從日常到專項的所有環(huán)節(jié)，所有內(nèi)容都是實打?qū)嵞苡玫模瑳]有空洞的套話。1總則1.1巡檢的核心目的制定本辦法的核心目的一共有四個：第一是提前識別硬件、軟件、環(huán)境層面的潛在隱患，把問題解決在萌芽狀態(tài)，避免突發(fā)宕機；第二是保障核心業(yè)務(wù)連續(xù)穩(wěn)定運行，給用戶提供持續(xù)可靠的服務(wù)，不會動不動就出訪問故障；第三是延長服務(wù)器硬件的使用壽命，通過定期維護調(diào)整運行環(huán)境，減少不必要的硬件損耗；第四是留下完整的巡檢記錄，萬一真的出了問題，可以快速溯源找到問題根源，不會像無頭蒼蠅一樣亂找。我再啰嗦一句：很多人覺得有自動監(jiān)控就不用人工巡檢了，其實監(jiān)控不是萬能的，有些隱蔽的隱患比如硬件的輕微異響、機房墻角的漏水痕跡，監(jiān)控根本發(fā)現(xiàn)不了，人工巡檢才是最后一道防線。1.2適用范圍本辦法適用于所有類型的服務(wù)器設(shè)備，不管是企業(yè)自建機房的物理服務(wù)器、托管在第三方機房的服務(wù)器，還是云平臺上的云服務(wù)器，也不管是承載核心業(yè)務(wù)的生產(chǎn)服務(wù)器、還是用來做測試的測試服務(wù)器，以及和服務(wù)器配套的存儲設(shè)備、交換機、UPS電源、機房空調(diào)等配套設(shè)備，都要按照本辦法執(zhí)行巡檢。2巡檢的分類與周期安排明確了巡檢的核心意義和覆蓋范圍，接下來就要對巡檢做分類劃分，不同等級的巡檢對應(yīng)不同的檢查密度和內(nèi)容，既能避免過度巡檢浪費人力，也不會漏掉關(guān)鍵隱患。2.1日常巡檢日常巡檢是每天都要做的基礎(chǔ)檢查，由當日值班的運維人員負責，一般安排在每天上班后半小時內(nèi)完成，不需要跑現(xiàn)場，遠程操作就能搞定，十幾分鐘就能做完。2.2每周巡檢每周巡檢是比日常更深入的檢查，安排在每周最后一個工作日的下午完成，需要對核心參數(shù)和備份做驗證，一般一個十臺服務(wù)器以內(nèi)的集群，一個小時左右就能做完。2.3月度巡檢月度巡檢是全范圍的全面檢查，安排在每個月最后一個工作日完成，需要覆蓋所有服務(wù)器和配套設(shè)備，本地機房還需要到現(xiàn)場檢查環(huán)境，規(guī)模大的機房可能需要半天到一天的時間。2.4季度與年度專項巡檢季度巡檢是每三個月做一次的專項隱患排查，年度巡檢是年末做的全系統(tǒng)復(fù)盤評估，主要針對硬件老化、性能瓶頸做整體排查，屬于深度預(yù)防性檢查。2.5特殊場景巡檢除了固定周期的巡檢，遇到特殊場景還要額外做巡檢：比如極端天氣（臺風、暴雨、高溫寒潮）來臨之前和之后，計劃性停電之前和恢復(fù)供電之后，服務(wù)器完成硬件升級、系統(tǒng)遷移、漏洞更新之后，或者剛處理完故障之后，都要做一次針對性的專項巡檢，避免留下后遺癥。就說夏天南方的臺風天，我每次接到預(yù)警都要提前去機房繞一圈，把窗戶關(guān)好，看看墻邊有沒有滲水的痕跡，測試一下UPS能扛多久，真停電了心里才有底。3各級巡檢的具體內(nèi)容與操作規(guī)范清楚了不同巡檢的時間安排，接下來就是最核心的內(nèi)容：每一級巡檢具體要做什么，有哪些必須落實的細節(jié)，我把實際工作中總結(jié)的要點都列出來。3.1日常遠程巡檢內(nèi)容日常巡檢核心是抓緊急問題，不用太深入，重點查四個方面：3.1.1硬件告警狀態(tài)檢查通過服務(wù)器的IPMI管理平臺、或者云服務(wù)商的后臺管理界面，快速掃一遍所有硬件的狀態(tài)，看看有沒有紅色、黃色的告警提示，重點看CPU、內(nèi)存、硬盤、電源、風扇的狀態(tài)，確認核心硬件溫度在正常范圍內(nèi)，只要有告警馬上標記，不能放著不管。3.1.2系統(tǒng)資源占用檢查遠程登錄到服務(wù)器系統(tǒng)，看一下各個分區(qū)的磁盤使用率，CPU和內(nèi)存的整體占用情況，有沒有哪個分區(qū)使用率超過80%，有沒有異常進程占滿了資源。我見過太多次就是日志沒清理，把系統(tǒng)盤占滿，最后導致網(wǎng)站打不開的小事，就是因為日常沒看這一眼，本來幾分鐘就能解決的事，最后變成了故障。3.1.3核心服務(wù)狀態(tài)檢查核對所有核心業(yè)務(wù)服務(wù)的運行狀態(tài)，看看web服務(wù)、數(shù)據(jù)庫、緩存、消息隊列這些核心進程是不是正常運行，對應(yīng)端口是不是能正常訪問，不用測性能，只要確認服務(wù)在線就行。3.1.4網(wǎng)絡(luò)連通狀態(tài)檢查測一下服務(wù)器和網(wǎng)關(guān)、核心交換機的連通性，看看有沒有丟包、延遲過高的情況，確認對外帶寬沒有被異常占滿，網(wǎng)絡(luò)層面沒有異常。3.2每周巡檢內(nèi)容日常巡檢是快速掃重點，每周巡檢就要深入一層，挖一挖日常沒注意的小問題：3.2.1系統(tǒng)日志批量排查導出最近一周的系統(tǒng)日志、核心服務(wù)日志，搜一下有沒有error級別的錯誤，有沒有重復(fù)出現(xiàn)的異常提示，哪怕是不影響當前運行的偶發(fā)報錯，也要記下來跟進，很多大問題就是從偶發(fā)報錯慢慢變嚴重的。3.2.2冗余內(nèi)容清理清理服務(wù)器上過期的臨時文件、超過保留期限的日志文件，停掉已經(jīng)不用的閑置進程，釋放磁盤和系統(tǒng)資源，避免資源被慢慢耗盡。3.2.3備份有效性抽測這是我反復(fù)強調(diào)的重點，很多人都覺得備份做了就萬事大吉，結(jié)果真要恢復(fù)的時候才發(fā)現(xiàn)備份文件壞了、路徑錯了、根本沒存進去。每周都要抽測至少1/3的備份文件，確認備份文件完整沒有損壞，能正常解壓恢復(fù)，核心業(yè)務(wù)的備份要每周都測，不能偷懶。3.2.4現(xiàn)場初步排查（本地機房）如果是自建本地機房，每周至少要去現(xiàn)場轉(zhuǎn)一圈，聽聽服務(wù)器運行的聲音有沒有異常的異響，比如尖銳的噪音、不規(guī)則的碰撞聲，摸一摸機柜的溫度是不是正常，看看機房地面有沒有漏水、漏液的痕跡，這些都是遠程看不到的細節(jié)。3.3月度全面巡檢內(nèi)容月度巡檢要覆蓋所有細節(jié)，不能漏任何一個環(huán)節(jié)：3.3.1硬件全狀態(tài)復(fù)核除了看告警，還要用工具讀取硬盤的SMART健康信息，掃一遍有沒有潛在壞道，確認CPU溫度在滿負載下也在正常范圍，風扇轉(zhuǎn)速符合要求，電源的輸入輸出電壓穩(wěn)定，哪怕沒有告警，只要健康度不達標的硬件，也要提前申請更換，別等壞了再換。3.3.2安全隱患排查掃一遍服務(wù)器有沒有新增的高危漏洞，核對防火墻規(guī)則有沒有異常變動，查一下系統(tǒng)登錄日志有沒有陌生IP的非法登錄嘗試，提醒所有管理員更新過期密碼，清理掉已經(jīng)離職人員的賬號，避免留下安全后門。3.3.3業(yè)務(wù)性能測試實際模擬用戶訪問，測一下核心頁面的訪問速度、數(shù)據(jù)庫查詢的響應(yīng)時間，把測出來的結(jié)果和上個月的基準值對比，如果性能下降超過10%，就要排查原因，是資源不夠了還是哪里有阻塞，提前擴容優(yōu)化，別等用戶投訴了才動手。3.3.4機房環(huán)境全面檢查本地機房要測一下機房的溫度和濕度，確認溫度在20-25攝氏度、濕度在40%-60%之間，符合硬件運行要求，檢查空調(diào)運行是不是正常，出風有沒有異常，測一下UPS每一塊電池的電壓，確認電池容量正常，檢查消防設(shè)備是不是在位有效，機柜的固定螺絲有沒有松動，網(wǎng)線光纖有沒有老化破損，這些小事看起來不起眼，出事就是大事：之前有個機房空調(diào)過濾網(wǎng)沒清，出風不暢，導致機房溫度升到四十多度，不到兩個小時所有服務(wù)器都降頻宕機，停了四個小時才恢復(fù)，損失不小。3.3.5設(shè)備臺賬更新如果新增或者下架了服務(wù)器，修改了硬件配置，要及時更新設(shè)備臺賬，云服務(wù)器還要核對一下賬單，清理掉閑置不用的云資源，避免浪費錢。3.4季度與年度專項巡檢內(nèi)容3.4.1季度專項巡檢季度巡檢要做全量的硬盤健康掃描，所有服務(wù)器的每一塊硬盤都要掃一遍，把有潛在壞道、健康度不達標的硬盤全部換掉，不要舍不得那點硬件錢，真出問題花的錢比換硬盤多十倍都不止。還要統(tǒng)計近三個月的資源使用趨勢，看看負載是不是一直在漲，要不要提前擴容，調(diào)整業(yè)務(wù)分布，把負載過高的服務(wù)器上的業(yè)務(wù)遷一部分出來，避免資源不夠用突發(fā)宕機。3.4.2年度專項巡檢年度巡檢要做全年度的復(fù)盤，把一年的巡檢記錄都拿出來，統(tǒng)計一下總共發(fā)現(xiàn)了多少隱患，問題主要集中在哪些方面，比如某個型號的硬盤故障率特別高，以后采購就避開這個型號。還要對所有服役超過五年的老舊硬件做評估，要不要淘汰更新，UPS電池用了超過三年就要測容量，容量不夠了就全部換掉，別等停電了扛不住。3.5特殊場景巡檢內(nèi)容特殊巡檢要抓對應(yīng)場景的重點：極端天氣來臨前重點查防水、防風、UPS備電，恢復(fù)后重點查硬件有沒有因為斷電、高溫出現(xiàn)損壞；升級遷移后重點查所有服務(wù)是不是正常，配置有沒有錯；故障修復(fù)后重點查有沒有留下衍生問題，確保整個系統(tǒng)回歸穩(wěn)定。4巡檢問題處理與記錄管理規(guī)范查出來問題怎么辦，巡檢記錄怎么留，這也是巡檢里非常重要的環(huán)節(jié)，不能查完就沒事了。4.1問題分級處理我們把巡檢發(fā)現(xiàn)的問題分成三個等級，不同等級對應(yīng)不同的處理時效：第一級是緊急問題，比如硬盤損壞告警、核心服務(wù)宕機、CPU溫度超過閾值、機房空調(diào)故障，這類問題發(fā)現(xiàn)之后，十分鐘內(nèi)就要上報負責人，馬上安排人處理，必須當天解決，不能拖。第二級是一般問題，比如磁盤使用率超過80%、非核心服務(wù)有偶發(fā)報錯、單個電池電壓略微偏低，這類問題要在三個工作日內(nèi)安排處理，做好跟進記錄，處理完要閉環(huán)確認。第三級是觀察類問題，比如偶發(fā)的一次報錯、沒有惡化趨勢的輕微異常，這類問題不用馬上處理，但是要加到后續(xù)巡檢的重點觀察列表里，每次巡檢都要看有沒有惡化，一旦變嚴重馬上升級處理。我再提醒一句：千萬別嫌麻煩把小問題放著不管，我見過太多次就是一個小小的內(nèi)存偶發(fā)報錯，放了半個月變成徹底損壞，最后導致宕機，本來幾十塊錢換個內(nèi)存就能解決的事，最后變成幾十萬的損失，太不值了。4.2巡檢記錄要求每一次巡檢不管有沒有發(fā)現(xiàn)問題，都必須做記錄，不能偷懶說沒毛病就不寫。記錄要寫清楚巡檢的時間、巡檢人、檢查的所有項目，有沒有發(fā)現(xiàn)問題，問題的處理情況，處理完成后要簽字確認。現(xiàn)在大部分都用電子記錄，要做好歸檔，本地記錄和云端備份都要留，至少保留一年以上，方便出問題的時候溯源。4.3定期復(fù)盤優(yōu)化每個月我們都要把當月巡檢發(fā)現(xiàn)的問題整理一遍，開個十幾分鐘的小會，總結(jié)一下為什么會出現(xiàn)這個問題，是巡檢流程有漏洞漏檢了，還是設(shè)備本身的可靠性問題，然后優(yōu)化巡檢流程，比如之前我們發(fā)現(xiàn)很多人容易漏測備份，后來就把備份抽測加到了日常巡檢的必勾選項目里，就很少再漏了。5巡檢人員職責與監(jiān)督考核要把巡檢落實到位，必須明確職責，獎罰分明，不然很容易變成走形式。5.1人員職責分工日常巡檢由當日值班的運維工程師負責，誰值班誰做，對巡檢結(jié)果負責；每周巡檢由運維組長統(tǒng)籌安排，指定專人負責；月度巡檢和專項巡檢由技術(shù)負責人帶隊，分工落實到每個人，每個人對自己負責的檢查內(nèi)容負責，出了漏檢能找到責任人，不會互相推諉。5.2監(jiān)督考核要求每個月會統(tǒng)一檢查所有巡檢記錄，有沒有按時完成，有沒有漏項，發(fā)現(xiàn)沒按時做的或者漏檢的，第一次口頭提醒，第二次就要扣績效，要是因為漏檢導致出現(xiàn)重大故障，還要承擔對應(yīng)的責任。反過來，如果巡檢提前發(fā)現(xiàn)了重大隱患，避免了大規(guī)模宕機或者數(shù)據(jù)丟失，也會給對應(yīng)的巡檢人員發(fā)獎勵，畢竟巡檢是個偏幕后的工作，干得好