Soru Sunucu odasında bir şey yanıyor; Ne olduğunu hızlı bir şekilde nasıl tanımlayabilirim?
Geçen gün, sunucu odasından çıkan korkunç bir yanık kokusu görüyoruz. Uzun lafın kısası, UPS ünitesinde yanan batarya modüllerinden biri oldu, ama bunu anlayabilmemiz için birkaç saat geçti. Anlayabilmemizin temel nedeni, UPS ekranının modülün değiştirilmesi gerektiğini gösterdi.
Problem buydu: bütün oda kokusuyla doluydu. Koku testi yapmak çok zordu çünkü koku herşeye sızmıştı. Neredeyse yanlışlıkla yanlışlıkla bizim üretim veritabanı sunucusunu aldık çünkü kokunun en güçlü olduğu yer burası. Hayati tamam görünüyordu (CPU temps 60 derece C gösterdi ve fan hızları tamam), ama emin değildik. Sadece öyle oldu ki yanmış pil modülü raftaki sunucuyla aynı yükseklikteydi ve sadece 3 ft uzakta. Bu gerçek bir acil durum olsaydı, sefil bir şekilde başarısız olurduk.
Gerçekçi olarak, gerçek sunucu donanımının yanma ihtimali oldukça nadir görülür ve çoğu zaman UPS'e suçluya bakacağız. Ancak birkaç ekipmanla birkaç rafta, hızlı bir tahmin oyunu olabilir. Bir ekipmanın hangi parçada yandığını hızlı ve doğru bir şekilde nasıl belirler? Bu sorunun oda büyüklüğü, havalandırma, yer vb. Çevre değişkenlerine büyük ölçüde bağımlı olduğunu anlıyorum ama herhangi bir girdi takdir edilecek.
448
2018-04-04 14:22
Menşei
Cevaplar:
Genel fikir birliği, sorunuzun cevabının iki bölümden oluşması gibi görünüyor:
Komik yanan kokunun kaynağını nasıl bulabiliriz?
"Nasıl", oldukça iyi bir şekilde çivilenmişsin:
- "Sniff Testi"
- Görünür duman / bulanıklık ara
- Sıcak noktaları bulmak için odayı termal (IR) kamera ile yürü
- Uyarılar için izleme ve cihaz panellerini kontrol edin
Sorunu bir çok yolla hızlı bir şekilde bulma şansınızı artırabilirsiniz - gelişmiş izleme genellikle en kolay olanıdır. Sorulacak bazı sorular:
- Cihazınızdan sıcaklık ve diğer sağlık uyarıları alıyor musunuz?
- UPS sistemleriniz izleme sisteminize arıza bildiriyor mu?
- Güç dağıtım ekipmanınızdan akım çeken alarmlar alıyor musunuz?
- Oda duman dedektörleri izleme sistemine rapor veriyor mu? (ve yapabilirler mi?)
Big Red Switch'e karşı ne zaman müdahale etmeliyiz?
Bu daha ilginç bir soru.
Büyük kırmızı düğmeye basarak şirketinize büyük miktarda para harcayabilirsiniz: Temiz ajan satışları onbinlerce dolar ve acil bir güç kesintisinden sonra kesinti / geri kazanım maliyetleri olabilir (EPO, "odayı bırakma" ) yıkıcı olabilir.
Bir veri merkezini düşürmek istemezsiniz çünkü bir güç kaynağındaki kondansatör attı ve odayı kokladı.
Tersine, bir sunucu odasındaki bir yangın, şirketinizin veri / ekipmanına ve daha da önemlisi personelinizin hayatına mal olabilir.
Sorun giderme "o komik yanma kokusu" asla güvenlikten öncelikli olmamalıdırBu nedenle, "yangın öncesi" koşullarını gidermek için bazı açık kurallara sahip olmak önemlidir.
Aşağıdaki kurallar kişisel sınırlamalarım açıkça tanımlanmış başka bir prosedürün / kuralların yokluğunda (veya ek olarak) uygulandığım için bana çok iyi hizmet ettiler ve size yardımcı olabilirler, ama beni yarın öldürme veya kovma gibi kolayca yapabilirler. kendi riski.
-
Duman veya ateş görürseniz odayı bırakın.
Bu söylenmeden devam etmeli, ama yine de söyleyelim: Eğer aktif bir yangın varsa (ya da yakın zamanda orada olacağını belirten bir duman varsa), odayı tahliye edin, gücü kesin ve yangın söndürme sistemini boşaltın.
İstisnalar bulunabilir (bazı sağduyu alıştırması), ancak bu neredeyse her zaman doğru eylemdir.
-
Sorun giderme işlemine devam ediyorsanız, her zaman en az bir kişi daha var
Bu iki nedenden dolayı. Birincisi, bir veri merkezinde dolaşmak istemiyorsunuz ve bir anda, aşağıya doğru yürüdüğünüz sırada bir raf var ve kimse orada olduğunu bilmiyor. İkincisi, diğer kişi, odayı düşürmeye karşı sorun giderme konusundaki akıl kontrolünüzdür ve Big Red Switch'i çağırmak için çağrı yapmanıza izin verirseniz, ikinci bir kişinin kararla uyumlu olmasını sağlayın (kariyer sınırlama özelliklerinden kaçınmaya yardımcı olur) Böyle bir karardan sonra birisi daha sonra soru soruyorsa).
-
Sorun giderme sırasında dikkatli güvenlik önlemleri alın
Her zaman bir kaçış yoluna sahip olduğunuzdan emin olun (bir satırın açık bir sonu ve bir çıkışa açık bir yol).
EPO / yangın söndürme sürümüne sabitlenmiş birini tutun.
Yanınızda bir yangın söndürücü bulundurun (Halon veya başka bir temizleyici, lütfen).
Yukarıdaki 1. numaralı kuralı hatırlayın.
Şüphede kalınca, odadan çık.
Nefes almayla ilgili dikkat edin: bir solunum cihazı veya oksijen maskesi kullanın. Bu kimyasal yangın durumunda sağlığınızı koruyabilir.
-
Bir limit ayarla ve ona bağlı
Daha doğrusu, ayarlanmış iki sınırları:
- Şart ("Bunun ne kadar kötüye gitmesine izin veririm?")
- zaman ("Sorunu çok riskli olmadan bulmaya ne kadar devam edeceğim?").
Belirlediğiniz sınırlar, ekibinizin etkilenen alanın düzenli olarak kapatılmasına başlaması için de kullanılabilir. YAP Gücü çekin, bir grup aktif makineyi çökertmiyorsunuz ve iyileşme süreniz çok daha kısa olacak, ancak düzenli kapatma işlemi çok uzun sürdüğü takdirde, güvenlik adına birkaç sistemin çökmesine izin vermeniz gerektiğini unutmayın.
-
Bağırmana güven
Herhangi bir zamanda güvenlik konusunda endişeleriniz varsa, sorun giderme özelliğini arayın ve odayı temizleyin.
Odayı bir bağırsak hissine göre düşürebilir veya bırakamazsınız, ancak odanın dışında (göreceli) güvenli bir şekilde yeniden gruplamak güvenlidir.
Tehlikeli bir tehlike yoksa, EPO veya temiz-ajan salımı gibi herhangi bir eylem yapmadan önce yerel itfaiyeyi getirmeyi tercih edebilirsiniz. (Size şunu söyleyebilirler: Görevleri insanları korumak, sonra mülk sahibi olmaktır, fakat onlar kesinlikle ateşle uğraşmada uzmanlardır, böylece ne dediklerini yapmalısınız!)
Bunu yorumlarda ele aldık, ama aynı zamanda bir cevapta da özetlenebilir - @DeerHunter, @Chris, @Sirex ve diğer pek çok kişi tartışmaya katkıda bulundu.
380
2018-04-04 14:29
Termal Görüntüleme Kamerası işi yapabilir ve aşırı ısınmanın nerede olduğunu belirleyebilmenizi sağlar.
Bunun gibi bir cihaz, dumanla dolu bir odada ateşin ya da yanmanın kaynağını da belirlemenizi sağlar.
182
2018-04-05 04:59
Bunlardan hiçbirini yapmıyorsun söylenenler. Tehlikeli ortamı terk edersiniz, çünkü tüm odaya pompalanan her şey sağlığınıza zararlıdır ve ciğerlerinizi kirletebilir. Eğer bulamadığınız odada yanan bir şey kokulu bir koku varsa, (911 | 112 | 999 | herhangi bir acil durum numaranız yargı alanınıza uyuyorsa) arayın ve yangının (şirket | departman | tugayı) Şişelenmiş havaya.
Bilgisayar parçaları dahil olmak üzere her türlü ilginç kimyasallar içerir Merkür, kadmiyum, öncülük etmekve çok sayıda plastik kasada. Yaptığım tüm bağlantıların, düşük seviye maruziyetin ne kadar kalıcı hasara ve hatta hızlı ölüme neden olabileceğini açıkladığına dikkat edin. Bu olabilecek bir ortam Hayati ve sağlığa hemen tehlikeli.
... gerçekten, bir şey yanıyorsa, dumanları koklamak için saatler harcamayın. Bunu tanımlayamaz ve hemen onu içerecek şekilde hareket ederseniz, dışarı çıkın.
137
2018-04-04 14:27
KGK üzerinde (genellikle SNMP üzerinden) düzgün bir izleme gerçekleştirdiyseniz, ünitenin kendi izleme sisteminizdeki çanlar üzerinde durması gerekir. Eğer yapmadıysa, satıcınıza bununla konuşun. Ya arızalı ya da izleme sisteminiz doğru şekilde yapılandırılmamış.
Aktif olan bir şey gerçekten yanıyorsa, bir şekilde bunun hakkında şikayette bulunmalı ya da ağa bağlı olmalı ve aynı zamanda bir alarm vermelidir.
Yalıtımla yanan gerçek bir güç demiryolu gibi bir şeyse ve akıllı bir PDU'da değilse, o zaman orijinal soruna geri dönüyoruz, "yanan bir şeyi nasıl bulabilirim?" Ve bence uygun cevap “EPO'yu vur ve anla.” Üretim sunucuların muhtemelen hayatları riske atmaya yetecek kadar önemli değil.
76
2018-04-05 10:49
Bu durumlardan biri
uygulanmaz, profesyonel çağırmalısınız
Başka bir şey sadece aptalca.
43
2018-04-05 12:50
Eski kariyeri elektronik bir teknoloji olan biri olarak, yangın olmayan “yanan kokular” ile ilgili tecrübem var. Bu yaygın değil.
Koku için veri merkezini kapatmayacağım. Duman başka bir şeydir, bir şey gerçekten yakıcıdır (genellikle, fakat bezelye büyüklüğünde bir tantal kondansatörün bir odayı dumanla doldurabilir). Bir güç kaynağında kızartılmış bir bileşenin ne kadar kokusunu alacağı şaşırtıcı.
Bir TIC veya IR termometresi (kullanışlı bir alet ve bir TIC'den çok daha ucuz), bileşen çok fazla ısı üretmediğinden ve bir durumda olduğu için bunu göstermeyebilir. Ancak cihazların çalışmadığını kontrol edin, izleme araçlarını kullanın. Bunun gibi bir koku için, zamanın% 95'i, tüm cihazın performansını etkileyen bir güç kaynağı olacaktır.
40
IR görüntüleme ya da termometre cevaplarını seviyorum ama belki de yardımcı olan şey gerçek bir "koku dedektörü". Ne de olsa dikkatinizi tetikleyen şey koku oldu. Duman, ısı, IR vb. Tüm vekillerdir.
Bunun gibi bir şey: . Kişisel olarak hiç kullanmadım ya da onları bir veri merkezinde kullandım. Ama en azından teorik olarak düzgün bir araç olmalı. Eğer bu gizmoda harcanacak paranız varsa.
http://www.sca-shinyei.com/odormeter
veya
http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ
Size sınıflandırma kadar kokusu da verir. Böylece kokunun içine girebilmek mümkün olmalıydı. Şeytanın detayları elbette. Ne kadar hassas, sahte arka plan kokusunu maskelemek vb.
Tamamen sıcaklığa dayalı ölçümlere göre bir avantaj, çoğu zaman çok daha erken bir noktada veya eşikte meydana gelen bir koku olmasıdır. Veya aşırı ısınmış bileşen bir vücut / gizli kablolama vb. Tarafından gizlenmişse, görüş hattındaki bir sıcak noktadan kaçan molekülleri tespit etmek daha kolaydır.
Başka bir durum, ısıya bağlı olmayan bir koku. Daha önce bir soğutma devresi sızıntısı geçirdik ve soğutma sıvısı kokuyordu. Kanallarda kemirgenlerin öldüğü eski bir antik olaya bile gitmeyeceğim. :)
Bu sensörlerin ne kadar duyarlı olduğuna şaşırdım. Anlaşılacağı gibi H2S / merkaptanlar vs. (olağan suçlular) sub ppm seviyelerinde tespit edilebilir.
19