Splunk , özellikle sürüm 4 ile oldukça etkilendim. Güzel grafikler, uyarı (sadece Enterprise) ve hızlı, doğru, arama. Harika bir ürün.
Ancak, maliyet firmamız için tam üretim kullanımı için dikkate almak için çok yüksek. Gerçekten ihtiyacımız olan tek şey, merkezi bir yerde farklı günlükleri endeksleyebilmek ve bu konuda makul arama yapabilmektir. Kaydedilmiş bir aramaya dayalı uyarılara sahip olmak da gerçekten güzel. Gerçekten bunun ötesine geçmiyoruz.
Aslında, en büyük kullanımımız yeni uygulamalar dağıtmak oldu. Her şey log4net aracılığıyla Windows'taki Olay günlüğüne veya Linux'ta bir metin dosyasına kaydedilir. Splunk, uygulamanın tüm bölümlerinin iyi çalıştığından emin olmak için hızlı bir şekilde arama yapmayı kolaylaştırır - bu, bireysel kayıt kaynaklarını avlamak için bize zaman kazandırır.
Bu pazarda hangi alternatifler var? Splunk'ın fiyatlandırması çok yüksek çünkü çok iyi bir ürüne sahipler ve bunu biliyorlar. Sunucunun Windows üzerinde çalışmasını istiyoruz.
Genel günlükler için bir ürün (syslog/Snare yoluyla topla) ve özel uygulamalarımız için özel bir ürün ( Log4Net Dashboard ) kullanarak bölünmüş bir modele açık olurum.
SQL Server'a gönderilen (belki de tam metin etkinken) Kiwi gibi basit bir syslog sunucusu kullanmak işe yarar mı?
Umarım maliyet 5 rakamın altında olmalıdır, USD. (Ve evet, biliyorum, biz ucuzuz. Az para ile bir girişimiz ve BizSpark tüm MS lisanslarımızla ilgileniyor.)
Düzenleme: Eklemeliyim, yaklaşık 10 fiziksel sunucumuz, 20 VM'ler ve birkaç güvenlik duvarı ve anahtarımız var. % 90'ı Windows.
Not: Bu tamamen Linux ve özgür yazılım ile ilgilidir, çünkü en çok kullandığım şey budur, ancak üzerinde bir syslog istemcisi ile iyi olmalısınız Günlükleri bir Linux syslog sunucusuna göndermek için Windows.
Bir SQL sunucusuna giriş: Sadece ~ 30 makine ile, hemen hemen tüm merkezi sistem sistemleri ve SQL arka uçları ile iyi olmalısınız. Bu şey için Linux'ta syslog-ng ve MySQL kullanıyorum.
Grafik için güzel ön uçlar ana sorun - Görünüşe göre günlüklerden öğeleri alacak çok sayıda saldırıya uğramış ön uç var ve kaç hit, uyarı vb göstermek ama entegre ve temiz bir şey bulamadım. Kuşkusuz bu aradığınız ana şey ... (İyi bir şey bulursam bu bölümü güncelleyeceğim!)
Uyarı : Bir Linux sunucusunda SN kullanıyorum. günlükleri ve çeşitli yöntemlerle beni uyar. İnanılmaz derecede esnek ve Splunk kadar tıkalı değil. Burada güzel bir öğretici olası özelliklerin çoğunu yönlendirir.
Ayrıca çeşitli istatistiklerin grafiklerinden ve günlüklerden alamadığım bazı uyarılar için Nagios kullanıyorum (hizmetler bittiğinde vb.). Bu, istediğiniz her şeyin grafiğini eklemek için kolayca özelleştirilebilir. Bir http sunucusuna yapılan isabet sayısı gibi öğelerin grafiklerini ekledim, ajanların günlüklerdeki isabet sayısını saymak için check_logfiles eklentisini kullanmasını sağladı (kalktığı konumu kaydeder) her kontrol dönemi için).
Genel olarak, kullanabileceğiniz birçok seçenek olduğundan, ancak entegre olmadıkları için, bunu ayarlamak için zamanınızın ne kadar tutacağına bağlıdır. ve muhtemelen istediğinizi yapmak için daha fazla çaba gerektirecektir. Nagios grafiklerinin kurulumu kolaydır, ancak grafiği eklemeden önce size geçmiş veriler vermezken, Splunk (ve muhtemelen diğer ön uçlar) ile geçmiş günlüklere ve sadece sizin yaptığınız şeylere grafik ekleyebilirsiniz. Onlara bakmayı düşündüm.
Ayrıca SQL veritabanı biçimi ve dizin oluşturmanın sorguların hızı üzerinde büyük bir etkisi olacağını unutmayın, bu nedenle tam metin dizine ekleme fikriniz çok büyük bir artış sağlayacaktır. arama hızı. MySQL veya PostgreSQL'in benzer bir şey yapıp yapmayacağından emin değilim.
Düzenle: Postgresql tam metin araması yapabilir: http://www.postgresql.org/docs/9.0/static/textsearch.html
* Nix'i pencerelerden daha çok amaçlayan, ancak octopussy pencereleri destekliyor ve splunk ile aynı şeyi hedefliyor gibi görünüyor.
Büyük özellikleri ile merkezi syslogging için ben yardımcı olamaz ama tavsiye rsyslog yeterli. Onun mutlu bildiğiniz ve sevdiğiniz düzenli syslogd için bir açılan yerine olarak çalışabilir bir açık kaynak syslog sunucusu. Onun şimdi Ubuntu için syslog daemon ve Red Hat & Fedora da bu yolda gidiyor olabilir düşünüyorum. Ben kalkmak ve çalışan ve syslog-ng ne istediğinizi yapmak çok daha kolay buldum.
Şu anda mağazamızda yüzlerce sunucu için günlük alan iki merkezi rsyslog sunucumuz var (her sitede bir tane). Sistem günlüğündeki bir şey uyarı veya daha yüksek tetiklediğinde otomatik e-posta uyarılarım var (bazı tweaking ile bazı uygulamalar biraz alarmist). Muhtemelen nagios'a ya da benzeri şeylere göndermek gibi daha akıllılar yapabilirdim ama şimdilik bizim ihtiyaçlarımız için yeterli.
Tüm bunlar bir mysql veritabanına da girer (Oracle veya postgresql için de bu şekilde yuvarlanırsanız destek vardır).
Bazı izleme çözümlerini denemenin ortasındayım - ama esas olarak pencereleri izlemek istiyorum. Sistemlerin çoğu, ajan olmadan kayda değer miktarda bilgi çıkarmayı başaran SNMP izlemeye yöneliktir.
Bunlar şimdiye kadar denediğim sistemlerden bazıları:
Nagios - Açık kaynak. Bir domuz yapılandırmak ama yüksek puan ve çok esnek görünüyor. Aslında bir sayaç kaydedici gibi görünüyor ve uzaktan komut dosyasının yürütülmesine izin vermiyor ve bu nedenle yapılandırma sorunlarını, ala MS sistem merkezi veya Kaseya'yı almak için kullanılamıyor. Aracısızdır, ancak her istemcide NSclient aracı yüklü olmadan işe yaramaz.
Kaktüsler - Snmp istatistiklerini çekmeye dayanan güzel ve anlaşılır grafik aracı. Ajansız.
OpsView - Nagios tabanlı ancak yapılandırması daha kolay ve daha iyi bir ön uca sahip.
HypericHQ - Windows altında kolayca çalışmaya başlayabilirsiniz. Temel sürüm ücretsizdir ve bol miktarda yapar. Ticari bir HypericHQ kuruluşu var. Her istemciye aracı kurulmalıdır.
Zabbix - Bir başka Nice izleme aracı. Nagios kullanmak daha kolaydır. Windows ve istemci makinelere yükleyebileceğiniz bir aracısı vardır. Bunu şimdiye kadar biraz araştırdım.
Zenoss - Açık kaynak. Zenoss'un profesyonelliğinden çok etkilendim. Bu bir SNMP tabanlı monitör ve HP proliants, windows hizmetleri, ms sql server, mysql izlemeye izin vermek için bir sürü uzantı var. Uzantıların tümü SNMP aracılığıyla çalışır, bu nedenle istemci makinelere hiçbir şey yüklenmesine gerek yoktur. Henüz hepsini araştırmadım ve henüz kullanmam gereken çok fazla işlevsellik var gibi görünüyor. Onun Zope dayalı yani Zope yüklemeleri hıza sürece sürece önceden hazırlanmış VM - düz bir rüya gibi çalışır kutusunun dışında çalışır.
Ticari cephede birkaç araca bakabilirsiniz:
Kaseya - doğru hatırlıyorsam, 250 düğüm için yılda yaklaşık 6k maliyeti, ancak mükemmel bir araçtır ve çok aktif bir kullanıcı topluluğuna sahiptir. MPP pazarına yöneliktir ve çoklu şirket sistemlerinin izlenmesini sağlar. Dahili olarak sorunsuz kullanılabilir.
GFI Hounddog - Kaseya'dan daha basit ama şu anda çok ucuz. Kesinlikle bir göz atmaya değer.
Orada MSP sistemleri olarak satılan ama esasen monitörler + uzaktan yönetici kombine olan bir dizi çözüm var.
Ian
Splunk'ın harika olduğunu kabul ediyorum. Bununla birlikte, küçük ve baskın Linux ortamları için epylog gibi bir şeye bakmak isteyebilirsiniz.
Eskiden çalıştığım yerlerden birinde kullandık ve istediğimiz şey için harikaydı.
Linux syslog toplayıcısına gönderilen Windows syslog iletilerini ne kadar iyi işleyeceğinden emin değilsiniz, ancak denemeye değer olabilir.
Bir göz atın http://www.codeplex.com/polymon
Açık kaynağı, arka uçta SQL Server kullanıyor ve süslü kullanıcı arayüzüne sahip
GFI EventsManager gibi bir şey, yaklaşık 4k $ için hile yapabilir.
Bir SysLog değişimi arıyorsanız, LogLogic, http://loglogic.com gibi ticari bir syslog/rsyslog değişimini de düşünebilirsiniz. Biz (çalıştığım yer) tam özellikli bir günlük tutma, depolama ve raporlama cihazı setine sahibiz. Temel olarak, saniyede 100.000 mesaj toplama, arama ve dizine ekleme, böylece aramaların yapılabilmesi.
Php-syslog-ng'yi denediniz mi? http://code.google.com/p/php-syslog-ng/
Ben dupe konu gönderdi: Splunk fevkalade pahalı: Alternatifleri nelerdir?
xpolog ve tüm ciddi ticari çözümler BÜYÜK $ (splunk'tan daha az olsa bile, çoğu kolayca 5 basamaklıdır!)
Sooooo, nihayet yaptık (çünkü splunk çok fazla $):
1) sql db boru hattına basit bir syslog istedik
2) Kivi syslogunu denedik. Bu bir hafta boyunca harika çalıştı, çalışmayı durdurdu ve kivi desteği düzeltemedi. Bu yüzden kivi düşürdük
3) Winsyslog'u denedik. Bir uygulamanın eski bir köpeği, onu öğrenmek istemedik.
4) Bu ücretsiz .net uygulamasını kullandık: http://www.aonaware.com/syslog.htm
Voila. Bizim db syslog mesajları var.
Çok mutluyuz. 0 $ harcandı, birkaç saat, ama çok fazla değil.
Burada Splunk kullanıyoruz ve size söyledikleri fiyattan biraz şaşırıyorum. Biz verildi temel arıza 1GB veri başına yaklaşık 1k ABD Doları bir yere geldi. Onun pahalı, ama süper güçlü ve ile geliştirmek için gerçekten hızlı. Veri kaynaklarınıza ve bunlarla ne yapmak istediğinize bağlı olarak, bazı python ve Perl komut dosyaları size çok benzer veriler verebilir. Büyük fark zaman olacaktır ve Ayrıca, bir syslogger alıp bilgileri bir metin dosyasına çıkararak bunu düzeltebilirsiniz, ancak gerçek zamanlı IP bilgilerini (syslog gibi şeyler) alamazsınız. Splunk için kullanamayacağımız şey, python, Perl ve bash betikleri kullanıyoruz.
Liquidlabs'dan günlük manzarayı deneyebilirsiniz - splunk'a çok benzer, ancak birkaç farklı özelliği de vardır .... http://www.liquidlabs-cloud.com/products/logscape.html
Bir önceki işte (bu arada MySQL idi) SQL arka uç şeyi yaptım, komut dosyaları, Drupal arayüzü ile özel PHP komut dosyaları, eserler) .
Dürüst olmak gerekirse, çok uzun saatler sürdü ve hala Splunk değildi.
Şu anda bunun yerine Splunk'ı test ediyorum. Evet, ücretsiz değil, ama büyük resme bakmak aslında daha ucuz olabilir.
ELSA - Kurumsal Günlük Arama ve Arşiv
Ana Özellikler:
Performans ayrıntıları:
Bir sistemi belirtmek için, önem sırasına göre: disk boyutu, RAM, disk hızı, CPU sayısı. Başlıca performans faktörü Sphinx'in dizin oluşturucusu ve arama arka plan programıdır, bu nedenle dokümanlar için sphinxsearch.com adresine bakın. Verdiğim istatistiklerim büyük sistemlerden (16 CPU, 144 GB RAM, 12 TB HD) alınır, ancak 4 CPU, 8 GB RAM ve herhangi bir sistemde aynı performansı elde edersiniz. şeylerin doğrusal olarak ölçeklendiği gibi HD boyutundadır.İlk olarak IBM blade'lerde 4 GB RAM ve yavaş SAN sürücüler ve aynı hızda çalışır, ancak 4 GB biraz daha kesiyor.
Performans ayrıntıları ve ana özellikler listesi ile mimarinin açıklaması: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html
Proje ile ilgili detaylar: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html