Graylog İndeks nedir? Nasıl çalışır?
Graylog; hız ve düşük kaynak tüketimi için, arama ve analiz işlemlerini optimize etmek amacıyla, bir veya daha fazla Elasticsearch indeks setini yönetmektedir. Elasticsearch verileri indeksleyerek saklar ve log araması yapacağımız zaman belirli indeks setinin içinde arama yapılarak, sonuçlar hızlı bir şekilde listelenir.
Graylog ilk kurulduğunda varsayılan olarak “Default index set” indeksi mevcuttur ve Graylog sunucumuza gelen tüm loglar bu indeks içinde toplanır. Log gönderen cihaz ve uygulamalara göre indekslerimizi kategorize etmek, bu kategorilere göre indeksleri oluşturmak ve yönetmek doğru bir kullanım olacaktır.
İndeks Oluşturma
Evet, şimdi ilk indeksimizi oluşturalım.
Menüden System > Indices tıklayalım. İndekslerin listelendiği ana görünüm açılacaktır. Burada Default index set’in varsayılan olarak seçili olduğunu görebiliyor olacaksınız.
Sağdaki “Create index set” butonuna tıklayalım. Bazı cihazlar ve uygulamalarda her ne kadar log seviyesi belirlenebiliyor olsa da, bazılarında belirlenemiyor. Bu seviye ihtiyacınız olan kadar seçilmiş olsa da, gerekli logların arasında illa ki gereksiz loglar da olabiliyor. Bu yüzden, gereksiz logların toplanacağı bir indeks oluşturmayı prensip olarak belirlemeniz önerilir. Bu indeks yönetiminiz için faydalı olacaktır.
Burada Title, Description ve Index prefix kısımlarını isteğinize göre doldurunuz. Ben düzenli olması açısından aşağıdaki gibi doldurdum. Analyzer ve Index shards, kısımları varsayılan olarak bu şekilde gelmektedir, ben de bu şekilde bırakıyorum.
Index Message Count, Index Size ve Index Time olarak 3 seçenek geliyor. İlk seçenekte indeks yani log mesaj sayısını belirtebiliyorsunuz. İkinci seçenekte byte cinsinden indeks boyutunu belirtebiliyorsunuz. Üçüncü seçenekte ise ISO8601 standartına göre süre belirtebiliyorsunuz. Burada mesela P2M 2 ay, P1D 1 gün, PT6H 6 saat anlamına geliyor. Saat veya gün bazında süreyi belirtebilirsiniz. Ben mesaj sayısı belirtiyorum. 200000 mesaj olduğunda bu indekse mesaj almayı bıraksın, yeni indekse geçsin istiyorum.
Mesaj sayısını belirttikten sonra maksimum indeks sayısını ve maksimum sayıya ulaşınca hangi aksiyonu alması gerektiğini belirtiyorum. Bize 4 adet eylem stratejisi sunuyor; Archive Index, Delete Index, Close Index, Do nothing. Örneğin görseldeki gibi maksimum indeks sayısı 20 olarak seçiyorum. 21 indekse ulaştığında seçtiğim eyleme göre en eski indeksi arşivler, siler, kapatır ve indekse hiçbir şey yapmaz. Yukarıda da belirttiğim gibi 200000 mesaj olduğunda indekse mesaj toplamayı bırakmasını, yeni indekse geçmesini, toplam indeks sayısı 21 olduğunda da en eski indeksi silmesini istedim.
Böylelikle Graylog’a gelen logları kategorize ederek, mesajları daha verimli yönetmeyi, depolama alanını daha verimli kullanmayı gerçekleştirdik.
