Jak zmusić Logstash do ponownej analizy pliku?

Zainstalowałem Logstash, aby przeanalizować pliki Apache. Prawidłowe ustawienie zajęło mi sporo czasu i zawsze próbowałem na prawdziwych dziennikach. Zauważyłem (jak mówi dokumentacja), że logstash „pamięta” gdzie był w pliku. Teraz moje ustawienia są OK i chciałbym, żeby Logstash „zapomniał”. Wydaje się to trudniejsze niż myślałem. Zrobiłem już następujące rzeczy:

• używany: start_position => "beginning"

• usunął cały folder „data” z elastissearch (i najpierw go zatrzymał)

• sprawdziłem, które pliki zostały otwarte przez logstash lsof -p PIDi usunąłem wszystko, co było obiecujące (w moim przypadku /tmp/jffi*.tmp)

Mimo to Logstash nie zapomina i analizuje tylko „świeże” pliki w folderze, w którym znajdują się dzienniki

Jakieś pomysły?

Domyślnie logstash zapisuje ostatnią pozycję w pliku dziennika, w którym zwykle znajduje się $HOME/.sincedb. Logstash można oszukać, wierząc, że nigdy nie przeanalizował pliku dziennika, określając /dev/nulljako sincedb_path.

Tutaj część dokumentacji Input File .

Gdzie zapisać bazę danych od (śledzi aktualną pozycję monitorowanych plików dziennika). Domyślnie wartość zmiennej środowiskowej „$ SINCEDB_PATH” lub „$ HOME / .sincedb”.

Przykład konfiguracji

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

Plik wtyczki przechowuje historię „tailingu” w pliku sincedb, domyślnie: w $ HOME / .sincedb *, zobacz http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

Ponieważ plik db zawiera linię wygląda następująco:

[inode] [major device number] [minor device number] [byte offset]

Tak więc, jeśli chcesz ponownie przeanalizować cały plik, musisz:

• usuń pliki sindedb
• LUB usuń tylko odpowiednią linię w pliku sincedb, sprawdź numer i-węzła przed swoim plikiem ( ls -i yourFile | awk '{print $1}')
• I uruchom ponownie Logstash

Za pomocą klucza start_position => "beginning"Logstash przeanalizuje cały plik.

Przykład pliku sincedb:

• name:: .sincedb_7a7413a84171aa550d5318c17fd756e9nazwa zawiera sincedb_ i MD5 (Digest :: MD5.hexdigest) całego katalogu w ścieżce klucza ( http://logstash.net/docs/1.3.3/inputs/file#path ). Zobacz kod pliku wtyczki: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash zachowa zapis w formacie $HOME/.sincedb_*. Możesz usunąć wszystkie .sincedbi ponownie uruchomić logstash, Logstash ponownie przeanalizuje plik.

Łącząc wszystkie odpowiedzi, myślę, że jest to najlepszy sposób analizowania plików. Zrobiłem to samo podczas testów.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

W celu szybkiego testu ignore_oldermożesz zamiast tego touch /tmp/access_logzmienić sygnaturę czasową pliku.

Jeśli używasz logstash-forwarder, poszukaj .logstash-forwarderpliku w katalogu domowym :

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

Po usunięciu $HOME/.sincedb_*nadal nie przetwarzał danych dla mnie.

Po wypróbowaniu wielu rzeczy usunąłem z niego wszystko oprócz głównego .confpliku /etc/logstash/conf.di ponownie uruchomiłem Logstash i wszystko działało. Mogę tylko założyć, że w jednym z .confplików było coś, na czym logstash po cichu wisiał.

Właściwie naprawianie za każdym razem jest bardzo kosztowne, jeśli plik zawiera duże ilości danych. Więc zanim to zrobisz, musisz być ostrożny. Jeśli chcemy zmusić go do ponownej analizy, ustaw parametr wewnątrz bloku wejściowego

sincedb_path => "/dev/null" 

Ta opcja nie będzie przechowywać pliku .sincedb, a logstash będzie ponownie analizował za każdym razem. Ale jeśli chcesz od czasu do czasu dokonać ponownej analizy, a nie za każdym razem, możesz ręcznie usunąć ścieżkę .sinceDb, która jest tworzona podczas analizowania pliku. Zwykle jest obecny w katalogu domowym jako plik ukryty, jeśli nie jesteś użytkownikiem root, w przeciwnym razie w katalogu głównym. Możesz również ustawić sincedb_path na inną lokalizację, aby łatwo śledzić ten plik.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Jeśli chcesz uniknąć mieszania się z opcjami logstash, odkryłem, że zmiana nazwy lub usunięcie istniejącego pliku dziennika i utworzenie nowego pliku ze starej zawartości pliku spowoduje, że logstash zostanie ponownie zindeksowany.

Znalazłem go w moim katalogu domowym, ale po usunięciu go, logstash odmówił ponownego pobrania istniejących plików dziennika. Sposób, w jaki to działało, polegał na dodawaniu

sincedb_path => "/opt/elk/sincedb/"  

do mojej wtyczki pliku. Myślę, że za każdym razem resetuję, po prostu zmień ścieżkę sincedb_path

jeśli używasz tar.gz install filebeat, możesz usunąć ten plik $FilebeatPath/data/registry/filebeat/data.jsoni ponownie uruchomić plik filebeat

Spróbuj, usuwając /var/lib/logstashfolder w swoim ENV

logstash w wersji 5 nowy katalog jest w

<path.data>/plugins/inputs/file

Definicja path.data znajduje się w logstash.yml