Jenkins - Jak dowiedzieć się, które testy nie powiodły się wielokrotnie?

Jestem nowy w CI i Jenkins. Mam projekt Java, który uruchamia automatyczne testy oparte na Testng w serwisie internetowym. Testy automatyzacji są regularnie wykonywane jako zadanie w Jenkins. Czasami praca długo się nie udaje. Ale w każdym uruchomieniu liczba niepowodzeń testu jest inna. Chcę zobaczyć, które testy nie powiodły się, powiedzmy, ostatnie 5 uruchomień. Dzięki temu mogę zmniejszyć liczbę niepowodzenia testów, które muszę zbadać. Awarie, które nie powtarzają się w ciągu ostatnich 5 przebiegów, można zignorować lub zbadać później.

Czy ktoś może zasugerować, w jaki sposób mogę dowiedzieć się, które testy nie powiodły się wielokrotnie w poprzednich N testach?

Możesz wziąć, ile razy test zakończony niepowodzeniem z obiektu kompilacji w potoku: możesz zrobić mały raport i dołączyć go do kompilacji w następujący sposób:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

Zadzwoń saveRepeatedlyFailingTestsReportpo zebraniu wyników testu, a zobaczysz raport w najnowszym linku artefaktów kompilacji.

Do analizy trendów testów można użyć wtyczki Test Result Analyzer firmy Jenkins.

Wtyczka analizatora wyników testu

Samouczek wideo z YouTube

Instalacja :

1. W Jenkins Dashboard kliknij Zarządzaj Jenkins
2. Z menu wybierz Zarządzaj wtyczkami
3. Kliknij zakładkę Dostępne i analizator wejściowy w polu wyszukiwania Filtr
4. Kliknij pole wyboru po lewej stronie od wyników testów Analyzer i kliknij Install bez restartu przycisk

Zastosowanie :

1. Przejdź do projektu i kliknij Konfiguruj
2. Przejdź do sekcji Działania po kompilacji i wybierz opcję Opublikuj raport wyników testu JUnit z listy rozwijanej Dodaj akcję po kompilacji
3. W polu Pliki XML raportu z testu podaj ścieżkę pliku XML TestNg / JUnit w projekcie. Na przykład - **/target/test-results/*.xmlw moim przypadku
4. Zapisz konfigurację
5. Następnie po udanej kompilacji przejdź do projektu i kliknij Analizator wyników testu w menu po lewej stronie