Jak zmierzyć wydajność kodu elisp?

Jak zmierzyć wydajność mojego kodu elisp? Jakie narzędzia / pakiety zewnętrzne są dostępne do pomiaru czasu?

Czy oprócz całkowitego czasu mogę zobaczyć profil pokazujący czas poświęcony na funkcję? Czy mogę również profilować użycie pamięci?

Reper

Najprostszą opcją jest wbudowany benchmarkpakiet. Jego użycie jest niezwykle proste:

(benchmark 100 (form (to be evaluated)))

Jest ładowany automatycznie, więc nie musisz go nawet wymagać.

Profilowy

Benchmark jest dobry w ogólnych testach, ale jeśli masz problemy z wydajnością, nie mówi ci, które funkcje powodują problem. Do tego masz (również wbudowany) profiler .

1. Zacznij od M-x profiler-start.
2. Wykonaj trochę czasochłonnych operacji.
3. Pobierz raport z M-x profiler-report.

Powinieneś zostać przeniesiony do bufora z nawigowalnym drzewem wywołań funkcji.

Oprócz odpowiedzi @ Malabara, mam tendencję do używania niestandardowego with-timermakra, aby trwale instrumentować różne części mojego kodu (np. Mój init.elplik).

Różnica polega na tym, że chociaż benchmarkpozwala badać wydajność określonego fragmentu kodu, który instrumentujesz, with-timerzawsze daje ci czas spędzony w każdej instrumentowanej części kodu (bez dużego obciążenia dla wystarczająco dużych części), co daje wkład do poznania która część powinna być dalej badana.

(defmacro with-timer (title &rest forms)
  "Run the given FORMS, counting the elapsed time.
A message including the given TITLE and the corresponding elapsed
time is displayed."
  (declare (indent 1))
  (let ((nowvar (make-symbol "now"))
        (body   `(progn ,@forms)))
    `(let ((,nowvar (current-time)))
       (message "%s..." ,title)
       (prog1 ,body
         (let ((elapsed
                (float-time (time-subtract (current-time) ,nowvar))))
           (message "%s... done (%.3fs)" ,title elapsed))))))

Przykładowe zastosowanie:

(with-timer "Doing things"
  (form (to (be evaluated))))

uzyskując następujące dane wyjściowe w *Messages*buforze:

Doing things... done (0.047s)

Powinienem wspomnieć, że jest to w dużej mierze inspirowane makrem Jona Wiegleya use-package-with-elapsed-timerw jego doskonałym use-packagerozszerzeniu.

Oprócz odpowiedzi @ Malabarba, pamiętaj, że możesz zmierzyć skompilowany czas wykonania swojego kodu benchmark-run-compiled. Ta metryka jest często znacznie bardziej odpowiednia niż interpretowany czas wykonania, który M-x benchmarkzapewnia:

ELISP> (benchmark-run (cl-loop for i below (* 1000 1000) sum i))
(0.79330082 6 0.2081620540000002)

ELISP> (benchmark-run-compiled (cl-loop for i below (* 1000 1000) sum i))
(0.047896284 0 0.0)

Te trzy liczby to całkowity czas, który upłynął, liczba przebiegów GC i czas spędzony w GC.

Benchmarking to nie tylko uzyskiwanie liczb, ale także podejmowanie decyzji w oparciu o analizę wyników.

Na MELPA znajduje się pakiet benchstat.el , za pomocą którego można uzyskać funkcje oferowane przez program benchstat .

Implementuje testy porównawcze oparte na porównaniu, w których porównuje się Xwłaściwości wydajności Y.

Funkcje Benchstat można postrzegać jako benchmark-run-compiledopakowanie, które nie tylko zbiera informacje, ale daje je w łatwym do odczytania formacie interpretacji. Obejmuje:

• Upływ czasu między XiY
• Średni średni czas
• Kwota przydziałów

Bardzo prosty przykład użycia:

(require 'benchstat)

;; Decide how much repetitions is needed.
;; This is the same as `benchmark-run-compiled` REPETITIONS argument.
(defconst repetitions 1000000)

;; Collect old code profile.
(benchstat-run :old repetitions (list 1 2))
;; Collect new code profile.
(benchstat-run :new repetitions (cons 1 2))

;; Display the results.
;; Can be run interactively by `M-x benchstat-compare'.
(benchstat-compare)

benchstat-compareOdda wyniki w tymczasowym buforze:

name   old time/op    new time/op    delta
Emacs    44.2ms ± 6%    25.0ms ±15%  -43.38%  (p=0.000 n=10+10)

name   old allocs/op  new allocs/op  delta
Emacs      23.0 ± 0%      11.4 ± 5%  -50.43%  (p=0.000 n=10+10)

Będziesz jednak potrzebował benchstatprogramu binarnego. Jeśli używałeś języka programowania Go, najprawdopodobniej już go masz. W przeciwnym razie istnieje możliwość skompilowania go ze źródeł.

Wstępnie skompilowane pliki binarne dla systemu Linux / amd64 można znaleźć na stronie wydania github .