Jak mogę ustawić maksymalną liczbę uruchomionych zadań na użytkownika w SGE?

9

Używamy SGE (Sun Grid Manager). Mamy pewne ograniczenia dotyczące łącznej liczby równoczesnych zadań wszystkich użytkowników.

Chciałbym wiedzieć, czy można ustawić tymczasowy, dobrowolny limit liczby jednoczesnych uruchomionych zadań dla konkretnego użytkownika.

Na przykład użytkownik davema zamiar przesłać 500 zadań, ale nie chciałby, aby więcej niż 100 działało jednocześnie, np. Ponieważ wie, że zadania wykonują wiele operacji wejścia / wyjścia, które zablokowały system plików (niestety, prawdziwa historia).

Czy to jest możliwe?

gridengine David B.
źródło

Odpowiedzi:

9

Możesz zdefiniować kompleks za pomocą qconf -mc. Nazwij to czymś high_iolub czymkolwiek chcesz i ustaw pole materiałów eksploatacyjnych na YES. Następnie w konfiguracji globalnej z qconf -me globallub w określonej kolejce z qconf -mq <queue name>ustawionymi high_io=500wartościami zespolonymi. Teraz powiedz swoim użytkownikom, aby określili -l high_io=1lub jak wiele „tokenów” chcesz używać. Ograniczy to liczbę równoczesnych zadań do dowolnej wartości złożonej.

Innym sposobem na to są przydziały. Dodaj przydział za pomocąqconf -arqs który wygląda tak:

 {
        name         dave_max_slots
        description  "Limit dave to 500 slots"
        enabled      true
        limit        users {dave} to slots=500
 }
Kamil Kisiel
źródło
Dzięki Kamil i przepraszam za spóźnioną odpowiedź. Kilka następnych, ponieważ jestem całkiem nowy qconf. Jeśli chodzi o twoją pierwszą sugestię, czy mógłbyś być bardziej konkretny? Co to jest „materiały eksploatacyjne”? Po skonfigurowaniu, jak wspomniano, po prostu powiem użytkownikowi, aby za qsubpomocą -l high_io=1?
David B
1
Zasadniczo kompleks jest zasobem wartościowym, którego można zażądać od zadania z -lprzełącznikiem na qsub. Ustawienie kompleksu jako zużywalnego oznacza, że ​​gdy zadanie zażąda tego kompleksu, dostępna liczba jest zmniejszana. Więc jeśli kolejka ma 500 kompleksu high_io, a zlecenie zadania 20, 480 będzie dostępnych dla innych zadań. Poprosiłbyś o kompleks tak jak w twoim przykładzie.
Kamil Kisiel,
Dziękuję Kamil. Niestety nie mogę głosować (jeszcze za mało reputacji).
David B