Jak skonfigurować dostrojoną pulę wątków dla kontraktów terminowych?

Question 1

Jak duża jest pula wątków Scali dla kontraktów terminowych?

Moja aplikacja Scala zarabia wiele milionów future {}i zastanawiam się, czy jest coś, co mogę zrobić, aby je zoptymalizować, konfigurując pulę wątków.

Dziękuję Ci.

Question 2

Możesz określić własny ExecutionContext, w którym będą działać Twoje futures, zamiast importować globalny niejawny ExecutionContext.

import java.util.concurrent.Executors
import scala.concurrent._

implicit val ec = new ExecutionContext {
    val threadPool = Executors.newFixedThreadPool(1000)

    def execute(runnable: Runnable) {
        threadPool.submit(runnable)
    }

    def reportFailure(t: Throwable) {}
}

Question 3

Ta odpowiedź pochodzi z monkjack, komentarz z zaakceptowanej odpowiedzi. Można jednak przegapić tę świetną odpowiedź, więc zamieszczam ją tutaj.

implicit val ec = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(10))

Jeśli potrzebujesz tylko zmienić liczbę puli wątków, po prostu użyj globalnego modułu wykonawczego i przekaż następujące właściwości systemowe.

-Dscala.concurrent.context.numThreads=8 -Dscala.concurrent.context.maxThreads=8

Question 4

najlepszy sposób na określenie Threadpool w Scala Futures:

implicit val ec = new ExecutionContext {
      val threadPool = Executors.newFixedThreadPool(conf.getInt("5"));
      override def reportFailure(cause: Throwable): Unit = {};
      override def execute(runnable: Runnable): Unit = threadPool.submit(runnable);
      def shutdown() = threadPool.shutdown();
    }

Question 5

class ThreadPoolExecutionContext(val executionContext: ExecutionContext)

object ThreadPoolExecutionContext {

  val executionContextProvider: ThreadPoolExecutionContext = {
    try {
      val executionContextExecutor: ExecutionContextExecutor = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(25))
      new ThreadPoolExecutionContext(executionContextExecutor)
    } catch {
      case exception: Exception => {
        Log.error("Failed to create thread pool", exception)
        throw exception
      }
    }
  }
}

Answer 1

80

Jak duża jest pula wątków Scali dla kontraktów terminowych?

Moja aplikacja Scala zarabia wiele milionów future {}i zastanawiam się, czy jest coś, co mogę zrobić, aby je zoptymalizować, konfigurując pulę wątków.

Dziękuję Ci.

multithreading scala parallel-processing threadpool future Erik Kaplun
źródło

Slick 3.0 używa własnych połączeń i pula wątków więc dlaczego musimy zapewnić niejawny executioncontext do wycieku, gdy zarządza własną puli wątków

Rahul Gulabani

1

@RahulGulabani, z książki „essential slick”:

The reason is that map, flatMap methods of Action allows you to call arbitrary code when joining the actions together. Slick cannot allow that code to be run on its own execution context, because it has no way to know if you are going to tie up Slicks threads for a long time.

srzhio,

Answer 2

Slick 3.0 używa własnych połączeń i pula wątków więc dlaczego musimy zapewnić niejawny executioncontext do wycieku, gdy zarządza własną puli wątków

Rahul Gulabani

Answer 3

1

@RahulGulabani, z książki „essential slick”:

The reason is that map, flatMap methods of Action allows you to call arbitrary code when joining the actions together. Slick cannot allow that code to be run on its own execution context, because it has no way to know if you are going to tie up Slicks threads for a long time.

srzhio,

Answer 4

90

Możesz określić własny ExecutionContext, w którym będą działać Twoje futures, zamiast importować globalny niejawny ExecutionContext.

import java.util.concurrent.Executors
import scala.concurrent._

implicit val ec = new ExecutionContext {
    val threadPool = Executors.newFixedThreadPool(1000)

    def execute(runnable: Runnable) {
        threadPool.submit(runnable)
    }

    def reportFailure(t: Throwable) {}
}

Josh Gao
źródło

73

Świetna odpowiedź, możesz nieco zredukować standardowy schemat, używając metod pomocniczych w ExecutionContext, które pozwalają na tworzenie instancji bezpośrednio z danego Executora. Np. Implicit val ec = ExecutionContext.fromExecutor (Executors.newFixedThreadPool (10))

sksamuel

1

To prawda, że wszystko jest fajne, ale czy istnieje rzeczywisty limit wątków dotyczących implicits.global? Jeśli tak, to czy jest to konfigurowalne jak akka przez application.conf?

Nick

6

@Nick tak, implicits.global to tylko 1 wątek na rdzeń procesora. Optymalne do zadań związanych z procesorem. Ale dla klasycznego blokowania IO (np. Jdbc) jest to katastrofa wydajności.

Ben Hutchison

2

Musiałem dodać wywołanie, aby zamknąć pulę wątków po użyciu tego lub program nigdy się nie kończy ... def shutdown () = threadPool.shutdown ()

justinhj

2

Dlaczego zamyka się w „normalnym” przypadku, ale nie wtedy, gdy ustawimy niejawne na coś innego?

hbogert

Answer 5

73

Świetna odpowiedź, możesz nieco zredukować standardowy schemat, używając metod pomocniczych w ExecutionContext, które pozwalają na tworzenie instancji bezpośrednio z danego Executora. Np. Implicit val ec = ExecutionContext.fromExecutor (Executors.newFixedThreadPool (10))

sksamuel

Answer 6

1

To prawda, że wszystko jest fajne, ale czy istnieje rzeczywisty limit wątków dotyczących implicits.global? Jeśli tak, to czy jest to konfigurowalne jak akka przez application.conf?

Nick

Answer 7

6

@Nick tak, implicits.global to tylko 1 wątek na rdzeń procesora. Optymalne do zadań związanych z procesorem. Ale dla klasycznego blokowania IO (np. Jdbc) jest to katastrofa wydajności.

Ben Hutchison

Answer 8

2

Musiałem dodać wywołanie, aby zamknąć pulę wątków po użyciu tego lub program nigdy się nie kończy ... def shutdown () = threadPool.shutdown ()

justinhj

Answer 9

2

Dlaczego zamyka się w „normalnym” przypadku, ale nie wtedy, gdy ustawimy niejawne na coś innego?

hbogert

Answer 10

152

Ta odpowiedź pochodzi z monkjack, komentarz z zaakceptowanej odpowiedzi. Można jednak przegapić tę świetną odpowiedź, więc zamieszczam ją tutaj.

implicit val ec = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(10))

Jeśli potrzebujesz tylko zmienić liczbę puli wątków, po prostu użyj globalnego modułu wykonawczego i przekaż następujące właściwości systemowe.

-Dscala.concurrent.context.numThreads=8 -Dscala.concurrent.context.maxThreads=8

Bienvenido David
źródło

2

to jest bardziej eleganckie rozwiązanie

Ben Hutchison

Wypróbowałem oba te z wartością 5 i nadal widzę do 8 wątków działających jednocześnie.

micseydel

Answer 11

2

to jest bardziej eleganckie rozwiązanie

Ben Hutchison

Answer 12

Wypróbowałem oba te z wartością 5 i nadal widzę do 8 wątków działających jednocześnie.

micseydel

Answer 13

najlepszy sposób na określenie Threadpool w Scala Futures:

implicit val ec = new ExecutionContext {
      val threadPool = Executors.newFixedThreadPool(conf.getInt("5"));
      override def reportFailure(cause: Throwable): Unit = {};
      override def execute(runnable: Runnable): Unit = threadPool.submit(runnable);
      def shutdown() = threadPool.shutdown();
    }

Answer 14

class ThreadPoolExecutionContext(val executionContext: ExecutionContext)

object ThreadPoolExecutionContext {

  val executionContextProvider: ThreadPoolExecutionContext = {
    try {
      val executionContextExecutor: ExecutionContextExecutor = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(25))
      new ThreadPoolExecutionContext(executionContextExecutor)
    } catch {
      case exception: Exception => {
        Log.error("Failed to create thread pool", exception)
        throw exception
      }
    }
  }
}

Jak skonfigurować dostrojoną pulę wątków dla kontraktów terminowych?

Odpowiedzi: