SQL WHERE ID IN (id1, id2,…, idn)

Muszę napisać zapytanie, aby pobrać dużą listę identyfikatorów.

Obsługujemy wiele backendów (MySQL, Firebird, SQLServer, Oracle, PostgreSQL ...), więc muszę napisać standardowy SQL.

Rozmiar zestawu id mógłby być duży, zapytanie byłoby generowane programowo. Więc jakie jest najlepsze podejście?

1) Pisanie zapytania za pomocą IN

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

Moje pytanie brzmi. Co się stanie, jeśli n jest bardzo duże? A co z wydajnością?

2) Pisanie zapytania przy użyciu OR

SELECT * FROM TABLE WHERE ID = id1 OR ID = id2 OR ... OR ID = idn

Myślę, że to podejście nie ma limitu n, ale co z wydajnością, jeśli n jest bardzo duże?

3) Pisanie rozwiązania programistycznego:

  foreach (var id in myIdList)
  {
      var item = GetItemByQuery("SELECT * FROM TABLE WHERE ID = " + id);
      myObjectList.Add(item);
  }

Wystąpiły pewne problemy z tym podejściem, gdy serwer bazy danych był odpytywany przez sieć. Zwykle lepiej jest wykonać jedno zapytanie, które spowoduje pobranie wszystkich wyników, niż wykonanie wielu małych zapytań. Może się mylę.

Jakie byłoby prawidłowe rozwiązanie tego problemu?

Opcja 1 to jedyne dobre rozwiązanie.

Czemu?

• Opcja 2 robi to samo, ale powtarzasz nazwę kolumny wiele razy; dodatkowo silnik SQL nie wie od razu, że chcesz sprawdzić, czy wartość jest jedną z wartości na ustalonej liście. Jednak dobry silnik SQL może go zoptymalizować, aby uzyskać taką samą wydajność jak w przypadku IN. Nadal jednak występuje problem z czytelnością ...

• Opcja 3 jest po prostu okropna pod względem wydajności. Wysyła zapytanie w każdej pętli i wbija bazę danych małymi zapytaniami. Zapobiega również stosowaniu jakichkolwiek optymalizacji dla „wartość jest jedną z tych na danej liście”

Alternatywnym podejściem może być użycie innej tabeli do przechowywania wartości id. Tę inną tabelę można następnie połączyć wewnętrznie w tabeli, aby ograniczyć zwracane wiersze. Będzie to miało tę główną zaletę, że nie będziesz potrzebować dynamicznego SQL (co jest problematyczne w najlepszym przypadku) i nie będziesz mieć nieskończenie długiej klauzuli IN.

Możesz obciąć tę drugą tabelę, wstawić dużą liczbę wierszy, a następnie prawdopodobnie utworzyć indeks, aby wspomóc wydajność łączenia. Pozwoliłoby to również oddzielić gromadzenie tych wierszy od pobierania danych, być może dając więcej opcji dostrajania wydajności.

Aktualizacja : Chociaż możesz użyć tabeli tymczasowej, nie chciałem sugerować, że musisz, a nawet powinieneś. Stała tabela używana do tymczasowych danych jest typowym rozwiązaniem, którego zalety wykraczają poza opisane tutaj.

To, co zasugerował Ed Guiness, jest naprawdę poprawiające wydajność, miałem takie pytanie

select * from table where id in (id1,id2.........long list)

co ja zrobiłem :

DECLARE @temp table(
            ID  int
            )
insert into @temp 
select * from dbo.fnSplitter('#idlist#')

Następnie wewnętrzna połączyła temp z głównym stołem:

select * from table inner join temp on temp.id = table.id

Wydajność poprawiła się drastycznie.

Pierwsza opcja to zdecydowanie najlepsza opcja.

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

Biorąc jednak pod uwagę, że lista identyfikatorów jest bardzo duża , powiedzmy miliony, należy wziąć pod uwagę rozmiary fragmentów, jak poniżej:

• Podziel listę identyfikatorów na części o ustalonej liczbie, powiedzmy 100
• Rozmiar fragmentu powinien zostać określony na podstawie rozmiaru pamięci serwera
• Załóżmy, że masz 10000 identyfikatorów, będziesz mieć 10000/100 = 100 kawałków
• Przetwarzaj jedną porcję na raz, co spowoduje 100 wywołań bazy danych dla funkcji select

Dlaczego należy dzielić na kawałki?

Nigdy nie otrzymasz wyjątku przepełnienia pamięci, który jest bardzo powszechny w scenariuszach takich jak twój. Będziesz mieć zoptymalizowaną liczbę wywołań bazy danych, co skutkuje lepszą wydajnością.

Zawsze działało na mnie jak urok. Mam nadzieję, że zadziała również dla moich kolegów programistów :)

Wykonanie polecenia SELECT * FROM MyTable where id in () na tabeli Azure SQL z 500 milionami rekordów skutkowało czasem oczekiwania> 7 minut!

Zamiast tego natychmiast zwróciło wyniki:

select b.id, a.* from MyTable a
join (values (250000), (2500001), (2600000)) as b(id)
ON a.id = b.id

Użyj złączenia.

W większości systemów baz danych IN (val1, val2, …)i serii ORsą zoptymalizowane do tego samego planu.

Trzecim sposobem byłoby zaimportowanie listy wartości do tabeli tymczasowej i dołączenie do niej, co jest bardziej wydajne w większości systemów, jeśli jest dużo wartości.

Możesz przeczytać te artykuły:

• Przekazywanie parametrów w liście MySQL: IN a tabela tymczasowa

Próbka 3 byłaby najgorsza ze wszystkich, ponieważ odwiedzasz bazę danych niezliczoną ilość razy bez wyraźnego powodu.

Załadowanie danych do tabeli tymczasowej, a następnie dołączenie do tego byłoby zdecydowanie najszybsze. Potem IN powinno działać nieco szybciej niż grupa OR.

Myślę, że masz na myśli SqlServer, ale w Oracle masz sztywny limit liczby elementów IN, które możesz określić: 1000.