Wybierz n losowych wierszy z tabeli programu SQL Server

Mam tabelę programu SQL Server z około 50 000 wierszy. Chcę wybrać losowo około 5000 z tych wierszy. Pomyślałem o skomplikowanym sposobie, tworząc tabelę tymczasową z kolumną „liczby losowej”, kopiując do niej moją tabelę, przeglądając tabelę tymczasową i aktualizując każdy wiersz RAND(), a następnie wybierając z tej tabeli, w której kolumna liczb losowych < 0,1 Szukam prostszego sposobu, aby to zrobić, w jednym oświadczeniu, jeśli to możliwe.

W tym artykule sugeruje się użycie NEWID()funkcji. To wygląda obiecująco, ale nie widzę, jak mógłbym wiarygodnie wybrać określony procent wierszy.

Czy ktoś to kiedyś robił? Jakieś pomysły?

select top 10 percent * from [yourtable] order by newid()

W odpowiedzi na komentarz „czysty kosz” dotyczący dużych tabel: możesz to zrobić w ten sposób, aby poprawić wydajność.

select  * from [yourtable] where [yourPk] in 
(select top 10 percent [yourPk] from [yourtable] order by newid())

Kosztem tego będzie kluczowy skan wartości plus koszt złączenia, który na dużym stole z niewielkim wyborem procentowym powinien być rozsądny.

W zależności od potrzeb, TABLESAMPLEzapewni Ci prawie tak samo losową i lepszą wydajność. jest to dostępne na serwerze MS SQL Server 2005 i nowszych.

TABLESAMPLE zwróci dane z losowych stron zamiast losowych wierszy i dlatego deos nawet nie pobierze danych, których nie zwróci.

Testowałem na bardzo dużym stole

select top 1 percent * from [tablename] order by newid()

zajęło ponad 20 minut.

select * from [tablename] tablesample(1 percent)

zajęło 2 minuty.

Wydajność poprawi się również na mniejszych próbkach, podczas TABLESAMPLEgdy nie będzie newid().

Pamiętaj, że nie jest to tak losowe jak newid() metoda, ale zapewni przyzwoite próbkowanie.

Zobacz stronę MSDN .

Funkcja newid () / order by będzie działać, ale będzie bardzo kosztowna dla dużych zestawów wyników, ponieważ musi wygenerować identyfikator dla każdego wiersza, a następnie je posortować.

TABLESAMPLE () jest dobry z punktu widzenia wydajności, ale dostaniesz zbijanie wyników (wszystkie wiersze na stronie zostaną zwrócone).

Aby uzyskać lepszą skuteczność prawdziwej próbki losowej, najlepszym sposobem jest losowe odfiltrowanie wierszy. Znalazłem następujący przykład kodu w artykule SQL Server Books Online Ograniczanie zestawów wyników za pomocą TABLESAMPLE :

Jeśli naprawdę chcesz losowej próbki pojedynczych wierszy, zmodyfikuj zapytanie, aby odfiltrować wiersze losowo, zamiast używać TABLESAMPLE. Na przykład w poniższym zapytaniu użyto funkcji NEWID do zwrócenia około jednego procenta wierszy tabeli Sales.SalesOrderDetail:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(),SalesOrderID) & 0x7fffffff AS float)
              / CAST (0x7fffffff AS int)

Kolumna SalesOrderID jest zawarta w wyrażeniu CHECKSUM, dzięki czemu NEWID () ocenia raz na wiersz, aby uzyskać próbkowanie na podstawie wiersza. Wyrażenie CAST (CHECKSUM (NEWID (), SalesOrderID) i 0x7fffffff AS float / CAST (0x7fffffff AS int) zwraca losową wartość od 0 do 1.

Po uruchomieniu z tabelą zawierającą 1 000 000 wierszy, oto moje wyniki:

SET STATISTICS TIME ON
SET STATISTICS IO ON

/* newid()
   rows returned: 10000
   logical reads: 3359
   CPU time: 3312 ms
   elapsed time = 3359 ms
*/
SELECT TOP 1 PERCENT Number
FROM Numbers
ORDER BY newid()

/* TABLESAMPLE
   rows returned: 9269 (varies)
   logical reads: 32
   CPU time: 0 ms
   elapsed time: 5 ms
*/
SELECT Number
FROM Numbers
TABLESAMPLE (1 PERCENT)

/* Filter
   rows returned: 9994 (varies)
   logical reads: 3359
   CPU time: 641 ms
   elapsed time: 627 ms
*/    
SELECT Number
FROM Numbers
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), Number) & 0x7fffffff AS float) 
              / CAST (0x7fffffff AS int)

SET STATISTICS IO OFF
SET STATISTICS TIME OFF

Jeśli uda Ci się uniknąć użycia TABLESAMPLE, zapewni to najlepszą wydajność. W przeciwnym razie użyj metody newid () / filter. newid () / order by powinno być ostatecznością, jeśli masz duży zestaw wyników.

Losowe wybieranie wierszy z dużej tabeli w MSDN ma proste, dobrze wyartykułowane rozwiązanie, które rozwiązuje problemy związane z wydajnością na dużą skalę.

  SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Ten link ma interesujące porównanie między Orderby (NEWID ()) i innymi metodami dla tabel z 1, 7 i 13 milionami wierszy.

Często, gdy w grupach dyskusyjnych zadawane są pytania dotyczące wyboru losowych wierszy, proponuje się zapytanie NEWID; jest prosty i działa bardzo dobrze na małych stolikach.

SELECT TOP 10 PERCENT *
  FROM Table1
  ORDER BY NEWID()

Jednak zapytanie NEWID ma dużą wadę, gdy używasz go do dużych tabel. Klauzula ORDER BY powoduje, że wszystkie wiersze w tabeli są kopiowane do bazy danych tempdb, gdzie są sortowane. Powoduje to dwa problemy:

1. Operacja sortowania zwykle wiąże się z wysokimi kosztami. Sortowanie może wykorzystywać wiele dyskowych operacji we / wy i może działać przez długi czas.
2. W najgorszym przypadku tempdb może zabraknąć miejsca. W najlepszym przypadku tempdb może zająć dużo miejsca na dysku, które nigdy nie zostanie odzyskane bez polecenia ręcznego zmniejszenia.

Potrzebny jest sposób losowego wybierania wierszy, które nie będą używać tempdb i nie będą spowalniały, gdy tabela będzie się powiększać. Oto nowy pomysł, jak to zrobić:

SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Podstawową ideą tego zapytania jest to, że chcemy wygenerować liczbę losową od 0 do 99 dla każdego wiersza w tabeli, a następnie wybrać wszystkie wiersze, których liczba losowa jest mniejsza niż wartość określonego procentu. W tym przykładzie chcemy losowo wybrać około 10 procent wierszy; dlatego wybieramy wszystkie wiersze, których liczba losowa jest mniejsza niż 10.

Przeczytaj cały artykuł w MSDN .

Jeśli potrzebujesz (w przeciwieństwie do OP) określonej liczby rekordów (co utrudnia podejście do CHECKSUM) i pragniesz bardziej losowej próbki niż sama TABLESAMPLE, a także chcesz większej prędkości niż CHECKSUM, możesz zadowolić się połączeniem Metody TABLESAMPLE i NEWID (), takie jak to:

DECLARE @sampleCount int = 50
SET STATISTICS TIME ON

SELECT TOP (@sampleCount) * 
FROM [yourtable] TABLESAMPLE(10 PERCENT)
ORDER BY NEWID()

SET STATISTICS TIME OFF

W moim przypadku jest to najprostszy kompromis między losowością (nie wiem, tak naprawdę) a szybkością. Zmieniaj odpowiednio wartość procentową TABLESAMPLE (lub wierszy) - im wyższy odsetek, tym bardziej losowa próbka, ale spodziewaj się liniowego spadku prędkości. (Pamiętaj, że TABLESAMPLE nie zaakceptuje zmiennej)

Po prostu uporządkuj tabelę według losowej liczby i uzyskaj pierwsze 5000 wierszy za pomocą TOP.

SELECT TOP 5000 * FROM [Table] ORDER BY newid();

AKTUALIZACJA

Po prostu spróbowałem, a newid()wezwanie jest wystarczające - nie potrzeba wszystkich obsad i całej matematyki.

Jest to połączenie początkowego pomysłu początkowego i sumy kontrolnej, która wydaje mi się dawać odpowiednio losowe wyniki bez kosztu NEWID ():

SELECT TOP [number] 
FROM table_name
ORDER BY RAND(CHECKSUM(*) * RAND())

W MySQL możesz to zrobić:

SELECT `PRIMARY_KEY`, rand() FROM table ORDER BY rand() LIMIT 5000;

Nie widziałem jeszcze tej zmiany w odpowiedziach. Miałem dodatkowe ograniczenie, gdzie potrzebowałem, biorąc pod uwagę początkowe ziarno, aby wybrać ten sam zestaw wierszy za każdym razem.

W przypadku MS SQL:

Minimalny przykład:

select top 10 percent *
from table_name
order by rand(checksum(*))

Znormalizowany czas wykonania: 1,00

Przykład NewId ():

select top 10 percent *
from table_name
order by newid()

Znormalizowany czas wykonania: 1,02

NewId()jest nieznacznie wolniejszy niż rand(checksum(*)), więc możesz nie chcieć używać go do dużych zestawów płyt.

Wybór z początkowym nasionem:

declare @seed int
set @seed = Year(getdate()) * month(getdate()) /* any other initial seed here */

select top 10 percent *
from table_name
order by rand(checksum(*) % @seed) /* any other math function here */

Jeśli musisz wybrać ten sam zestaw dla danego ziarna, wydaje się, że to działa.

Spróbuj tego:

SELECT TOP 10 Field1, ..., FieldN
FROM Table1
ORDER BY NEWID()

Wygląda na to, że newid () nie może być użyte w klauzuli where, więc to rozwiązanie wymaga wewnętrznego zapytania:

SELECT *
FROM (
    SELECT *, ABS(CHECKSUM(NEWID())) AS Rnd
    FROM MyTable
) vw
WHERE Rnd % 100 < 10        --10%

Użyłem go w podzapytaniu i zwróciło mi to samo wiersze w podzapytaniu

 SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

następnie rozwiązałem z włączeniem zmiennej tabeli nadrzędnej gdzie

SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              Where Mytable.ID>0
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

Zwróć uwagę na to, gdzie warunki

Używany język przetwarzania po stronie serwera (np. PHP, .net itp.) Nie jest określony, ale jeśli jest to PHP, należy pobrać wymaganą liczbę (lub wszystkie rekordy) i zamiast losowo w zapytaniu użyć funkcji losowego PHP. Nie wiem, czy .net ma równoważną funkcję, ale jeśli tak, użyj jej, jeśli używasz .net

ORDER BY RAND () może mieć dość negatywny wpływ na wydajność, w zależności od liczby rekordów.

To działa dla mnie:

SELECT * FROM table_name
ORDER BY RANDOM()
LIMIT [number]