Dlaczego „Wybierz * z tabeli” jest uważane za złą praktykę

Wczoraj rozmawiałem z programistą „hobby” (sam jestem profesjonalnym programistą). Spotkaliśmy się z niektórymi jego pracami i powiedział, że zawsze odpytuje wszystkie kolumny w swojej bazie danych (nawet na / w serwerze / kodzie produkcyjnym).

Próbowałem go przekonać, żeby tego nie robił, ale nie odniosłem jeszcze takiego sukcesu. Moim zdaniem programista powinien zapytać tylko, co jest faktycznie potrzebne ze względu na „ładność”, wydajność i ruch. Czy mylę się z moim poglądem?

Pomyśl o tym, co otrzymujesz i jak powiążesz je ze zmiennymi w kodzie.

Zastanów się teraz, co się stanie, gdy ktoś zaktualizuje schemat tabeli, aby dodać (lub usunąć) kolumnę, nawet taką, z której nie korzystasz bezpośrednio.

Używanie select * podczas pisania zapytań ręcznie jest w porządku, a nie podczas pisania zapytań o kod.

Zmiany schematu

• Pobierz według kolejności --- Jeśli kod pobiera kolumnę # jako sposób na uzyskanie danych, zmiana schematu spowoduje ponowne dostosowanie numerów kolumn. Spowoduje to zepsucie aplikacji i zdarzają się złe rzeczy.
• Pobierz według nazwy --- Jeśli kod pobiera kolumnę według nazwy, na przykład foo, a inna tabela w zapytaniu dodaje kolumnę foo, sposób, w jaki jest ona obsługiwana, może powodować problemy przy próbie uzyskania właściwej foo kolumny.

Tak czy inaczej zmiana schematu może powodować problemy z wyodrębnieniem danych.

Ponadto rozważ, czy używana kolumna została usunięta z tabeli. select * from ...Nadal działa, ale błędy się, kiedy próbuje wyciągnąć dane z tabeli wynikowej. Jeśli kolumna jest podana w zapytaniu, zapytanie spowoduje błąd, dając wyraźne wskazanie, co i gdzie jest problem.

Obciążenie danych

Niektóre kolumny mogą być powiązane z dużą ilością danych. Wybranie z powrotem *spowoduje pobranie wszystkich danych. Tak, oto varchar(4096)to na 1000 wierszy, które wybrałeś z powrotem, dając ci dodatkowe 4 megabajty danych, których nie potrzebujesz, ale i tak są przesyłane przez sieć.

W związku ze zmianą schematu, ten varchar może nie istnieć tam, kiedy tworzyłeś tabelę po raz pierwszy, ale teraz ona tam jest.

Brak przekazania zamiaru

Gdy wybierzesz z powrotem *i otrzymasz 20 kolumn, ale potrzebujesz tylko 2 z nich, nie przekazujesz zamiaru kodu. Patrząc na zapytanie, które select *je wykonuje, nie wiadomo, jakie są jego ważne części. Czy mogę zmienić zapytanie, aby użyć tego innego planu, aby przyspieszyć, nie uwzględniając tych kolumn? Nie wiem, ponieważ cel tego, co zwraca zapytanie, nie jest jasny.

Przyjrzyjmy się niektórym skrzypkom SQL, które eksplorują nieco zmiany schematu .

Po pierwsze, początkowa baza danych: http://sqlfiddle.com/#!2/a67dd/1

DDL:

create table one (oneid int, data int, twoid int);
create table two (twoid int, other int);

insert into one values (1, 42, 2);
insert into two values (2, 43);

SQL:

select * from one join two on (one.twoid = two.twoid);

A kolumny wrócisz to oneid=1, data=42, twoid=2, i other=43.

Co się stanie, jeśli dodam kolumnę do tabeli pierwszej? http://sqlfiddle.com/#!2/cd0b0/1

alter table one add column other text;

update one set other = 'foo';

I moje wyniki z tego samego zapytania, jak wcześniej to oneid=1, data=42, twoid=2, i other=foo.

Zmiana w jednej z tabel zaburza wartości a select *i nagle twoje powiązanie „innego” z int spowoduje zgłoszenie błędu i nie wiesz dlaczego.

Jeśli zamiast tego twoja instrukcja SQL była

select 
    one.oneid, one.data, two.twoid, two.other
from one join two on (one.twoid = two.twoid);

Zmiana w tabeli pierwszej nie zakłóciłaby danych. To zapytanie działa tak samo przed zmianą i po zmianie.

Indeksowanie

Kiedy robisz a select * from, ciągniesz wszystkie wiersze z wszystkich tabel, które pasują do warunków. Nawet stoły, na których tak naprawdę nie zależy. Chociaż oznacza to, że przesyłanych jest więcej danych, w dalszej części stosu czai się inny problem z wydajnością.

Indeksy (powiązane z SO: Jak używać indeksu w instrukcji select? )

Jeśli wycofujesz wiele kolumn, optymalizator planu bazy danych może zignorować użycie indeksu, ponieważ i tak będziesz musiał pobrać wszystkie te kolumny, a użycie indeksu i pobranie wszystkich kolumn w zapytaniu zajęłoby więcej czasu. niż byłoby po prostu wykonać pełne skanowanie tabeli.

Jeśli po prostu wybierasz, powiedzmy, nazwisko użytkownika (które często robisz, a więc masz na nim indeks), baza danych może wykonać skanowanie tylko indeksu (skanowanie tylko indeksu postgres wiki , pełne skanowanie tabeli mysql vs pełne skanowania indeksu , indeksu Tylko scan: Unikanie tabeli programu Access ).

Jeśli jest to możliwe, istnieje sporo optymalizacji dotyczących odczytu tylko z indeksów. Informacje mogą być pobierane szybciej na każdej stronie indeksu, ponieważ również pobierasz mniej - nie pobierasz wszystkich innych kolumn dla select *. Możliwe jest, że skanowanie tylko indeksu zwraca wyniki 100 razy szybciej (źródło: Wybierz * jest złe ).

Nie oznacza to, że pełne skanowanie indeksu jest świetne, nadal jest to pełne skanowanie - ale jest lepsze niż skanowanie pełnego stołu. Kiedy zaczniesz ścigać wszystkie sposoby, które select *szkodzą wydajności, wciąż znajdujesz nowe.

Powiązane czytanie

• Zamieszanie na temat właściwego użycia * symbolu wieloznacznego w SQL
• (Przepełnienie stosu): wybierz * vs wybierz kolumnę
• (Przepełnienie stosu): Dlaczego SELECT * jest uważany za szkodliwy?

Kolejny problem: jeśli jest to JOINzapytanie, a wyniki zapytania są pobierane do tablicy asocjacyjnej (jak w przypadku PHP), jest podatne na błędy.

Chodzi o to, że

1. jeśli tabela fooma kolumny idiname
2. jeśli tabela barma kolumny idi address,
3. i w kodzie, którego używasz SELECT * FROM foo JOIN bar ON foo.id = bar.id

zgadnij, co się stanie, gdy ktoś doda kolumnę namedo bartabeli.

Kod nagle przestanie działać poprawnie, ponieważ teraz namekolumna pojawia się w wynikach dwa razy, a jeśli przechowujesz wyniki w tablicy, dane z second name( bar.name) zastąpią pierwszą name( foo.name)!

To dość paskudny błąd, ponieważ jest bardzo nieoczywisty. To może chwilę potrwać, a osoba dodająca kolejną kolumnę do stołu nie mogła przewidzieć takiego niepożądanego efektu ubocznego.

(Prawdziwa historia).

Więc nie używaj *, kontroluj, które kolumny pobierasz i używaj aliasów tam, gdzie jest to właściwe.

W wielu przypadkach zapytanie każdej kolumny może być całkowicie uzasadnione.

Zawsze zapytanie o każdą kolumnę nie jest.

Jest to więcej pracy dla silnika bazy danych, który musi się uruchomić i przeszukiwać wewnętrzne metadane, aby dowiedzieć się, z którymi kolumnami musi się uporać, zanim będzie mógł zająć się prawdziwym biznesem polegającym na otrzymywaniu danych i wysyłaniu ich z powrotem do ciebie. OK, nie jest to największy narzut na świecie, ale katalogi systemowe mogą być znaczącym wąskim gardłem.

To więcej pracy dla Twojej sieci, ponieważ wycofujesz dowolną liczbę pól, gdy możesz chcieć tylko jednego lub dwóch z nich. Jeśli ktoś [inny] pójdzie i doda kilka tuzinów dodatkowych pól, z których wszystkie zawierają duże fragmenty tekstu, twoja przepustowość nagle przejdzie przez podłogę - bez wyraźnego powodu. Sytuacja staje się jeszcze gorsza, jeśli twoja klauzula „where” nie jest szczególnie dobra, a także wycofujesz wiele wierszy - to potencjalnie dużo danych wędruje przez sieć do ciebie (tj. Będzie wolno).

To więcej pracy dla Twojej aplikacji, konieczność wycofania i zapisania wszystkich tych dodatkowych danych, które prawdopodobnie nie obchodzą.

Ryzykujesz, że kolumny zmienią ich kolejność. OK, nie powinieneś się tym martwić (i nie zrobisz tego, jeśli wybierzesz tylko kolumny, których potrzebujesz), ale jeśli przejdziesz do nich wszystkie naraz, a ktoś [inny] zdecyduje się zmienić kolejność kolumn w tabeli , ten starannie spreparowany eksport CSV, który przekazujesz kontom w korytarzu, nagle przechodzi do puli - znowu, bez wyraźnego powodu.

BTW, kilka razy mówiłem „ktoś [jeszcze]”. Pamiętaj, że bazy danych są z natury wieloużytkownikowe; możesz nie mieć nad nimi kontroli, tak jak myślisz.

Krótka odpowiedź brzmi: zależy od tego, jakiej bazy danych używają. Relacyjne bazy danych są zoptymalizowane do wydobywania potrzebnych danych w szybki, niezawodny i atomowy sposób. W przypadku dużych zestawów danych i złożonych zapytań jest to znacznie szybsze i prawdopodobnie bezpieczniejsze niż WYBIERANIE * i wykonuje równoważenie złączeń po stronie „kodu”. Magazyny klucz-wartość mogą nie mieć zaimplementowanych takich funkcji lub mogą nie być wystarczająco dojrzałe, aby można je było wykorzystać w produkcji.

To powiedziawszy, nadal możesz wypełnić dowolną strukturę danych za pomocą SELECT * i wypracować resztę kodu, ale znajdziesz wąskie gardła wydajności, jeśli chcesz skalować.

Najbliższym porównaniem jest sortowanie danych: możesz użyć szybkiego sortowania lub bąbelkowego, a wynik będzie poprawny. Ale nie zostanie zoptymalizowany i na pewno będą mieć problemy, gdy wprowadzisz współbieżność i będziesz musiał sortować atomowo.

Oczywiście taniej jest dodawać pamięć RAM i procesory niż inwestować w programistę, który potrafi wykonywać zapytania SQL, a nawet ma niejasne zrozumienie, czym jest JOIN.

IMO polega na byciu jawnym a niejawnym. Kiedy piszę kod, chcę, żeby działał, ponieważ sprawiłem, że działał, a nie tylko dlatego, że wszystkie części po prostu tam były. Jeśli przeszukujesz wszystkie rekordy, a Twój kod działa, będziesz miał tendencję do przechodzenia dalej. Później, jeśli coś się zmieni, a teraz twój kod nie działa, królewskim problemem jest debugowanie wielu zapytań i funkcji szukających wartości, która powinna tam być, a jedynymi wartościami odniesienia są *.

Również w podejściu wielopoziomowym nadal najlepiej jest izolować zakłócenia schematu bazy danych w warstwie danych. Jeśli warstwa danych przechodzi * do logiki biznesowej i najprawdopodobniej na warstwę prezentacji, rozszerzasz zakres debugowania wykładniczo.

ponieważ jeśli tabela otrzyma nowe kolumny, otrzymasz je wszystkie, nawet jeśli ich nie potrzebujesz. dzięki varcharstemu może stać się wiele dodatkowych danych, które muszą być przesyłane z bazy danych

niektóre optymalizacje DB mogą również wyodrębnić rekordy o nieokreślonej długości do osobnego pliku, aby przyspieszyć dostęp do części o stałej długości, używając select * pokonuje cel tego

Oprócz narzutu, czegoś, czego przede wszystkim chcesz uniknąć, powiedziałbym, że jako programista nie polegasz na kolejności kolumn zdefiniowanej przez administratora bazy danych. Wybierz każdą kolumnę, nawet jeśli potrzebujesz ich wszystkich.

Nie widzę żadnego powodu, dla którego nie powinieneś używać go do celu, w którym jest budowany - pobierz wszystkie kolumny z bazy danych. Widzę trzy przypadki:

1. Kolumna jest dodawana do bazy danych i chcesz ją również w kodzie. a) Z * zakończy się niepowodzeniem z prawidłowym komunikatem. b) Bez * będzie działać, ale nie zrobi tego, czego oczekujesz, co jest dość złe.

2. Kolumna jest dodawana do bazy danych i nie jest wymagana w kodzie. a) Z * zawiedzie; oznacza to, że * nie ma już zastosowania, ponieważ jego semantyka oznacza „pobierz wszystko”. b) Bez * będzie działać.

3. Usunięto kolumnę Kod nie powiedzie się w żaden sposób.

Teraz najczęstszym przypadkiem jest przypadek 1 (ponieważ użyłeś *, co oznacza, że ​​najprawdopodobniej chcesz wszystkiego); bez * możesz mieć kod, który działa dobrze, ale nie działa zgodnie z oczekiwaniami, co jest znacznie, a najgorsze, kod, który nie działa z odpowiednim komunikatem błędu .

Nie biorę pod uwagę kodu, który pobiera dane kolumny na podstawie indeksu kolumny, który moim zdaniem jest podatny na błędy. Odzyskiwanie go na podstawie nazwy kolumny jest znacznie bardziej logiczne.

Pomyśl o tym w ten sposób ... jeśli przeszukujesz wszystkie kolumny z tabeli zawierającej tylko kilka małych ciągów lub pól numerycznych, to łącznie 100 000 danych. Zła praktyka, ale się spełni. Teraz dodaj jedno pole, które zawiera, powiedzmy, obraz lub dokument tekstowy o wielkości 10 MB. teraz twoje szybko wykonujące zapytanie natychmiast i w tajemniczy sposób zaczynają słabo działać, tylko dlatego, że pole zostało dodane do tabeli ... możesz nie potrzebować tego ogromnego elementu danych, ale ponieważ już to Select * from Tablezrobiłeś.