Jak uruchomić testową bazę danych Django tylko w pamięci?

Moje testy jednostkowe Django trwają długo, więc szukam sposobów, aby to przyspieszyć. Rozważam zainstalowanie dysku SSD , ale wiem, że ma to też swoje wady. Oczywiście są rzeczy, które mógłbym zrobić z moim kodem, ale szukam poprawki strukturalnej. Nawet wykonanie pojedynczego testu jest powolne, ponieważ za każdym razem należy odbudować bazę danych / migrować na południe. Oto mój pomysł ...

Ponieważ wiem, że testowa baza danych zawsze będzie dość mała, dlaczego nie mogę po prostu skonfigurować systemu tak, aby zawsze przechowywać całą testową bazę danych w pamięci RAM? Nigdy nie dotykaj dysku. Jak to skonfigurować w Django? Wolałbym nadal używać MySQL, ponieważ tego właśnie używam w produkcji, ale jeśli SQLite  3 lub coś innego ułatwi to, pójdę w ten sposób.

Czy SQLite lub MySQL mają opcję uruchamiania w całości w pamięci? Powinno być możliwe skonfigurowanie dysku RAM, a następnie skonfigurowanie testowej bazy danych tak, aby przechowywała tam swoje dane, ale nie jestem pewien, jak powiedzieć Django / MySQL, aby używał innego katalogu danych dla określonej bazy danych, zwłaszcza że jest ona ciągle wymazywana i odtwarzałem każdy bieg. (Jestem na komputerze Mac FWIW.)

Jeśli podczas wykonywania testów ustawisz silnik bazy danych na sqlite3, Django użyje bazy danych w pamięci .

Używam takiego kodu w moim, settings.pyaby ustawić silnik na sqlite podczas wykonywania moich testów:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Lub w Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

I wreszcie w Django 1.3 i 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Pełna ścieżka do zaplecza nie jest bezwzględnie konieczna w Django 1.3, ale sprawia, że ​​ustawienie jest zgodne z kolejnymi wersjami).

Możesz również dodać następujący wiersz, jeśli masz problemy z migracjami na południe:

    SOUTH_TESTS_MIGRATE = False

Zwykle tworzę osobny plik ustawień do testów i używam go w poleceniu testowym np

python manage.py test --settings=mysite.test_settings myapp

Ma dwie zalety:

1. Nie musisz sprawdzać, testczy takie magiczne słowo w sys.argv test_settings.pymoże po prostu być

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Lub możesz dodatkowo dostosować go do swoich potrzeb, wyraźnie oddzielając ustawienia testowe od ustawień produkcyjnych.

2. Kolejną korzyścią jest to, że możesz uruchomić test z produkcyjnym silnikiem bazy danych zamiast sqlite3, unikając subtelnych błędów, więc podczas programowania

   python manage.py test --settings=mysite.test_settings myapp

   a przed zatwierdzeniem kodu uruchom raz

   python manage.py test myapp

   tylko po to, aby mieć pewność, że wszystkie testy naprawdę zdały.

MySQL obsługuje mechanizm magazynowania o nazwie „MEMORY”, który można skonfigurować w konfiguracji bazy danych ( settings.py) jako taki:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Pamiętaj, że silnik magazynu MEMORY nie obsługuje kolumn blob / text, więc jeśli używasz django.db.models.TextFieldtego, nie zadziała.

Nie mogę odpowiedzieć na twoje główne pytanie, ale jest kilka rzeczy, które możesz zrobić, aby przyspieszyć działanie.

Po pierwsze, upewnij się, że Twoja baza danych MySQL jest skonfigurowana do korzystania z InnoDB. Następnie może użyć transakcji do przywrócenia stanu bazy danych przed każdym testem, co z mojego doświadczenia doprowadziło do ogromnego przyspieszenia. Możesz przekazać polecenie init bazy danych w swoim pliku settings.py (składnia Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Po drugie, nie musisz za każdym razem uruchamiać migracji na południe. Ustaw SOUTH_TESTS_MIGRATE = Falsew swoim settings.py, a baza danych zostanie utworzona przy użyciu zwykłej syncdb, co będzie znacznie szybsze niż wykonanie wszystkich historycznych migracji.

Możesz wykonać podwójne ulepszenia:

• użyj tabel transakcyjnych: początkowy stan urządzeń zostanie ustawiony za pomocą wycofywania bazy danych po każdym TestCase.
• umieść katalog danych swojej bazy danych na ramdysku: zyskasz dużo jeśli chodzi o tworzenie bazy danych, a także uruchomienie testu będzie szybsze.

Używam obu sztuczek i jestem całkiem zadowolony.

Jak skonfigurować go dla MySQL na Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Uwaga, to tylko do testów, po ponownym uruchomieniu baza danych z pamięci zostaje utracona!

Inne podejście: uruchom inną instancję MySQL w tempfs, która używa dysku RAM. Instrukcje w tym wpisie na blogu: Przyspieszenie MySQL do testowania w Django .

Zalety:

• Używasz dokładnie tej samej bazy danych, z której korzysta Twój serwer produkcyjny
• nie ma potrzeby zmieniania domyślnej konfiguracji mysql

Rozszerzając odpowiedź Anuraga, uprościłem proces, tworząc te same ustawienia test_settings i dodając następujące do manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

wydaje się czystszy, ponieważ sys jest już zaimportowany, a manage.py jest używany tylko z wiersza poleceń, więc nie ma potrzeby zaśmiecania ustawień

Użyj poniżej w swoim setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'