Como executar o banco de dados de teste do Django apenas na memória?

Meus testes de unidade do Django levam muito tempo para serem executados, então estou procurando maneiras de acelerar isso. Estou pensando em instalar um SSD , mas sei que também tem suas desvantagens. Claro, há coisas que eu poderia fazer com meu código, mas estou procurando uma correção estrutural. Mesmo a execução de um único teste é lenta, pois o banco de dados precisa ser reconstruído / migrado para o sul toda vez. Então aqui está a minha ideia ...

Como sei que o banco de dados de teste sempre será muito pequeno, por que não consigo simplesmente configurar o sistema para manter sempre o banco de dados de teste inteiro na RAM? Nunca toque no disco. Como eu configuro isso no Django? Eu preferiria continuar usando o MySQL, já que é isso que uso na produção, mas se o SQLite  3 ou algo mais facilita isso, eu continuaria assim.

O SQLite ou o MySQL tem uma opção para executar inteiramente na memória? Deveria ser possível configurar um disco RAM e, em seguida, configurar o banco de dados de teste para armazenar seus dados lá, mas não sei como instruir o Django / MySQL a usar um diretório de dados diferente para um determinado banco de dados, especialmente porque ele continua sendo apagado e recriou cada corrida. (Estou em um Mac FWIW.)

Se você definir seu mecanismo de banco de dados como sqlite3 ao executar seus testes, o Django usará um banco de dados na memória .

Estou usando um código como este settings.pypara definir o mecanismo como sqlite ao executar meus testes:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Ou no Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

E finalmente no Django 1.3 e 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(O caminho completo para o back-end não é estritamente necessário com o Django 1.3, mas torna a configuração compatível.)

Você também pode adicionar a seguinte linha, caso esteja tendo problemas com as migrações do Sul:

    SOUTH_TESTS_MIGRATE = False

Normalmente, crio um arquivo de configurações separado para testes e o uso no comando test, por exemplo

python manage.py test --settings=mysite.test_settings myapp

Tem dois benefícios:

1. Você não precisa procurar testou qualquer palavra mágica em sys.argv test_settings.pypode simplesmente ser

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}
   

   Ou você pode ajustá-lo ainda mais para suas necessidades, separando claramente as configurações de teste das configurações de produção.

2. Outro benefício é que você pode executar o teste com o mecanismo de banco de dados de produção em vez do sqlite3, evitando erros sutis, portanto, ao desenvolver o uso

   python manage.py test --settings=mysite.test_settings myapp

   e antes de confirmar o código, execute uma vez

   python manage.py test myapp

   só para ter certeza de que todos os testes estão realmente passando.

O MySQL suporta um mecanismo de armazenamento chamado "MEMORY", que você pode configurar em seu banco de dados config ( settings.py) como:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Observe que o mecanismo de armazenamento MEMORY não suporta colunas de blob / texto; portanto, se você estiver usando django.db.models.TextFieldisso, não funcionará para você.

Não consigo responder à sua pergunta principal, mas há algumas coisas que você pode fazer para acelerar as coisas.

Primeiramente, verifique se o seu banco de dados MySQL está configurado para usar o InnoDB. Em seguida, ele pode usar transações para reverter o estado do banco de dados antes de cada teste, o que, na minha experiência, levou a uma aceleração maciça. Você pode passar um comando init do banco de dados em seu settings.py (sintaxe do Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Em segundo lugar, você não precisa executar as migrações sul cada vez. Defina SOUTH_TESTS_MIGRATE = Falseem settings.py e o banco de dados será criado com o syncdb simples, que será muito mais rápido do que executar todas as migrações históricas.

Você pode fazer ajustes duplos:

• usar tabelas transacionais: o estado inicial dos equipamentos será definido usando a reversão do banco de dados após cada TestCase.
• coloque o diretório de dados do banco de dados no ramdisk: você ganhará muito no que diz respeito à criação do banco de dados e a execução do teste será mais rápida.

Estou usando os dois truques e estou muito feliz.

Como configurá-lo para o MySQL no Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Cuidado, é apenas para teste, após a reinicialização do banco de dados da memória ser perdida!

Outra abordagem: tenha outra instância do MySQL executando em um tempfs que use um disco RAM. Instruções nesta postagem do blog: Acelerando o MySQL para testes no Django .

Vantagens:

• Você usa exatamente o mesmo banco de dados usado pelo servidor de produção
• não é necessário alterar sua configuração padrão do mysql

Estendendo a resposta de Anurag, simplifiquei o processo criando as mesmas test_settings e adicionando o seguinte a manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

parece mais limpo, pois o sys já foi importado e o manage.py é usado apenas via linha de comando, portanto, não é necessário desorganizar as configurações

Use abaixo em seu setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'