Sim é possivel. Você pode usar a --parallel
opção desde a versão docker-compositer 1.23.2.
A versão 1.23.2 também corrige o bug 1.23.0:
Revertida uma alteração 1.23.0 que anexava seqüências aleatórias aos nomes de contêineres criados pelo docker-compose up, causando problemas de endereçamento. Nota: Os contêineres criados pela execução docker-compose continuarão usando nomes gerados aleatoriamente para evitar colisões durante execuções paralelas.
https://github.com/docker/compose/releases/tag/1.23.2
Você pode usá-lo simplesmente fazendo:
docker-compose build --parallel