Como melhorar o tempo de resposta do servidor?

O que posso fazer, além de usar um plug-in de cache como o jotcache, para melhorar o tempo de resposta do servidor do meu site? Eu já removi todos os módulos, plugins e componentes de artigos inativos. Há algo mais que eu possa fazer para melhorá-lo? Estou falando sobre o tempo antes do cliente...