Sim você está correto. O problema é o X11, o XQuartz e a falta de suporte para o Retina Display. Esse é um problema conhecido há muito tempo .
No encadeamento vinculado, jeremyhu afirma:
O X11 simplesmente não funciona bem para resoluções fora da faixa de 72 a 90 DPI. Esse é um problema do X11 upstream que precisa ser resolvido antes que possamos realmente fazer algo sobre isso no XQuartz.
Não tenho certeza se isso o ajudará, mas pelo menos desde agosto passado , o RealVNC oferece suporte a telas Retina.
Além disso, você pode tentar executar o X11 com a tela Retinia em resolução total para ver se isso atenua o problema. Você pode fazer isso com o SwitchResX, entre outros softwares disponíveis para acessar outras resoluções.
O SwitchResX é um aplicativo comercial de terceiros, mas está disponível para teste gratuito e para download . Provavelmente, porque é tecnicamente um truque usar a resolução total dos Retina Displays, parece não estar disponível na Mac App Store.
Outra opção a tentar é usar a tecnologia nxclient / nxserver do NoMachine . Não consigo encontrar nada que diga que ele possui suporte ao Retina Display, mas uma postagem em seus fóruns me leva a acreditar que há pelo menos algum suporte para as resoluções do Retina Display na versão atual.