Como monitoro o uso do núcleo da CPU por thread?

Preciso dessas informações para otimizar o número de threads de trabalho que meu aplicativo personalizado está alocando.

Por exemplo, se eu apenas usar topem um aplicativo de thread único em uma máquina de dois núcleos, o uso de 100% da CPU não informa se ainda há capacidade não utilizada na forma do outro núcleo !

Que tipo de ferramentas de monitoramento posso usar para detectar a diferença?

Use htop. Possui muito mais recursos do que top, incluindo mostrar segmentos individuais e uso individual da CPU, etc.

http://manpages.ubuntu.com/manpages/oneiric/man1/htop.1.html

Quando estiver no topo, pressione 1, isso mostrará o uso por núcleo. Talvez seja o que você precisa?