Altere o tipo de campo varchar para inteiro: "não pode ser convertido automaticamente para o tipo inteiro"

Eu tenho uma tabela pequena e um determinado campo contém o tipo " caractere variável ". Estou tentando alterá-lo para " Inteiro ", mas dá um erro que a conversão não é possível. Existe uma maneira de contornar isso ou devo apenas criar outra tabela e trazer os registros para ele usando uma...