O que é um IndexOutOfRangeException / ArgumentOutOfRangeException e como corrigi-lo?

Eu tenho algum código e, quando executado, lança um IndexOutOfRangeException, dizendo: O índice estava fora dos limites da matriz. O que isso significa e o que posso fazer sobre isso? Dependendo das classes utilizadas, também pode ser ArgumentOutOfRangeException Ocorreu uma exceção do tipo...