Sim, a tensão de abandono é a margem de manobra com a qual o regulador precisa trabalhar. Esse é o valor mínimo em que a tensão de entrada deve estar acima da tensão de saída para que o regulador funcione corretamente. Então, como você diz, um regulador de 3,3 V com abandono de 1,1 V requer entrada de pelo menos 4,4 V.
As coisas acontecem, então geralmente é uma boa ideia dar um pouco mais de espaço ao regulador. No entanto, ir longe demais será menos eficiente, portanto há uma troca. O intervalo que você cita de 4,75 a 5,25 volts pode muito bem ser uma troca razoável. Basicamente, esse é um suprimento de "5 V".
A corrente de saída de um regulador linear é a corrente de entrada (menos a pequena corrente no pino de terra, mas é pequena o suficiente para ser ignorada no ponto que estou tentando fazer). Como a tensão de entrada é maior que a saída, mas as correntes são iguais, a saída tem menos energia. A diferença na potência de entrada e na potência de saída é desperdiçada no regulador como calor. Outra maneira de analisar isso é que o regulador dissipará a diferença entre as tensões de entrada e saída vezes a corrente como calor. Por exemplo, considere um caso em que a entrada é 5,0 V, a saída 3,3 V e os atuais 500 mA. A tensão no regulador é de 5.0V - 3.3V = 1.7V. Isso significa que 500 mA são 850 mW, que serão utilizados no aquecimento do regulador. Isso seria bom para algo como um pacote TO-220, mas um SOT-23, por exemplo, queimaria a 850 mW.