Por que é permitido executar código Java em comentários com certos caracteres Unicode?

O código a seguir produz a saída "Hello World!" (realmente não, tente).

public static void main(String... args) {

   // The comment below is not a typo.
   // \u000d System.out.println("Hello World!");
}

A razão para isso é que o compilador Java analisa o caractere Unicode \u000dcomo uma nova linha e é transformado em:

public static void main(String... args) {

   // The comment below is not a typo.
   //
   System.out.println("Hello World!");
}

Assim, resultando em um comentário sendo "executado".

Como isso pode ser usado para "ocultar" códigos maliciosos ou o que um programador mal possa conceber, por que é permitido nos comentários ?

Por que isso é permitido pela especificação Java?

A decodificação Unicode ocorre antes de qualquer outra tradução lexical. O principal benefício disso é que torna trivial a alternância entre ASCII e qualquer outra codificação. Você nem precisa descobrir onde os comentários começam e terminam!

Conforme declarado na Seção 3.3 do JLS, isso permite que qualquer ferramenta baseada em ASCII processe os arquivos de origem:

[...] A linguagem de programação Java especifica uma maneira padrão de transformar um programa escrito em Unicode em ASCII que altera um programa em um formulário que pode ser processado por ferramentas baseadas em ASCII. [...]

Isso fornece uma garantia fundamental para a independência da plataforma (independência dos conjuntos de caracteres suportados), que sempre foi um objetivo principal da plataforma Java.

Ser capaz de escrever qualquer caractere Unicode em qualquer lugar do arquivo é um recurso interessante e especialmente importante nos comentários ao documentar o código em idiomas não latinos. O fato de poder interferir com a semântica de maneiras tão sutis é apenas um efeito colateral (infeliz).

Existem muitas dicas sobre esse tema e os Java Puzzlers de Joshua Bloch e Neal Gafter incluíram a seguinte variante:

Este é um programa Java legal? Se sim, o que é impresso?

\u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020\u0020
\u0063\u006c\u0061\u0073\u0073\u0020\u0055\u0067\u006c\u0079
\u007b\u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020
\u0020\u0020\u0020\u0020\u0073\u0074\u0061\u0074\u0069\u0063
\u0076\u006f\u0069\u0064\u0020\u006d\u0061\u0069\u006e\u0028
\u0053\u0074\u0072\u0069\u006e\u0067\u005b\u005d\u0020\u0020
\u0020\u0020\u0020\u0020\u0061\u0072\u0067\u0073\u0029\u007b
\u0053\u0079\u0073\u0074\u0065\u006d\u002e\u006f\u0075\u0074
\u002e\u0070\u0072\u0069\u006e\u0074\u006c\u006e\u0028\u0020
\u0022\u0048\u0065\u006c\u006c\u006f\u0020\u0077\u0022\u002b
\u0022\u006f\u0072\u006c\u0064\u0022\u0029\u003b\u007d\u007d

(Este programa acaba sendo um programa simples "Hello World".)

Na solução para o quebra-cabeças, eles apontam o seguinte:

Mais seriamente, esse quebra-cabeça serve para reforçar as lições dos três anteriores: escapamentos Unicode são essenciais quando você precisa inserir caracteres que não podem ser representados de nenhuma outra maneira no seu programa. Evite-os em todos os outros casos.

Fonte: Java: Executando código nos comentários ?!

Como isso ainda não foi abordado, aqui está uma explicação de por que a tradução de Unicode escapa ocorre antes de qualquer outro processamento de código-fonte:

A idéia por trás disso era que ela permite traduções sem perdas do código-fonte Java entre diferentes codificações de caracteres. Hoje, há amplo suporte a Unicode, e isso não parece um problema, mas naquela época não era fácil para um desenvolvedor de um país ocidental receber algum código-fonte de seu colega asiático contendo caracteres asiáticos, fazer algumas alterações ( incluindo compilar e testá-lo) e enviar o resultado de volta, tudo sem danificar nada.

Portanto, o código-fonte Java pode ser escrito em qualquer codificação e permite uma ampla variedade de caracteres dentro de identificadores, caracteres e Stringliterais e comentários. Em seguida, para transferi-lo sem perdas, todos os caracteres não suportados pela codificação de destino são substituídos por seus escapes Unicode.

Esse é um processo reversível e o ponto interessante é que a tradução pode ser feita por uma ferramenta que não precisa saber nada sobre a sintaxe do código-fonte Java, pois a regra de tradução não depende dela. Isso funciona como a tradução para seus caracteres Unicode reais dentro do compilador também acontece independentemente da sintaxe do código-fonte Java. Isso implica que você pode executar um número arbitrário de etapas de tradução em ambas as direções sem alterar o significado do código-fonte.

Este é o motivo de outro recurso estranho que nem sequer mencionou: a \uuuuuuxxxxsintaxe:

Quando uma ferramenta de tradução está escapando de caracteres e encontra uma sequência que já é uma sequência de escape, ela deve inserir um adicional una sequência, convertendo \ucafepara \uucafe. O significado não muda, mas ao converter para outra direção, a ferramenta deve apenas remover umau e substituir apenas as seqüências que contêm uma única upor seus caracteres Unicode. Dessa forma, até as fugas Unicode são mantidas em sua forma original ao converter para frente e para trás. Eu acho que ninguém nunca usou esse recurso ...

Vou acrescentar de maneira completamente ineficaz o argumento, só porque não posso me ajudar e ainda não o vi fazer, que a pergunta é inválida, pois contém uma premissa oculta que está errada, ou seja, que o código está dentro um comentário!

No código-fonte Java, \ u000d é equivalente em todos os aspectos a um caractere ASCII CR. É um final de linha, puro e simples, onde quer que ocorra. A formatação na pergunta é enganosa, ao que essa sequência de caracteres realmente sintaticamente corresponde é:

public static void main(String... args) {
   // The comment below is no typo. 
   // 
 System.out.println("Hello World!");
}

IMHO, a resposta mais correta é, portanto: o código é executado porque não está em um comentário; está na próxima linha. "Executar código nos comentários" não é permitido em Java, como você esperaria.

Grande parte da confusão decorre do fato de que marcadores de sintaxe e IDEs não são sofisticados o suficiente para levar essa situação em consideração. Eles não processam os escapes unicode ou o fazem depois de analisar o código em vez de antes, como o javacfazem.

A \u000dfuga termina um comentário porque as \ufugas são convertidas uniformemente nos caracteres Unicode correspondentes antes que o programa seja tokenizado. Você poderia igualmente usar \u0057\u0057em vez de //para começar um comentário.

Este é um erro no seu IDE, que deve destacar a linha na sintaxe para deixar claro que o \u000dfinal do comentário é finalizado.

Este também é um erro de design no idioma. Não pode ser corrigido agora, porque isso interromperia os programas que dependem dele. \uescapes devem ser convertidos no caractere Unicode correspondente pelo compilador apenas em contextos em que isso "faz sentido" (literais e identificadores de string e provavelmente em nenhum outro lugar) ou devem ter sido proibidos de gerar caracteres no intervalo U + 0000–007F , ou ambos. Qualquer uma dessas semânticas teria impedido que o comentário fosse encerrado pela \u000dfuga, sem interferir nos casos em que \uescapes são úteis - observe que isso inclui o uso de \uescapes nos comentários como uma maneira de codificar comentários em um script não latino. editor de texto poderia ter uma visão mais ampla de onde\uescapes são significativos do que o compilador. (Não conheço nenhum editor ou IDE que exiba \uescapes como os caracteres correspondentes em qualquer contexto.)

Há um erro de design semelhante na família C, ^{1 em} que a barra invertida é processada antes que os limites do comentário sejam determinados, por exemplo,

// this is a comment \
   this is still in the comment!

Trago isso para ilustrar que é fácil cometer esse erro de design específico, e não percebo que é um erro até que seja tarde demais para corrigi-lo, se você está acostumado a pensar em tokenização e analisar a maneira como os programadores de compilador pensam sobre tokenização e análise. Basicamente, se você já definiu sua gramática formal e alguém aparece com um caso sintático especial - trigraphs, contrabarra de nova linha, codificando caracteres Unicode arbitrários em arquivos de origem limitados a ASCII, qualquer que seja - que precisam ser inseridos, é mais fácil adicione uma passagem de transformação antes do tokenizer para redefinir o tokenizer para prestar atenção ao local onde faz sentido usar esse caso especial.

¹ Para pedantes: estou ciente de que esse aspecto de C era 100% intencional, com a lógica - não estou inventando isso - de que lhe permitiria aplicar mecanicamente o código de ajuste forçado com linhas arbitrariamente longas em cartões perfurados. Ainda foi uma decisão incorreta do projeto.

Essa foi uma escolha de design intencional que remonta ao design original do Java.

Para aquelas pessoas que perguntam "quem quer que o Unicode escape nos comentários?", Presumo que sejam pessoas cujo idioma nativo usa o conjunto de caracteres latinos. Em outras palavras, é inerente ao design original do Java que as pessoas possam usar caracteres Unicode arbitrários onde quer que sejam legais em um programa Java, geralmente em comentários e strings.

É indiscutivelmente uma falha nos programas (como IDEs) usados ​​para exibir o texto de origem que esses programas não podem interpretar as fugas de Unicode e exibir o glifo correspondente.

Concordo com @zwol que este é um erro de design; mas sou ainda mais crítico.

\uescape é útil em literais de string e char; e esse é o único lugar que deveria existir. Deve ser tratado da mesma maneira que outras fugas, como \n; e "\u000A" deve significar exatamente "\n".

Não há absolutamente nenhum ponto em ter \uxxxxcomentários - ninguém pode ler isso.

Da mesma forma, não há por que usar \uxxxxem outra parte do programa. A única exceção é provavelmente nas APIs públicas que são coagidas a conter alguns caracteres não-ascii - qual foi a última vez que vimos isso?

Os designers tiveram suas razões em 1995, mas 20 anos depois, essa parece ser uma escolha errada.

(pergunta aos leitores - por que essa pergunta continua recebendo novos votos? esta questão está vinculada de algum lugar popular?)

As únicas pessoas que podem responder por que as fugas Unicode foram implementadas como foram foram as pessoas que escreveram a especificação.

Uma razão plausível para isso é que havia o desejo de permitir todo o BMP como possíveis caracteres do código-fonte Java. Isso apresenta um problema:

• Você deseja usar qualquer caractere BMP.
• Você deseja inserir qualquer caractere BMP razoavelmente fácil. Uma maneira de fazer isso é com escapes Unicode.
• Você deseja manter a especificação lexical fácil para os humanos lerem e escreverem, e razoavelmente fácil de implementar também.

Isso é incrivelmente difícil quando o escape do Unicode entra em conflito: ele cria uma carga completa de novas regras de lexer.

A saída mais fácil é fazer lexing em duas etapas: primeiro pesquise e substitua todos os escapes Unicode pelo caractere que representa e, em seguida, analise o documento resultante como se os escapes Unicode não existissem.

A vantagem disso é que é fácil especificar, por isso torna a especificação mais simples e fácil de implementar.

A desvantagem é, bem, o seu exemplo.