O Unicode pretende ser um conjunto de caracteres universal para descrever todos os caracteres necessários para o texto escrito, incorporando todos os sistemas de escrita, símbolos técnicos e pontuação.
Vou perguntar o que provavelmente é uma pergunta bastante controversa: "Uma das codificações mais populares, UTF-16, deve ser considerada prejudicial?" Por que faço essa pergunta? Quantos programadores estão cientes do fato de que o UTF-16 é realmente uma codificação de comprimento variável? Com...
No caso de uma invasão alienígena e fomos forçados a suportar seus idiomas em todos os nossos sistemas de computadores existentes, o UTF-8 foi projetado de maneira a permitir sua quantidade possivelmente vasta de caracteres? (Obviamente, não sabemos se os alienígenas realmente têm idiomas, se ou...
Recentemente, tentei implementar um algoritmo de classificação, AllegSkill, no Python 3. Aqui está a aparência da matemática: Não mesmo. Isto é o que eu escrevi: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) +...
Eu pensei que o Unicode foi projetado para contornar todo o problema de ter muitas codificações diferentes devido a um pequeno espaço de endereço (8 bits) na maioria das tentativas anteriores (ASCII, etc.). Por que, então, existem tantas codificações Unicode? Até várias versões do (essencialmente)...
Nosso software de linha de negócios permite ao usuário salvar determinados dados como CSV . Como existem muitos formatos diferentes (todos chamados de "CSV") em uso, procuramos decidir como deve ser o "formato padrão". Em relação aos separadores de linha / campo e escape, existe um padrão que...
Os Termos de Uso Unicode afirmam que qualquer software que use seus arquivos de dados (ou uma modificação deles) deve conter as referências de licença Unicode. Parece-me que a maioria das bibliotecas Unicode possui funções para verificar se um caractere é um dígito, uma letra, um símbolo etc., e...
Estou aprendendo T-SQL. Dos exemplos que eu vi, para inserir texto em uma varchar()célula, eu posso escrever apenas a string a ser inserida, mas para nvarchar()células, todo exemplo prefixa as strings com a letra N. Eu tentei a seguinte consulta em uma tabela que possui nvarchar()linhas e funciona...
Uma mina de estimação está olhando para tantos projetos de software que possuem montanhas de código para suporte a conjuntos de caracteres. Não me interpretem mal, sou a favor da compatibilidade e fico feliz que os editores de texto permitam abrir e salvar arquivos em vários conjuntos de...
Eu imagino que o motivo foi rápido, como o acesso ao caractere no índice, mas alguns caracteres não se encaixam em 16 bits, por isso não funcionaria ... Portanto, se você precisa lidar com casos especiais, por que não usar
No trabalho, encontro muitos arquivos de texto em japonês no Shift-JIS e outras codificações. Causa muitos problemas de mojibake (caracteres ilegíveis) para todos os usuários de computador. O Unicode pretendia resolver esse tipo de problema, definindo um único conjunto de caracteres para todos os...
Unicode tem talvez 50 espaços \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u0085 \ u00A \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000 e 6 quebras de...
Todo mundo sabe que o PHP tem problemas com o Unicode. A versão 6 é efetivamente abandonada, devido a dificuldades de implementação do Unicode. Mas me pergunto se alguém sabe quais são as razões exatas . Problemas de arquitetura / design, problemas de desempenho, problemas da comunidade (aposto que...
Eu estava assistindo a apresentação de Jon Skeet (com Tony the Pony) da Dev-Days. Embora "escrever uma função de reversão de cadeia de caracteres" esteja codificando a entrevista 101 - não tenho certeza de que seja realmente possível escrever uma função geral de reversão de cadeia de caracteres,...
O UTF-16 tem largura fixa ou largura variável? Obtive resultados diferentes de diferentes fontes: De http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : O UTF-16 armazena caracteres Unicode em pedaços de dezesseis bits. De http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (formato de...
Pessoalmente, acho confuso o código de leitura cheio de identificadores Unicode. Na minha opinião, também impede que o código seja facilmente mantido. Sem mencionar todo o esforço necessário para que autores de vários tradutores implementem esse suporte. Também noto constantemente a falta (ou a...
Estou projetando um formato de arquivo e quero fazê-lo corretamente. Por ser um formato binário, o primeiro byte (ou bytes) do arquivo não deve formar caracteres textuais válidos (como no cabeçalho do arquivo PNG 1 ). Isso permite que as ferramentas que não reconhecem o formato ainda vejam que não...
Eu estava procurando por uma implementação eficiente de String trie. Principalmente eu encontrei código como este: Implementação referencial em Java (por wikipedia) Não gosto dessas implementações por dois motivos: Eles suportam apenas 256 caracteres ASCII. Eu preciso cobrir coisas como...
Algo que há muito me confunde é que muito software usa os termos "charset" e "codificação" como sinônimos. Quando as pessoas se referem a uma "codificação" unicode, elas sempre significam um conjunto de regras para representar caracteres unicode como uma sequência de bytes - como ASCII ou UTF-8....
Digamos que seu idioma nativo seja o hebraico e você esteja trabalhando em uma linguagem de programação como o Python 3, que permite colocar o hebraico no código-fonte. Bom para você! Você tem um dict: d = {'a': 1} e você deseja substituir isso apor um pouco de hebraico. Então você substitui...
Estou trabalhando em um adaptador iterador UTF-8. Com isso, quero dizer um adaptador que transforma um iterador em uma sequência charou unsigned charem um iterador em uma char32_tsequência. Meu trabalho aqui foi inspirado neste iterador que encontrei online . No entanto, ao examinar o padrão...