<0xEF, 0xBB, 0xBF> caractere aparecendo nos arquivos. Como removê-los?

Question 1

Estou compactando arquivos JavaScript e o compressor está reclamando que meus arquivos têm ï»¿caracteres.

Como posso pesquisar esses caracteres e removê-los?

Question 2

perl -pi~ -CSD -e 's/^\x{fffe}//' file1.js path/to/file2.js

Eu presumo que a ferramenta falhará se você tiver outro utf-8 em seus arquivos, mas se não tiver, talvez esta solução alternativa possa ajudá-lo. (Não testado ...)

Editar : adicionada a -CSDopção, conforme comentário do cristão.

Question 3

Você pode removê-los facilmente usando o vim . Aqui estão as etapas:

1) Em seu terminal, abra o arquivo usando o vim:

vim file_name

2) Remova todos os caracteres BOM :

:set nobomb

3) Salve o arquivo:

:wq

Question 4

Outro método para remover esses caracteres - usando o Vim :

vim -b fileName

Agora, esses caracteres "ocultos" são visíveis ( <feff>) e podem ser removidos.

Question 5

Obrigado pelas respostas anteriores, aqui está uma variante sed (1) para o caso de:

sed '1s/^\xEF\xBB\xBF//'

Question 6

Em Unix / Linux:

sed 's/\xEF\xBB\xBF//' < inputfile > outputfile

No MacOSX

sed $'s/\xEF\xBB\xBF//' < inputfile > outputfile

Observe o $ após sed para mac.

No Windows

Existe Super Sed uma versão aprimorada do sed. Para o Windows, é um .exe autônomo, destinado à execução na linha de comando.

Question 7

Usar cauda pode ser mais fácil:

tail --bytes=+4 filename > new_filename

Question 8

A solução do @tripleee não funcionou para mim. Mas mudar a codificação do arquivo para ASCII e novamente para UTF-8 resolveu :-)

Question 9

Eu usei o vimgrep para isso

:vim "[\uFEFF]" *

também comando de pesquisa normal do vim

/[\uFEFF]

Question 10

O comando 'arquivo' mostra se o BOM está presente:

Por exemplo: 'file myfile.xml' exibe: "Documento XML 1.0, texto UTF-8 Unicode (com BOM), com linhas muito longas, com terminadores de linha CRLF"

dos2unix irá remover o BOM.

Question 11

No Windows, você pode usar o utilitário de recodificação backported da UnxUtils .

Question 12

Em Sublime Text você pode instalar o pacote Highlighter e personalizar a expressão regular nas configurações do usuário.

Aqui eu adicionei \uFEFFao final da highlighter_regexpropriedade.

{
    "highlighter_enabled": true,
    "highlighter_regex": "(\t+ +)|( +\t+)|[\u2026\u2018\u2019\u201c\u201d\u2013\u2014\uFEFF]|[\t ]+$",
    "highlighter_scope_name": "invalid",
    "highlighter_max_file_size": 1048576,
    "highlighter_delay": 3000
}

Para substituir as configurações do pacote padrão, coloque o arquivo aqui:

~ / .config / sublime-text-3 / Packages / User / highlighter.sublime-settings

Question 13

Sugiro o uso da ferramenta "dos2unix", teste para rodar dos2unix ./thefile.js.

Se necessário, tente usar algo assim para vários arquivos:

for x in $(find . -type f -exec echo {} +); do dos2unix $x ; done

Meus cumprimentos.

Question 14

Salve o arquivo sem assinatura de código.

Answer 1

86

Estou compactando arquivos JavaScript e o compressor está reclamando que meus arquivos têm ï»¿caracteres.

Como posso pesquisar esses caracteres e removê-los?

file unicode utf-8 utf Quintin Par
fonte

16

Isso não é <U+FEFF>, esse é <0xEF,0xBB,0xBF>o BOM dos arquivos UTF8, então você deve alterar o título. Como você gostaria de removê-los? Por fadas mágicas? Por ferramenta de linha de comando? Editando um por um? O Notepad ++ pode alterar a codificação para UTF8 sem BOM. Por exemplo, pesquisando no Google 5 segundos de "strip BOM utf8", encontrei isso para Linux: ueber.net/who/mjl/projects/bomstrip

xanatos

1

Pode ajudá-lo a obter uma resposta que se relaciona especificamente ao seu problema se você nos disser qual ferramenta javascript está usando para fazer a compactação, em qual plataforma e quais outras ferramentas fazem parte do seu processo de criação.

SingleNegationElimination

15

BOMs em UTF-8 são absolutamente crus. Você precisa encontrar o produtor desse arquivo e dizer a ele para cortá-lo @ # %%.

tchrist,

4

@peterflynn: U+FEFFé o ponto de código Unicode usado para um BOM, mas o próprio BOM é como esse ponto de código é codificado (UTF-8 0xEF 0xBB 0xBF:, UTF-16LE:, 0xFF 0xFEUTF-16BE:, 0xFE 0xFFetc). Portanto, os arquivos em questão são codificados em UTF-8, que o compressor detecta ao decodificá-los para pontos de código Unicode reais.

Remy Lebeau

4

@xanatos Independentemente do que seja, é assim que se manifesta, e é assim que as pessoas podem encontrar facilmente essa questão usando os motores de busca.

BartoszKP

Answer 2

16

Isso não é <U+FEFF>, esse é <0xEF,0xBB,0xBF>o BOM dos arquivos UTF8, então você deve alterar o título. Como você gostaria de removê-los? Por fadas mágicas? Por ferramenta de linha de comando? Editando um por um? O Notepad ++ pode alterar a codificação para UTF8 sem BOM. Por exemplo, pesquisando no Google 5 segundos de "strip BOM utf8", encontrei isso para Linux: ueber.net/who/mjl/projects/bomstrip

xanatos

Answer 3

1

Pode ajudá-lo a obter uma resposta que se relaciona especificamente ao seu problema se você nos disser qual ferramenta javascript está usando para fazer a compactação, em qual plataforma e quais outras ferramentas fazem parte do seu processo de criação.

SingleNegationElimination

Answer 4

15

BOMs em UTF-8 são absolutamente crus. Você precisa encontrar o produtor desse arquivo e dizer a ele para cortá-lo @ # %%.

tchrist,

Answer 5

4

@peterflynn: U+FEFFé o ponto de código Unicode usado para um BOM, mas o próprio BOM é como esse ponto de código é codificado (UTF-8 0xEF 0xBB 0xBF:, UTF-16LE:, 0xFF 0xFEUTF-16BE:, 0xFE 0xFFetc). Portanto, os arquivos em questão são codificados em UTF-8, que o compressor detecta ao decodificá-los para pontos de código Unicode reais.

Remy Lebeau

Answer 6

4

@xanatos Independentemente do que seja, é assim que se manifesta, e é assim que as pessoas podem encontrar facilmente essa questão usando os motores de busca.

BartoszKP

Answer 7

18

perl -pi~ -CSD -e 's/^\x{fffe}//' file1.js path/to/file2.js

Eu presumo que a ferramenta falhará se você tiver outro utf-8 em seus arquivos, mas se não tiver, talvez esta solução alternativa possa ajudá-lo. (Não testado ...)

Editar : adicionada a -CSDopção, conforme comentário do cristão.

triplo
fonte

1

Você precisa executar com o -CSDswitch, ou com o PERL_UNICODEenvariable definido como SD, para que funcione.

tchrist,

Regexp funciona bem para remover o caractere <fffe> no início de uma linha, para substituir todos os caracteres <fffe> em uma linha: 's / \ x {fffe} // g'.

Diego Pino

2

No Mac OSX, tive que mudar para perl -CSD -pe 's/^\x{feff}//' file.csv:, observe a mudança de <fffe> para <feff>.

mpettis de

1

@mpettis Isso não é um BOM então, mas um BOM com os bytes invertidos. Pode acontecer em qualquer plataforma, se você converter UTF-16 em UTF-8 e obter a ordem de bytes errada (mesmo que o objetivo do BOM seja evitar esse erro!)

tripleee

1

@blong O que tem? Faça uma pergunta separada se você não conseguir descobrir (mas provavelmente será marcada como uma duplicata; primeiro hit do google stackoverflow.com/questions/1712188/… )

tripleee

Answer 8

1

Você precisa executar com o -CSDswitch, ou com o PERL_UNICODEenvariable definido como SD, para que funcione.

tchrist,

Answer 9

Regexp funciona bem para remover o caractere <fffe> no início de uma linha, para substituir todos os caracteres <fffe> em uma linha: 's / \ x {fffe} // g'.

Diego Pino

Answer 10

2

No Mac OSX, tive que mudar para perl -CSD -pe 's/^\x{feff}//' file.csv:, observe a mudança de <fffe> para <feff>.

mpettis de

Answer 11

1

@mpettis Isso não é um BOM então, mas um BOM com os bytes invertidos. Pode acontecer em qualquer plataforma, se você converter UTF-16 em UTF-8 e obter a ordem de bytes errada (mesmo que o objetivo do BOM seja evitar esse erro!)

tripleee

Answer 12

1

@blong O que tem? Faça uma pergunta separada se você não conseguir descobrir (mas provavelmente será marcada como uma duplicata; primeiro hit do google stackoverflow.com/questions/1712188/… )

tripleee

Answer 13

185

Você pode removê-los facilmente usando o vim . Aqui estão as etapas:

1) Em seu terminal, abra o arquivo usando o vim:

vim file_name

2) Remova todos os caracteres BOM :

:set nobomb

3) Salve o arquivo:

:wq

Mohammad Anini
fonte

Essa solução funcionou para mim. É mais simples do que a resposta selecionada. Obrigado

szydan

Usei essa ótima solução, embora normalmente seja um partidário do emacs. vim ftw

Ellen Spertus

Answer 14

Essa solução funcionou para mim. É mais simples do que a resposta selecionada. Obrigado

szydan

Answer 15

Usei essa ótima solução, embora normalmente seja um partidário do emacs. vim ftw

Ellen Spertus

Answer 16

Outro método para remover esses caracteres - usando o Vim :

vim -b fileName

Agora, esses caracteres "ocultos" são visíveis ( <feff>) e podem ser removidos.

Answer 17

20

Obrigado pelas respostas anteriores, aqui está uma variante sed (1) para o caso de:

sed '1s/^\xEF\xBB\xBF//'

Michael Shigorin
fonte

1

Outras fontes sugerem acrescentar a figura 1 ao padrão, como em "sed '1 s / \ xEF \ xBB \ xBF //'", para coincidir apenas com a primeira linha. No entanto, para mim no Mac OS X, nenhuma maneira funciona.

Marian,

1

Isso funcionou e foi a melhor solução para mim. Obrigado, senhor!

Vance Lucas de

1

Adorei essa solução. Mais fácil de implementar e ainda escalável ... :)

Piko

1

@Marian Um pouco tarde, mas você pode verificar a resposta de Masum que mostra por que não funcionou no mac.

Alguém ainda usa você MS-DOS

1

Adicione -i ao sed para atualizar o (s) arquivo (s) com as alterações.

Johan

Answer 18

1

Outras fontes sugerem acrescentar a figura 1 ao padrão, como em "sed '1 s / \ xEF \ xBB \ xBF //'", para coincidir apenas com a primeira linha. No entanto, para mim no Mac OS X, nenhuma maneira funciona.

Marian,

Answer 19

1

Isso funcionou e foi a melhor solução para mim. Obrigado, senhor!

Vance Lucas de

Answer 20

1

Adorei essa solução. Mais fácil de implementar e ainda escalável ... :)

Piko

Answer 21

1

@Marian Um pouco tarde, mas você pode verificar a resposta de Masum que mostra por que não funcionou no mac.

Alguém ainda usa você MS-DOS

Answer 22

1

Adicione -i ao sed para atualizar o (s) arquivo (s) com as alterações.

Johan

Answer 23

17

Em Unix / Linux:

sed 's/\xEF\xBB\xBF//' < inputfile > outputfile

No MacOSX

sed $'s/\xEF\xBB\xBF//' < inputfile > outputfile

Observe o $ após sed para mac.

No Windows

Existe Super Sed uma versão aprimorada do sed. Para o Windows, é um .exe autônomo, destinado à execução na linha de comando.

Masum
fonte

1

"Observe o $ após sed para mac." - Obrigado senhor!

Alguém ainda usa você MS-DOS

1

A string Bash "estilo C" $'\xEF\xBB\xBF//'é um recurso Bash, não particularmente um recurso Mac ou OSX. Com essa estrutura, o Bash analisará as sequências de escape em bytes reais antes de passar a linha de comando para sed. Dependendo da sua sedvariante, isso pode ou não funcionar (embora tenha certeza de que é útil para os usuários do OSX saber que deve funcionar fora da caixa para eles).

tripleee

1

talvez sed -i 's /.../.../'

Arthur

Answer 24

1

"Observe o $ após sed para mac." - Obrigado senhor!

Alguém ainda usa você MS-DOS

Answer 25

1

A string Bash "estilo C" $'\xEF\xBB\xBF//'é um recurso Bash, não particularmente um recurso Mac ou OSX. Com essa estrutura, o Bash analisará as sequências de escape em bytes reais antes de passar a linha de comando para sed. Dependendo da sua sedvariante, isso pode ou não funcionar (embora tenha certeza de que é útil para os usuários do OSX saber que deve funcionar fora da caixa para eles).

tripleee

Answer 26

1

talvez sed -i 's /.../.../'

Arthur

Answer 27

6

Usar cauda pode ser mais fácil:

tail --bytes=+4 filename > new_filename

Dzanvu
fonte

1

Essa técnica falhará depois que o produtor do arquivo remover o BOM. Não escalável ... :)

Piko

Answer 28

1

Essa técnica falhará depois que o produtor do arquivo remover o BOM. Não escalável ... :)

Piko

Answer 29

4

A solução do @tripleee não funcionou para mim. Mas mudar a codificação do arquivo para ASCII e novamente para UTF-8 resolveu :-)

Pablo Torrecilla
fonte

Answer 30

3

Eu usei o vimgrep para isso

:vim "[\uFEFF]" *

também comando de pesquisa normal do vim

/[\uFEFF]

Olexiy Zamkoviy
fonte

Answer 31

O comando 'arquivo' mostra se o BOM está presente:

Por exemplo: 'file myfile.xml' exibe: "Documento XML 1.0, texto UTF-8 Unicode (com BOM), com linhas muito longas, com terminadores de linha CRLF"

dos2unix irá remover o BOM.

Answer 32

1

No Windows, você pode usar o utilitário de recodificação backported da UnxUtils .

Nikita Koksharov
fonte

Answer 33

Em Sublime Text você pode instalar o pacote Highlighter e personalizar a expressão regular nas configurações do usuário.

Aqui eu adicionei \uFEFFao final da highlighter_regexpropriedade.

{
    "highlighter_enabled": true,
    "highlighter_regex": "(\t+ +)|( +\t+)|[\u2026\u2018\u2019\u201c\u201d\u2013\u2014\uFEFF]|[\t ]+$",
    "highlighter_scope_name": "invalid",
    "highlighter_max_file_size": 1048576,
    "highlighter_delay": 3000
}

Para substituir as configurações do pacote padrão, coloque o arquivo aqui:

~ / .config / sublime-text-3 / Packages / User / highlighter.sublime-settings

Answer 34

1

Sugiro o uso da ferramenta "dos2unix", teste para rodar dos2unix ./thefile.js.

Se necessário, tente usar algo assim para vários arquivos:

for x in $(find . -type f -exec echo {} +); do dos2unix $x ; done

Meus cumprimentos.

Wellington 1993
fonte

1

Gostei da sua resposta - bomstripnão estava facilmente disponível no meu mac - então find . -type f -exec dos2unix '{}' +

dediquei algum

Answer 35

1

Gostei da sua resposta - bomstripnão estava facilmente disponível no meu mac - então find . -type f -exec dos2unix '{}' +

dediquei algum

Answer 36

0

Salve o arquivo sem assinatura de código.

Masood Moshref
fonte

<0xEF, 0xBB, 0xBF> caractere aparecendo nos arquivos. Como removê-los?

Respostas: