Quero decodificar a codificação de URL, existe alguma ferramenta interna para fazer isso ou alguém poderia me fornecer um sedcódigo que faça isso?

Pesquisei um pouco no unix.stackexchange.com e na Internet, mas não consegui encontrar nenhuma ferramenta de linha de comando para decodificar a codificação de URL.

O que eu quero fazer é simplesmente editar um txtarquivo para que:

• %21 torna-se !
• %23 torna-se #
• %24 torna-se $
• %26 torna-se &
• %27 torna-se '
• %28 torna-se (
• %29 torna-se )

E assim por diante.

Encontrei os liners one Python que fazem o que você deseja:

$ alias urldecode='python -c "import sys, urllib as ul; \
    print ul.unquote_plus(sys.argv[1])"'

$ alias urlencode='python -c "import sys, urllib as ul; \
    print ul.quote_plus(sys.argv[1])"'

Exemplo

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B

Referências

• Urlencode e urldecode a partir de uma linha de comando

sed

Tente a seguinte linha de comando:

$ sed 's@+@ @g;s@%@\\x@g' file | xargs -0 printf "%b"

ou a seguinte alternativa usando echo -e:

$ sed -e's/%\([0-9A-F][0-9A-F]\)/\\\\\x\1/g' file | xargs echo -e

^{Nota: A sintaxe acima pode não se converter +em espaços e pode comer todas as novas linhas.}

Você pode defini-lo como alias e adicioná-lo aos seus arquivos shell rc :

$ alias urldecode='sed "s@+@ @g;s@%@\\\\x@g" | xargs -0 printf "%b"'

Depois, sempre que precisar, basta:

$ echo "http%3A%2F%2Fwww" | urldecode
http://www

Bater

Ao criar scripts, você pode usar a seguinte sintaxe:

input="http%3A%2F%2Fwww"
decoded=$(printf '%b' "${input//%/\\x}")

^{No entanto, a sintaxe acima não manipula as vantagens ( +) corretamente, então você deve substituí-las por espaços por sed.}

Você também pode usar o seguinte urlencode()e urldecode()funções:

urlencode() {
    # urlencode <string>
    local length="${#1}"
    for (( i = 0; i < length; i++ )); do
        local c="${1:i:1}"
        case $c in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            *) printf '%%%02X' "'$c" ;;
        esac
    done
}

urldecode() {
    # urldecode <string>

    local url_encoded="${1//+/ }"
    printf '%b' "${url_encoded//%/\\x}"
}

Observe que acima urldecode()assume que os dados não contêm barra invertida.

Aqui está a versão semelhante de Joel encontrada em: https://github.com/sixarm/urldecode.sh

bash + xxd

Função Bash com xxdferramenta:

urlencode() {
  local length="${#1}"
  for (( i = 0; i < length; i++ )); do
    local c="${1:i:1}"
    case $c in
      [a-zA-Z0-9.~_-]) printf "$c" ;;
    *) printf "$c" | xxd -p -c1 | while read x;do printf "%%%s" "$x";done
  esac
done
}

Encontrado no arquivo gist do cdown , também no stackoverflow .

PHP

Usando o PHP, você pode tentar o seguinte comando:

$ echo oil+and+gas | php -r 'echo urldecode(fgets(STDIN));' // Or: php://stdin
oil and gas

ou apenas:

php -r 'echo urldecode("oil+and+gas");'

Use -Rpara entrada de várias linhas.

Perl

No Perl você pode usar URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

Ou para processar um arquivo:

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

awk

Experimente a solução anon :

awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

^{Nota: O parâmetro -né específico ao GNU awk.}

Consulte: Usando o awk printf para codificar o texto .

decodificando nomes de arquivo

Se você precisar remover a codificação de URL dos nomes dos arquivos, use a deurlnameferramenta de renameutils(por exemplo deurlname *.*).

Veja também:

• O wget pode decodificar nomes de arquivos de uri ao fazer o download em lote?
• Como remover a codificação URI dos nomes de arquivo?

Palavras-chave:

• Como decodificar uma string codificada em URL no shell? na SO
• Como posso codificar e decodificar seqüências de caracteres codificadas por cento na linha de comando? no Ask Ubuntu

Existe uma função interna para isso na biblioteca padrão do Python. No Python 2, é urllib.unquote.

decoded_url=$(python2 -c 'import sys, urllib; print urllib.unquote(sys.argv[1])' "$encoded_url")

Ou para processar um arquivo:

python2 -c 'import sys, urllib; print urllib.unquote(sys.stdin.read())' <file >file.new &&
mv -f file.new file

No Python 3, é urllib.parse.unquote.

decoded_url=$(python3 -c 'import sys, urllib.parse; print(urllib.parse.unquote(sys.argv[1]))' "$encoded_url")

Ou para processar um arquivo:

python3 -c 'import sys, urllib; print(urllib.parse.unquote(sys.stdin.read()))' <file >file.new &&
mv -f file.new file

No Perl você pode usar URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

Ou para processar um arquivo:

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

Se você deseja manter as ferramentas portáteis POSIX, é complicado, porque o único candidato sério é o awk, que não analisa números hexadecimais. Consulte Usando o awk printf para codificar o texto para obter exemplos de implementações comuns do awk, incluindo o BusyBox.

Se você deseja usar um sedcomando simplificado , use o seguinte:

sed -e 's/%21/!/g' -e 's/%23/#/g' -e 's/%24/$/g' -e 's/%26/\&/g' -e "s/%27/'/g" -e 's/%28/(/g' -e 's/%29/)/g'

Mas é mais conveniente criar um script como (digamos sedscript):

s/%21/!/g
s/%23/#/g
s/%24/$/g
s/%26/\&/g
s/%27/'/g
s/%28/(/g
s/%29/)/g

Em seguida sed -f sedscript < old > new, execute , que será exibido conforme desejado.

Para facilitar, o comando urlencodetambém está disponível diretamente no gridsite-clientspacote pode ser instalado a partir de ( sudo apt-get install gridsite-clientsno sistema Ubuntu / Debian).

NOME

urlencode - converte seqüências de caracteres de ou para um formulário codificado por URL

SINOPSE

urlencode [-m|-d] string [string ...]

DESCRIÇÃO

urlencode codifica seqüências de acordo com a RFC 1738.

Ou seja, os caracteres A- Z a- z 0- 9 . _e -são passados ​​sem modificação, mas todos os outros caracteres são representados como% HH, em que HH é sua representação ASCII hexadecimal em maiúscula e dois dígitos. Por exemplo, o URL http://www.gridpp.ac.uk/se tornahttp%3A%2F%2Fwww.gridpp.ac.uk%2F

urlencodeconverte cada caractere em todas as strings fornecidas na linha de comando. Se várias seqüências de caracteres forem fornecidas, elas serão concatenadas com a separação de espaços antes da conversão.

OPÇÕES

-m
Em vez da conversão completa, faça no GridSite "codificação moderada de URL" na qual AZ az 0-9. = - _ @ e / são passados ​​sem modificação. Isso resulta em seqüências de caracteres um pouco mais legíveis por humanos, mas o aplicativo deve estar preparado para criar ou simular os diretórios implícitos em qualquer barra.
-d
Decodificação de URL em vez de codificação, de acordo com a RFC 1738.% HH e% hh são convertidas e outros caracteres são passados ​​sem modificação, com a exceção que +é convertida em espaço.

Exemplo de URL de decodificação:

$ urlencode -d "http%3a%2f%2funix.stackexchange.com%2f"
http://unix.stackexchange.com/

$ urlencode -d "Example: %21, %22, . . . , %29 etc"
Example: !, ", . . . , ) etc

Perl um forro:

$ perl -pe 's/\%(\w\w)/chr hex $1/ge'

Exemplo:

$ echo '%21%22' |  perl -pe 's/\%(\w\w)/chr hex $1/ge'
!"

GNU awk

#!/usr/bin/awk -fn
@include "ord"
BEGIN {
  RS = "%.."
}
{
  printf RT ? $0 chr("0x" substr(RT, 2)) : $0
}

Ou

#!/bin/sh
awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

Converter URL de arquivo codificado em porcentagem em arquivo local no bash

Não posso comentar sobre a melhor resposta neste tópico , então aqui está o meu.

Pessoalmente, eu uso esses aliases para codificação e decodificação de URL:

alias urlencode='python -c "import urllib, sys; print urllib.quote(  sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

alias urldecode='python -c "import urllib, sys; print urllib.unquote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

Ambos os comandos permitem converter dados, passados ​​como um argumento de linha de comando ou lê-los a partir da entrada padrão , porque as duas linhas verificam se há argumentos de linha de comando (mesmo os vazios) e os processam ou apenas os leem da entrada padrão.

update 23-05-2017 (codificação com barra)

Em resposta ao comentário do @ Bevor.

Se você também precisar codificar a barra, basta adicionar um segundo argumento vazio à função de cotação, a barra também será codificada.

Então, finalmente, o urlencode alias no bash fica assim:

alias urlencode='python -c "import urllib, sys; print urllib.quote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1], \"\")"'

Exemplo

$ urlencode "Проба пера/Pen test"
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ echo "Проба пера/Pen test" | urlencode
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ urldecode %D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test
Проба пера/Pen test

$ echo "%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test" | urldecode
Проба пера/Pen test

$ urlencode "Проба пера/Pen test" | urldecode
Проба пера/Pen test

$ echo "Проба пера/Pen test" | urlencode | urldecode
Проба пера/Pen test

E outra abordagem Perl:

#!/usr/bin/env perl
use URI::Encode;
my $uri     = URI::Encode->new( { encode_reserved => 0 } );
while (<>) {

    print $uri->decode($_)
}

Você precisará instalar o URI::Encodemódulo. No meu Debian, eu poderia simplesmente executar

sudo apt-get install liburi-encode-perl

Em seguida, executei o script acima em um arquivo de teste contendo:

http://foo%21asd%23asd%24%26asd%27asd%28asd%29

O resultado foi (eu salvei o script como foo.pl):

$ ./foo.pl
http://foo!asd#asd$&asd'asd(asd)

Uma resposta no shell (principalmente Posix):

$ input='%21%22'
$ printf "`printf "%s\n" "$input" | sed -e 's/+/ /g' -e 's/%\(..\)/\\\\x\1/g'`"
!"

Explicação:

• -e 's/+/ /gtransforma cada uma +no espaço (conforme descrito na norma de codificação de URL)
• -e 's/%\(..\)/\\\\x\1/g'transformar cada %XXno \\xXX. Observe que um dos \itens será removido pelas regras de citação.
• O printf interno está lá apenas para passar a entrada para sed. Podemos substituí-lo por qualquer outro mecanismo
• A impressão externa interpreta \\xXXseqüências e exibe o resultado.

Editar:

Como %sempre deve ser interpretado nos URLs, é possível simplificar esta resposta. Além disso, acho que é mais limpo usar em xargsvez de aspas (graças a @josch).

$ input='%21%22+%25'
$ printf "%s\n" "$input" | sed -e 's/+/ /g; s/%/\\x/g' | xargs -0 printf
!" %

Infelizmente, (como @josch notou), nenhuma dessas soluções é compatível com Posix, pois a \xsequência de escape não está definida no Posix.

Somente shell:

$ x='a%20%25%e3%81%82';printf "${x//\%/\\x}"
a %あ

Adicione --ou %bpara impedir que os argumentos que começam com um traço sejam tratados como opções.

No zsh ${x//%/a}adiciona aao final, mas ${x//\%/a}substitui %por a.

Aqui estão os bits relevantes de outro script (que eu roubei descaradamente do meu script de download do youtube.com de outra resposta) que eu escrevi antes. Ele usa sede o shell para criar um código de funcionamento.

set \! \" \# \$ \% \& \' \( \) \* \ \+ \, \/ \: \; \= \? \@ \[ \]
for c do set "$@" "'$c" "$c"; shift; done
curl -s "$url" | sed 's/\\u0026/\&/g;'"$(
    printf 's/%%%X/\\%s/g;' "$@"
)"

Eu não juro que é abrangente - e, de fato, duvido -, mas ele segurou o youtube com certeza.

Aqui está uma função BASH para fazer exatamente isso:

function urldecode() {
        echo -ne $(echo -n "$1" | sed -E "s/%/\\\\x/g")
}

Outra solução usando ruby ​​(a resposta em python aceita não estava funcionando para mim)

alias urldecode='ruby -e "require \"cgi\"; puts CGI.unescape(ARGV[0])"'
alias urlencode='ruby -e "require \"cgi\"; puts CGI.escape(ARGV[0])"'

Exemplo

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B