Práticas recomendadas e dicas da linha de comando do Linux?

Gostaria de abrir uma discussão que acumularia as melhores práticas e dicas da linha de comando do Linux (CLI).

Eu procurei por essa discussão para compartilhar o comentário abaixo, mas não encontrei um, portanto, este post.

Espero que todos possamos aprender com isso.

Você pode compartilhar suas dicas do Bash, grep, sed, AWK, / proc e todas as outras administrações relacionadas ao sistema Linux / Unix, melhores práticas de programação de shell para o benefício de todos nós.

Use screen , um multiplexador de terminal gratuito desenvolvido pelo Projeto GNU que permitirá que você tenha vários terminais em um.

Você pode iniciar uma sessão e seus terminais serão salvos mesmo quando a conexão for perdida, para que você possa retomar mais tarde ou em casa.

SSH!
SSH é o comando divino - acho que é o comando geral mais valioso para aprender. As opções podem ser bastante assustadoras, mas parece que estou constantemente aprendendo a usar novas opções de linha de comando para SSH que nunca pensei que fossem necessárias. Eu posso ter usado todos eles neste momento.

Quanto mais você o usa, mais aprende. Você pode usá-lo para fazer algumas coisas INCRÍVEIS.

Nota: TODAS essas coisas são executáveis ​​remotamente, sem configuração no servidor, exceto pelo fato de o servidor ssh estar em execução.

Montar um sistema de arquivos pela Internet

pesquise na rede por SSHFS

Comandos de encaminhamento .

O protocolo SVN + SSH é o Subversion de um cliente remoto para um servidor sem NO DEAMON em execução! O comando SVN inicia o servidor através do shell ssh e passa as informações para frente e para trás através do canal existente. O programa rsync faz a mesma coisa, é executado em um servidor sem rsync deamon iniciando um via SSH. É fácil escrever seus próprios arquivos bash para fazer truques semelhantes.

Cadeia para atravessar firewalls

Eu uso isso o tempo todo para passar pelo meu servidor linux em casa para o meu mac.

Portas de encaminhamento:
parece apenas moderadamente útil até você perceber que pode saltar através do firewall doméstico e configurar seu roteador em casa do trabalho como se estivesse fazendo isso de dentro da sua rede doméstica).

Encaminhar solicitações X:

Este é outro incrível. Com ou sem um servidor X em execução no seu sistema remoto, você pode executar um programa x-windows e a janela aparecerá na tela local. Basta usar o interruptor -X, isso é tudo!

Como você não precisa ter um servidor X em execução no servidor remoto, o impacto da CPU no servidor é mínimo, você pode ter um servidor TINY Linux que oferece aplicativos enormes para o seu poderoso PC de jogo executando Windows e cygwin / X.

É claro que o VI e o EMACS funcionam com SSH, mas quando estou em casa, às vezes quero mais. Eu uso o ssh -X para iniciar uma cópia do Eclipse! Se o seu servidor é mais poderoso que o seu laptop, você tem a GUI bem ali, mas as compilações são feitas no servidor, portanto, não se preocupe com a carga do sistema.

Executar em arquivos em lote

(ou seja, execute um arquivo em lote local que "faça coisas" em outros sistemas):

Duas coisas se combinam para deixar este legal. Uma é que você pode eliminar as solicitações de senha usando chaves de criptografia (mais seguras). A segunda é que você pode especificar um comando na CLI SSH. Eu usei isso de algumas maneiras interessantes - como quando uma compilação falha no servidor remoto, eu colocava o SSH no meu computador e reproduzia um arquivo de som).

Lembre-se de que você pode redirecionar a saída do comando remoto e usá-la no seu arquivo em lote local, para que você também possa executar localmente uma compilação em execução no servidor.

Incorporado ao Mac

O servidor e o cliente são incorporados no mac e no linux. No caso do Mac e do Ubuntu, ativar um servidor é tão simples quanto encontrar a caixa de seleção correta.

Em um PC, instale o cygwin ou cygwin / X (o cygwin / X permitirá que você encaminhe sua saída x-window da sua máquina Linux para o seu PC com Windows - ele instala um servidor X)

Dicas importantes / arquivo de configuração

Nunca use a porta 22 no seu firewall. Você terá várias tentativas de invasão, mas não vale a pena. Apenas faça com que o firewall encaminhe uma porta diferente para o servidor.

Existem amplas opções de configuração que permitem simplificar significativamente seus comandos ssh. Aqui está um exemplo meu no trabalho:

Host home
    hostname billshome.hopto.org
    Port=12345
    user=bill
    LocalForward=localhost:1025 mac:22

Quando digito "ssh home" (nada mais), ele age como se eu tivesse digitado:

ssh -p 12345 bill@billshome.hopto.org

e depois encaminha minha porta local 1025 para o meu sistema "mac" em casa. A razão para isso é que tenho outra entrada no meu arquivo:

Host mac
    hostname localhost
    port=1025

para que, depois de criar uma "ssh home" e ainda ter a janela aberta, eu possa digitar "ssh mac" e o computador em funcionamento aqui tente conectar-se à sua própria porta 1025 que foi encaminhada para "mac: 22 "pelo outro comando, para que ele se conecte ao meu Mac em casa através do firewall.

Editar - script legal!

Desenterrei um script antigo que adoro - tive que voltar e publicá-lo para qualquer pessoa aqui que pudesse estar interessada. O script é chamado "authMe"

#!/bin/bash
if [ ! -f ~/.ssh/id_dsa.pub ]
then
    echo 'id_dsa.pub does not exist, creating'
    ssh-keygen -tdsa
fi
ssh $1 'cat >>.ssh/authorized_keys' <~/.ssh/id_dsa.pub

Se você possui esse script no diretório inicial e existe um host ao qual você pode se conectar (via ssh), digite "./authMe hostName".

Se necessário, ele criará um par de chaves público / privado para você, em seguida, transferirá o ssh para a outra máquina e copiará sua chave pública (o comando ssh solicitará uma senha ...)

Depois disso, o comando SSH não deve mais solicitar sua senha ao se conectar ao sistema remoto, ele usará o par de chaves pública / privada.

Se o seu computador remoto nem sempre estiver seguro, considere definir uma "senha" quando solicitado.

Você também pode configurar o servidor ssh na extremidade oposta para não permitir senhas de texto (apenas chaves) para segurança adicional.

Eu gosto de usar

cd -

para mudar para o diretório anterior. Muito útil!

Descobri recentemente o pvcomando (visualizador de tubos) que é como gato, mas com detalhes de transferência.

Então, ao invés de

$ gzip -c access.log > access.log.gz

Você pode usar

$ pv access.log | gzip > access.log.gz
611MB 0:00:11 [58.3MB/s] [=>      ] 15% ETA 0:00:59

Então, em vez de não fazer idéia de quando sua operação será concluída, agora você saberá!

Cortesia de Peteris Krumins

sudo !!

Execute novamente o comando anterior como root.

[O comando superior atual no site http://www.commandlinefu.com , um site com o tema desta pergunta.]

Pressione Ctrl-R e comece a digitar um comando (ou qualquer parte dele) - ele pesquisa o histórico de comandos. Pressionar Ctrl-R novamente pulará para a próxima partida, enter executa o comando atualmente exibido e a seta para a direita (pelo menos) permitirá que você o edite primeiro.

$ (reverse-i-search)`svn': svn status

Eu tinha usado o Linux por algo como 7 anos como meu sistema operacional principal antes de aprender isso, mas agora que eu o conheço, é bastante útil.

A linha de comando é uma coisa engraçada. Eu acho que você só pode aprender muito sozinho e o resto, por acidente, assistindo alguém usando uma linha de comando.

Eu estava usando o shell há anos digitando meticulosamente os nomes dos diretórios manualmente. Um dia, eu estava assistindo um amigo mexer no sistema e ele continuou pressionando a tecla Tab. Eu perguntei "por que você está acessando a guia?". Resposta: tenta completar o diretório ou o nome do arquivo. Quem teria adivinhado - conclusão da guia! Digite um pouco do arquivo ou diretório, pressione a tecla Tab e ele tentará finalizar o que você digitou (o comportamento depende de qual shell).

Um dia, esse amigo estava me observando na linha de comando e me viu digitar algo como:

coryking@cory ~/trunk/mozi $ pushd /etc
/etc ~/trunk/mozi
coryking@cory /etc $ popd
~/trunk/mozi
coryking@cory ~/trunk/mozi $

Quem teria adivinhado !? Ele nunca soube sobre popd/ pushd. Acho que estamos quites ...

Aprenda o Vim.

É (sem dúvida) o melhor editor, mas certamente o melhor editor disponível em um servidor Linux.

Às vezes, é útil deixar um programa em execução mesmo após o logout. Eu já vi algumas soluções que usam nohup ou até tela para esse fim. O mais simples que conheço é:

$ your_command_here & disown

Você também pode desanexar um programa em execução:

$ your_command_here
# Press <Control-Z> to stop the program and bring it to background:
$ bg
$ disown

Quando quero ter certeza de que uso o comando real e não um alias, uso uma barra invertida à esquerda:

\rm -rf ~/tmp

Esta dica deixará sua CLI mais confortável (pelo menos para mim):

crie o arquivo ~ / .inputrc com o seguinte conteúdo:

"\e[A": history-search-backward
"\e[B": history-search-forward

Recarregue o bash (por exemplo, digitando "exec bash"). Quando você digita o prefixo de um comando e pressiona a seta para cima, você navega pelos comandos que começam com o seu prefixo; por exemplo, se você digitou ssh, ele mostra suas conexões anteriores com shells remotos. Se o seu prompt estiver vazio, a seta para cima navegará no histórico da maneira normal.

Use em &&vez de ;executar vários comandos ao mesmo tempo. Para quando ocorre um erro e não executa os outros comandos.

Exemplo clássico:

./configure && make && make install

Ao escrever loops na linha de comando no bash, prefixo comandos arriscados com o comando 'eco'.

for item in items; do echo something-risky; done

Dessa forma, eu consigo ver o 'algo arriscado' na íntegra antes de me comprometer a executá-lo. Ajuda quando seu comando arriscado inclui expansões e globs variáveis. E 'set -x' é muito útil ao escrever scripts bash.

'set -x' permite a depuração. Consulte http://tldp.org/LDP/Bash-Beginners-Guide/html/sect_02_03.html para obter informações sobre a depuração do bash.

Requerimento

Você precisa testar a largura de banda máxima entre 2 servidores.

Solução

No SERVER1, faça:

nc -u -l 54321 > /dev/null

No SERVER2, faça:

dd if=/dev/zero bs=1MB | nc -u SERVER1 54321 &
pid=$(pidof dd)
while (( 1 )); do kill -USR1 $pid; sleep 2; done

Você verá resultados como:

182682000000 bytes (183 GB) copied, 1555.74 seconds, 117 MB/s
182920+0 records in
182919+0 records out

117 MB / s é o fator interessante aqui, que mostra a largura de banda real de transferência de rede.

Explicação :

Como o pacote começará a fluir pela rede, você poderá ver as estatísticas de largura de banda no SERVER2, que é uma estimativa muito boa da largura de banda máxima possível real entre os 2 servidores.

Cópia por UDP (para evitar sobrecarga de TCP).

Copiar da memória (/ dev / zero) no SERVER1 para a memória (/ dev / null) no SERVER2, impedindo, assim, a E / S do disco de se tornar um gargalo.

Ver estruturas de diretório de cores é mais fácil.

alias ls="ls --color=tty"

Editar

alias ls="ls --color=auto"

Alguns pequenos ponteiros sobre a visualização de logs:

1. Você pode usar tail -F para continuar assistindo o log depois que ele for truncado (por exemplo log4j).
2. Você pode usar menos: abra menos, clique em SHIFT + F para emular o comportamento da cauda. A combinação também útil é -S para desativar a quebra de linha. menos permitirá que você pesquise nos logs.

Há muito tempo, aprendi um truque com um amigo para alterar facilmente a extensão de um arquivo:

mv my_filename.{old,new}

A expansão da Shell expandirá isso para:

mv my_filename.old my_filename.new

Isso também pode ser usado para renomear um arquivo de outras maneiras, como adicionar algo em:

mv my_{,cool_}filename

Use "tar xf" para extrair arquivos compactados. O j para bzip2 ez para o gzip não são necessários, pois o tar detectará o tipo de arquivo do seu arquivo. Nem é sinal '-' antes dos argumentos. Você economizará muito tempo (mais de um milênio ;-)).

Melhor ainda, use unfoo para extrair qualquer arquivo morto com um único comando, sem argumentos desnecessários.

Instale o pacote de conclusão do bash. Ele contém várias regras de conclusão predefinidas para o shell. Habilite-o digitando "source / etc / bash_completion" se a sua distribuição não o fizer. Por exemplo, sempre que você concluir o kpdf, verá apenas uma lista de diretórios e arquivos PDF. É tão inteligente quanto concluir arquivos remotos após scp ssh: // server / XXX (se você ativou logins sem senha).

Eu uso constantemente esses

ALT-. (ESC +. Em alguns terminais) copia o último argumento usado (super útil)

CTRL-W exclui a palavra

Terminal CTRL-L clear (como comando clear, mas mais rápido)

ALT-B (ESC + B em alguns terminais) retrocede uma palavra

ALT-F (ESC + F em alguns terminais) avança uma palavra

CTRL-E pula para EOL

CTRL-A salta para BOL

Pesquisa CTRL-R no histórico

No bash, eu uso muito ! $ . Ele repete o último argumento do último comando:

ls /really/long/command/argument/that/you/dont/want/to/repeat.txt
vi !$

Ele executará o ls; se você quiser editá-lo, não precisará digitá-lo novamente, basta usar! $. Isso é realmente útil para nomes longos de caminho / arquivo. Além disso ,! * Repete todos os argumentos do comando anterior. Eu não uso muito isso, mas parece útil.

Eu sabia que eles foram mencionados, mas eu uso vim, screen e cd - muito.

Eu esqueci noclobber:

set -o noclobber

De man bash :

Se definido, o bash não substitui um arquivo existente pelos operadores de redirecionamento>,> &, e <>. Isso pode ser substituído ao criar arquivos de saída usando o operador de redirecionamento> | em vez de>.

Alterne do bash para o zsh e veja sua produtividade melhorar:

• Conclusão de guias realmente inteligente e com script. Ele completa não apenas as linhas de comando, mas todas as opções, nomes de páginas de manual, nomes de pacotes (para apt-get / emerge etc) e o que você possui. E fornece uma explicação útil das opções durante a conclusão. Tudo isso sem usar nenhum espaço de rolagem após o comando ter sido emitido.
• Conclusão de tabulação de curingas; escreva cat * .txt, pressione tab e escolha entre os arquivos que correspondem à expressão.
• Alterne diretórios apenas digitando seus nomes.
• Vários modos de edição de linha. Pode se comportar como vi ou emacs, se você quiser.
• Ligações de teclas personalizáveis ​​para fazer o que quiser.
• Prompts estáveis, incluindo a capacidade de colocar informações rápidas no lado direito da tela e ocultar automaticamente ao digitar um comando longo

O Google fornecerá muitos outros benefícios.

Old school, movendo uma árvore de diretórios de um lugar para outro, preservando links simbólicos, permissões e todas as coisas boas:

tar cBf - . | (cd /destination; tar xvBpf -)

ou através da rede

tar cBf - . | rsh foo.com "cd /destination; tar xvBpf -)

Nova escola:

rsync -urltv . /destination

ou através da rede

rsync -urltv -e ssh . foo.com:/destination

Requisito : você tem um diretório que contém uma grande lista de arquivos que você deseja excluir. rm -r falhará!

exemplo

find /var/spool/mqueue/ | wc -l
191545
rm -f /var/spool/mqueue/*
-bash: /bin/rm: Argument list too long

Solução :

find /var/spool/mqueue/ -xdev -exec command rm -f '{}' +

Explicação :

Edit: Fixing explanation following @ephemient comment.

find fornecerá argumentos para rm pelos argumentos máximos permitidos. Isso permitirá que a rm exclua arquivos em lotes, que é a técnica mais rápida que eu conheço sem usar a operação -delete de encontrar a si mesma. É equivalente a

find /var/spool/mqueue -xdev -print0 | xargs -0 rm -f

que você pode achar útil se o seu findnão suportar -exec ... +.

Eu uso essas duas dicas com tanta frequência que achei que seria uma boa idéia compartilhar:

!foo

Inicia o último comando no arquivo de histórico que começa com "foo" (geralmente o uso na compilação, !gccpor exemplo).

O outro é um atalho de teclado (Ctrl + O em vez de Return); este executará o comando E exibirá o próximo comando no arquivo de histórico. Por exemplo, quando eu compilar e testar um arquivo, eu sempre executo 3 ou 4 comandos, faço cd para o diretório do teste, execute o teste, cd para o diretório do makefile. O uso de Ctrl + O torna essa tarefa muito mais fácil :)

Espero que esta ajuda!

Como usar o subversion no Linux sem a ajuda de interfaces gráficas sofisticadas que podem não estar disponíveis.

svn co <repo-url> . # Checks out project into current folder

svn update # Get latest changes from server

svn status # Shows what files have changed locally

svn add <path/filename> # Add some file to the repo

svn commit # Commit your changes to the repo

Isso impede muitos desenvolvedores de usar o Linux, por incrível que pareça.

O comando mais negligenciado da velha escola: find

Ontem eu consertei um bug de permissões brutas:

for u in nr dias simonpj; do
   sudo -u $u find . -type d -exec chmod g+s '{}' ';'
done

Para shells como bashe ksh, você pode fazer a linha de comando responder aos comandos de navegação como seu editor de texto:

set -o emacs

ou

set -o vi

permitirá que você pesquise seu histórico e mova-se pela linha de comando da maneira que você está acostumado a fazer em arquivos de texto (por exemplo, no modo vi, pressionar ESCe digitar /stringpesquisará "string" nos comandos anteriores - você pode usar ne Nmover entre correspondências)

grep é meu amigo. A sério.

Listar .rbarquivos que contêm o texto class foo:

grep -l "class foo" .rb

Listar .rbarquivos que não contêm o texto class foo:

grep -L "class foo" *.rb

Liste os .rbarquivos que não contêm foo ou bar (você pode usar qualquer regexp com -e, mas precisa escapar dos operadores):

grep -L -e "foo\|bar" *.rb

A substituição do shell é realizada com ^:

/home/eugene $ ls foo.txt
foo.txt
/home/eugene $ ^ls^rm
rm foo.txt
/home/eugene $ ls foo.txt
ls: cannot access foo.txt: No such file or directory