Remova arquivos confidenciais e suas confirmações do histórico do Git

Gostaria de colocar um projeto Git no GitHub, mas ele contém certos arquivos com dados confidenciais (nomes de usuário e senhas, como /config/deploy.rb para capistrano).

Eu sei que posso adicionar esses nomes de arquivo ao .gitignore , mas isso não removeria o histórico deles no Git.

Também não quero começar de novo excluindo o diretório /.git.

Existe uma maneira de remover todos os vestígios de um arquivo específico no seu histórico do Git?

Para todos os fins práticos, a primeira coisa com que você deve se preocupar é MUDAR SUAS SENHAS! Não está claro em sua pergunta se o seu repositório git é totalmente local ou se você possui um repositório remoto em outro lugar; se for remoto e não protegido por terceiros, você tem um problema. Se alguém clonou esse repositório antes de você consertar isso, eles terão uma cópia de suas senhas na máquina local e não há como você forçá-los a atualizar para a sua versão "fixa" com o histórico retirado. A única coisa segura que você pode fazer é alterar sua senha para outra em qualquer lugar em que você a tenha usado.

Com isso fora do caminho, veja como corrigi-lo. O GitHub respondeu exatamente a essa pergunta como uma FAQ :

Nota para usuários do Windows : use aspas duplas (") em vez de singles neste comando

git filter-branch --index-filter \
'git update-index --remove PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA' <introduction-revision-sha1>..HEAD
git push --force --verbose --dry-run
git push --force

Atualização 2019:

Este é o código atual da FAQ:

  git filter-branch --force --index-filter \
  "git rm --cached --ignore-unmatch PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA" \
  --prune-empty --tag-name-filter cat -- --all
  git push --force --verbose --dry-run
  git push --force

Lembre-se de que depois de enviar esse código para um repositório remoto como o GitHub e outros clonarem esse repositório remoto, você estará em uma situação em que está reescrevendo o histórico. Quando outras pessoas tentam retirar suas alterações mais recentes depois disso, elas receberão uma mensagem indicando que as alterações não podem ser aplicadas porque não é um avanço rápido.

Para corrigir isso, eles terão que excluir o repositório existente e cloná-lo novamente ou seguir as instruções em "RECUPERANDO DO UPSTREAM REBASE" na página de manual do git-rebase .

Dica : Executargit rebase --interactive

No futuro, se você acidentalmente confirmar algumas alterações com informações confidenciais, mas perceber antes de enviar para um repositório remoto, existem algumas correções mais fáceis. Se você tiver confirmado por último a inclusão de informações confidenciais, basta remover as informações confidenciais e executar:

git commit -a --amend

Isso alterará a confirmação anterior com as novas alterações feitas, incluindo remoções de arquivos inteiras feitas com a git rm. Se as alterações estiverem mais antigas, mas ainda não forem enviadas para um repositório remoto, você poderá fazer uma nova análise interativa:

git rebase -i origin/master

Isso abre um editor com os commit que você fez desde seu último ancestral comum com o repositório remoto. Altere "pick" para "edit" em qualquer linha que represente um commit com informações confidenciais e salve e saia. O Git analisará as alterações e o deixará em um local onde você pode:

$EDITOR file-to-fix
git commit -a --amend
git rebase --continue

Para cada alteração com informações confidenciais. Eventualmente, você retornará à sua filial e poderá enviar com segurança as novas alterações.

Alterar suas senhas é uma boa ideia, mas, para o processo de remoção de senhas do histórico de seu repositório, recomendo o BFG Repo-Cleaner , uma alternativa mais rápida e simples ao git-filter-branchprojetado explicitamente para remover dados particulares dos repositórios Git.

Crie um private.txtarquivo listando as senhas, etc, que você deseja remover (uma entrada por linha) e, em seguida, execute este comando:

$ java -jar bfg.jar  --replace-text private.txt  my-repo.git

Todos os arquivos abaixo de um tamanho limite (1 MB por padrão) no histórico do seu repositório serão verificados e qualquer sequência correspondente (que não esteja no seu último commit) será substituída pela sequência "*** REMOVED ***" ". Você pode usar git gcpara limpar os dados mortos:

$ git gc --prune=now --aggressive

O BFG geralmente é 10 a 50 vezes mais rápido que a execução git-filter-branche as opções são simplificadas e adaptadas a esses dois casos de uso comuns:

• Removendo arquivos grandes e loucos
• Remoção de senhas, credenciais e outros dados privados

Divulgação completa: sou o autor do BFG Repo-Cleaner.

Se você empurrou para o GitHub, forçar o envio não é suficiente, exclua o repositório ou entre em contato com o suporte

Mesmo se você forçar a pressão um segundo depois, não será suficiente, conforme explicado abaixo.

Os únicos cursos de ação válidos são:

• é o que vazou uma credencial mutável como uma senha?

  • sim: modifique suas senhas imediatamente e considere usar mais chaves OAuth e API!

  • não (fotos nuas):

    • você se importa se todos os problemas no repositório forem resolvidos?

      • não: exclua o repositório

      • sim:

        • entre em contato com o suporte
        • se o vazamento for muito crítico para você, a ponto de estar disposto a obter algum tempo de inatividade do repositório para diminuir a probabilidade de vazamento, torne-o privado enquanto aguarda a resposta do suporte do GitHub

Forçar um segundo depois não é suficiente porque:

• O GitHub continua comprometendo os commits por um longo tempo.

  A equipe do GitHub tem o poder de excluir esses commit dangling se você entrar em contato com eles.

  Eu experimentei isso em primeira mão quando carreguei todos os emails de confirmação do GitHub em um repositório que eles me pediram para removê-lo, então eu fiz e eles fizeram a gc. No entanto, as solicitações pull que contêm os dados precisam ser excluídas : esses dados de repo permaneceram acessíveis até um ano após a remoção inicial devido a isso.

  Os commits dangling podem ser vistos através de:

  • a interface da web da confirmação: https://github.com/cirosantilli/test-dangling/commit/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( máquina Wayback )
  • a API: https://api.github.com/repos/cirosantilli/test-dangling/commits/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( máquina Wayback )

  Uma maneira conveniente de obter a fonte nesse commit é usar o método zip de download, que pode aceitar qualquer referência, por exemplo: https://github.com/cirosantilli/myrepo/archive/SHA.zip

• É possível buscar os SHAs ausentes por:

  • listando eventos da API com type": "PushEvent". Por exemplo, o meu: https://api.github.com/users/cirosantilli/events/public ( máquina Wayback )
  • de maneira mais conveniente, às vezes, observando os SHAs das solicitações pull que tentaram remover o conteúdo

• Existem scrappers como http://ghtorrent.org/ e https://www.githubarchive.org/ que agrupam regularmente os dados do GitHub e os armazenam em outros lugares.

  Não consegui descobrir se eles rasparam o diff de confirmação real, e isso é improvável, porque haveria muitos dados, mas é tecnicamente possível, e a NSA e os amigos provavelmente têm filtros para arquivar apenas coisas vinculadas a pessoas ou comissões de interesse.

Se você excluir o repositório em vez de apenas forçar o envio, as confirmações desaparecem mesmo da API imediatamente e fornecem 404, por exemplo, https://api.github.com/repos/cirosantilli/test-dangling-delete/commits/8c08448b5fbf0f891696819f3b2b2d653f7a3824 Isso funciona mesmo se você recriar outro repositório com o mesmo nome.

Para testar isso, criei um repositório: https://github.com/cirosantilli/test-dangling e fiz:

git init
git remote add origin [email protected]:cirosantilli/test-dangling.git

touch a
git add .
git commit -m 0
git push

touch b
git add .
git commit -m 1
git push

touch c
git rm b
git add .
git commit --amend --no-edit
git push -f

Veja também: Como remover um commit dangling do GitHub?

Eu recomendo este script de David Underhill, funcionou como um encanto para mim.

Ele adiciona esses comandos além do ramo de filtro do natacado para limpar a bagunça que deixa para trás:

rm -rf .git/refs/original/
git reflog expire --all
git gc --aggressive --prune

Roteiro completo (todo o crédito a David Underhill)

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter \
"git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch
# otherwise leaves behind for a long time
rm -rf .git/refs/original/ && \
git reflog expire --all && \
git gc --aggressive --prune

Os dois últimos comandos podem funcionar melhor se forem alterados para o seguinte:

git reflog expire --expire=now --all && \
git gc --aggressive --prune=now

Para ser claro: a resposta aceita está correta. Experimente primeiro. No entanto, pode ser desnecessariamente complexo para alguns casos de uso, principalmente se você encontrar erros desagradáveis, como 'fatal: revisão ruim - poda vazia', ou realmente não se importa com o histórico do seu repo.

Uma alternativa seria:

1. cd à ramificação base do projeto
2. Remova o código / arquivo sensível
3. rm -rf .git / # Remova todas as informações do git do seu código
4. Vá para o github e exclua seu repositório
5. Siga este guia para enviar seu código para um novo repositório como faria normalmente - https://help.github.com/articles/adding-an-existing-project-to-github-using-the-command-line/

Obviamente, isso removerá todas as ramificações do histórico de consolidação e os problemas do seu repositório github e do repositório git local. Se isso for inaceitável, você terá que usar uma abordagem alternativa.

Chame isso de opção nuclear.

Você pode usar git forget-blob.

O uso é bem simples git forget-blob file-to-forget. Você pode obter mais informações aqui

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Ele desaparecerá de todos os commits em seu histórico, reflog, tags e assim por diante

Eu sempre encontro o mesmo problema de vez em quando, e toda vez que tenho que voltar a este post e a outros, é por isso que automatizei o processo.

Créditos para colaboradores do Stack Overflow que me permitiram juntar isso

Aqui está a minha solução no Windows

git filter-branch --tree-filter "rm -f 'filedir / filename'" HEAD

git push --force

verifique se o caminho está correto, caso contrário não funcionará

Espero que ajude

Use ramo de filtro :

git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch *file_path_relative_to_git_repo*' --prune-empty --tag-name-filter cat -- --all

git push origin *branch_name* -f

Eu tive que fazer isso algumas vezes até hoje. Observe que isso funciona apenas em 1 arquivo por vez.

1. Obtenha uma lista de todas as confirmações que modificaram um arquivo. O da parte inferior será o primeiro commit:

   git log --pretty=oneline --branches -- pathToFile

2. Para remover o arquivo do histórico, use o primeiro commit sha1 e o caminho para o arquivo do comando anterior e preencha-os neste comando:

   git filter-branch --index-filter 'git rm --cached --ignore-unmatch <path-to-file>' -- <sha1-where-the-file-was-first-added>..

Então, parece algo como isto:

git rm --cached /config/deploy.rb
echo /config/deploy.rb >> .gitignore

Remova o cache do arquivo rastreado do git e adicione esse arquivo à .gitignorelista

No meu projeto android, eu tinha admob_keys.xml como arquivo xml separado na pasta app / src / main / res / values ​​/ . Para remover esse arquivo sensível, usei o script abaixo e funcionei perfeitamente.

git filter-branch --force --index-filter \
'git rm --cached --ignore-unmatch  app/src/main/res/values/admob_keys.xml' \
--prune-empty --tag-name-filter cat -- --all