Mover arquivos diretamente de uma conta S3 para outra?

Uma pergunta bastante básica, mas não consegui encontrar uma resposta. Usando o Transit, posso "mover" arquivos de um bucket S3 em uma conta AWS para outro bucket S3 em outra conta AWS, mas o que ele realmente faz é baixar os arquivos do primeiro e depois carregá-los para o segundo.

Existe uma maneira de mover arquivos diretamente de uma conta S3 para outra sem baixá-los no meio?

Se você está apenas procurando uma solução pronta, existem algumas soluções que podem fazer isso. O Bucket Explorer funciona no Mac e no Windows e pode copiar entre contas, assim como o Cloudberry S3 Explorer e o S3 Browser, mas eles são Windows apenas, portanto, podem não funcionar para você.

Suspeito que o console da AWS também possa fazer isso com a configuração de permissões apropriada, mas não testei isso.

Você também pode fazer isso usando a API da AWS , desde que tenha fornecido à conta da AWS que está usando permissões de gravação para o intervalo de destino.

Sim, há um jeito. E é muito simples, embora seja difícil de encontrar. 8)

Por exemplo, suponha que o seu primeiro nome de usuário da conta seja [email protected] e o segundo seja [email protected].

Abra o AWS Management Console como acc1. Acesse as propriedades do bucket do Amazon S3 e, na guia "Permissões", clique em "Adicionar mais permissões". Em seguida, adicione Permissões de Lista e Visualização para "Usuários Autenticados".

Em seguida, no AWS IAM (é acessível a partir das guias do console) de acc2, crie um usuário com acesso total ao bucket S3 (para ser mais seguro, você pode configurar as permissões exatas, mas eu prefiro criar um usuário temporário para a transferência e excluí-lo).

Em seguida, você pode usar s3cmd (usando as credenciais do usuário recém-criado em acc2) para fazer algo como:

s3cmd cp s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive

Todas as transferências serão feitas do lado da Amazon.

Use o aws cli (usei uma instância do ubuntu 14 ec2) e execute o seguinte comando:

aws s3 sync s3://bucket1 s3://bucket2

Você precisará especificar os detalhes da conta para um e ter acesso público de gravação ou acesso público de leitura ao outro.

Isso sincronizará os dois depósitos. Você pode usar o mesmo comando novamente mais tarde para sincronizar rapidamente. A melhor parte é que não parece exigir nenhuma largura de banda (por exemplo, os arquivos não estão passando pelo computador local).

boto funciona bem. Veja este tópico . Usando o boto, você copia objetos direto de um depósito para outro, em vez de baixá-los para a máquina local e carregá-los para outro depósito.

No Mac OS XI usei o aplicativo Transmit do Panic. Abri uma janela para cada conta S3 (usando as chaves de API e segredos). Eu poderia então arrastar de um balde em uma janela para outro balde na outra janela. Não há necessidade de baixar arquivos localmente primeiro .

Andrew está correto, Transmit baixa os arquivos localmente e depois carrega os arquivos.

Mover arquivos S3 de uma conta para outra conta

Vamos considerar que há duas contas: conta de origem e conta de destino. E dois baldes source-buckete destination bucket. Queremos mover todos os arquivos de source-bucketpara destination-bucket. Podemos fazer isso pelas seguintes etapas:

1. aws configure
   • Configure sua conta de destino usando a credencial ou a função IAM.
2. Crie uma política de usuário para o usuário da conta de destino.
3. Dê ao usuário de destino acesso ao source-bucket, modificando a política do source-bucket e adicionando a política do usuário da conta de destino a ele. Desta forma, o usuário de destino terá acesso ao source-bucket.
4. aws s3 ls s3://source-bucket/
   • isso irá verificar se a conta de destino está tendo acesso ao source-bucket. Apenas para confirmação faça isso.
5. aws s3 cp s3://source-bucket s3://destination-bucket --recursive
   • isso copiará todos os arquivos do intervalo de origem para o intervalo de destino. Todos os arquivos são copiados usando o sinalizador --recursive.
6. aws s3 mv s3://source-bucket s3://destination-bucket --recursive
   • isso moverá todos os arquivos do depósito de origem para o depósito de destino.

Alternativamente, você pode usar o comando sync - aws s3 sync s3://source-bucket s3://detination-bucket

Para uma melhor explicação siga o link

O CrossFTP pode copiar arquivos S3 diretamente de um depósito para outro, sem baixá-los. É um cliente GUI S3 que funciona em Windows, Mac e Linux.

Você pode usar o Cyberduck (código aberto)

Para arquivos recém-criados (objetos NÃO existentes), você pode aproveitar as vantagens da nova funcionalidade da AWS. É Replicação entre regiões (em "Controle de versão" para o bucket S3). Você pode criar uma política que permitirá replicar novos objetos para um intervalo em uma conta diferente.

Para objetos existentes, você ainda precisará copiar seus objetos usando outro método - a menos que a AWS introduza funcionalidade nativa para isso no futuro.

Pode-se fazê-lo executando o seguinte:

aws s3 mv (sync for keeping buckets in sync) s3://source-bucket s3://destination-bucket --recursive

1. Anexe uma política de intervalo ao intervalo de origem na conta de origem.

2. Anexe uma política AWS Identity and Access Management (IAM) a um usuário ou função na conta de destino.

3. Use o usuário ou função IAM na conta de destino para realizar a movimentação entre contas.