Atualizado em fevereiro de 2021
Sem dúvida, estamos estragado para a escolha de hoje, com a variedade de armazenamentos de arquivo. Os Serviços em nuvem são os mais populares no mercado graças à sua acessibilidade e facilidade de uso. Como estimado, existem mais de 2300 milhões de Usuários de armazenamento em nuvem em todo o mundo. Espera-se que esse número cresça ainda mais.
com sua infraestrutura escalável e fortes medidas de segurança, o Amazon S3 é uma das principais opções de biblioteca de mídia de muitos consumidores. Empresas de todos os tamanhos e setores mudam para esse armazenamento depois de ouvirem muito sobre a reputação impecável da Amazon e sua busca pela perfeição.
mas a Amazon nunca estava procurando atalhos. E seu sistema de objetos diferencia o armazenamento da concorrência, além de complicar o processo de integração para novos usuários. Ainda tem calma! Com este artigo, vamos falar sobre as armadilhas do Amazon S3.
como construímos recentemente a integração da barragem com a Amazon em Pics.io, carregar e gerenciar arquivos no S3 tornou-se muito importante para nossos usuários. Então aqui estamos nós, trazendo benefício para todos que precisam desta informação para fazer trabalhar com S3 um pedaço de bolo para você.
o Amazon S3: Alguns importantes terminologia
Como um novo usuário do Amazon, você pode ficar confuso quando você abrir a sua conta. Onde está a organização tradicional de arquivos e pastas? O que é uma chave secreta e por que meus arquivos preciosos são armazenados em buckets?
aqui está uma pequena lista de termos que você pode querer saber antes mesmo de entrar em sua conta:
- console de gerenciamento da AWS (Amazon Web Services). Este é um aplicativo baseado na web através do qual você acessará e gerenciará seu armazenamento em nuvem. Você precisará do seu nome de usuário & senha para entrar na sua conta.
- usuário Root vs. usuário IAM (gerenciamento de identidade e acesso). Existem dois tipos de usuários na AWS: um proprietário de conta (ou usuário root) e usuários concedidos com certas funções e privilégios de acesso (usuários IAM). Uma dica profissional: para medidas de segurança, a Amazon recomenda reduzir ao mínimo o uso de credenciais de usuário root. Em vez disso, você pode criar um usuário IAM e conceder-lhes acesso total.
- ID da chave de acesso e chave secreta. Ao lado do Console access (desenvolvido principalmente para usuários com histórico técnico limitado), também existe o acesso programático. E aqui você precisará de chaves de acesso da AWS para fazer chamadas programáticas.
- balde. No Console do Amazon S3, você cria buckets – uma chamada pasta pai para seus ativos e seus metadados. Por padrão, o Amazon S3 concede 100 buckets por conta, mas você pode aumentar esse limite em até 1000 buckets para pagamento extra.
Bucket = Objeto 1 + Objeto 2 + Objeto 3
- Objeto. Armazenamos objetos em baldes. Composto por arquivos, além de seus metadados (opcionalmente), um objeto pode ser qualquer tipo de arquivo que você precisa carregar: um arquivo de texto, uma imagem, vídeo, áudio e assim por diante. Seu tamanho máximo permitido é de 160 GB.
Objeto = arquivo + metadados (opcionalmente)
- Pastas. Você pode agrupar seus objetos por pastas. Mas lembre-se de que o Amazon S3 tem um sistema de arquivos simples em contraste com a hierarquia tradicional, onde seus ativos são agrupados em diretórios e subdiretórios. Estrutura plana significa que você consegue simplicidade organizacional com a ajuda de nomes de arquivos e pastas exclusivos. Por exemplo, você adiciona um nome de projeto + nome do cliente + Data de vencimento para não encontrar o mesmo nome no armazenamento.
- Região. Os buckets do Amazon S3 são específicos da região. Isso significa que você escolhe a localização geográfica em que deseja que a empresa armazene seus ativos. Lembre-se de que os objetos no bucket não sairão de sua localização, a menos que você os transfira especificamente para uma região diferente.
- nomes de Chave & prefixos. Nomes de chave referem-se a nomes de objetos e, juntamente com prefixos (uma string comum nos nomes de objetos), eles ajudam você a acessar o arquivo necessário de forma mais rápida e fácil. Digamos que você armazene photo1 em folder1 em seu balde. Em seguida, você pode pesquisar seus arquivos inserindo bucket/folder1/photo1 em vez de abrir pastas e buckets manualmente.
configuramos uma conta do Amazon S3: como começar a usá-la
como criar um bucket?
depois de fazer login no console da AWS e acessar a interface do usuário do S3, é hora de explorar sua conta de usuário. Portanto, a primeira coisa que você faz é criar um bucket do Amazon S3.
aqui você precisa indicar o nome do bucket e a localização geográfica onde deseja que a Amazon armazene seu bucket e seu conteúdo. Já mencionamos a estrutura plana como um recurso especial do armazenamento do Amazon S3, portanto, esteja atento ao escolher o nome do seu bucket. O sistema não vai deixar você ir a menos que o nome 1) é único em todo o armazenamento 2) está entre 3 e 63 caracteres; e 3) contém apenas caracteres minúsculos.
quanto à região, o armazenamento permite criar um bucket no local desejado. E a melhor ideia é escolher aquele que é o mais próximo de você. Dessa forma, você não apenas reduzirá o tempo de resposta, mas reduzirá os custos e atenderá aos requisitos regulamentares.
o que mais posso fazer com meu balde?
1) permissões
no mesmo menu, você também define permissões e configura opções. Dependendo das funções em sua equipe, você decide quem criará, editará e excluirá objetos em seu bucket.
2) Acesso Público vs. individual
em seguida, escolha entre acesso público e individual. Por uma questão de segurança, não recomendamos conceder acesso público, a menos que você use esse bucket para compartilhar seus arquivos com muitos clientes ou parceiros. Se esse não for o caso, você sempre pode tornar determinados arquivos acessíveis publicamente a outras pessoas.
3) Controle de versão
quanto às opções de configuração, ative o controle de Versão se estiver planejando armazenar diferentes revisões do mesmo objeto. Digamos que você esteja criando um novo logotipo para sua campanha de marketing. Ao longo desse processo, haverá várias atualizações no seu arquivo quando você experimentar a paleta de cores ou elaborar a fonte.
com o controle de Versão, diferentes versões do seu arquivo são armazenadas sob a mesma chave e você as recupera todas de uma vez ao acessar o objeto. Os usuários do Amazon S3 também apreciam o controle de versão quando se trata de falhas de aplicativos ou ações não intencionais (por exemplo, quando seu colega excluiu a revisão precisa que todos concordaram em usar).
4) Server vs. object Access logging
Tick Server Access logging caso você queira rastrear solicitações feitas em um bucket. Os relatórios de log de acesso são úteis para você em tempos de auditorias e como precaução de segurança.
você também pode experimentar um registro de nível de objeto mais avançado. Nesta ocasião, você está livre para filtrar eventos a serem registrados e rastreá – los no CloudTrail-um serviço de auditoria AWS separado.
5) criptografia
finalmente, criptografe seus arquivos se quiser proteger seus dados adicionalmente. A criptografia significa codificar suas informações para que possam ser acessadas apenas usando uma senha e uma chave de criptografia (descriptografia) especialmente projetada. Para não ir mais longe na codificação, o S3 storage permite que você escolha a criptografia padrão ao criar um novo bucket.
entrando no bucket
como fazer upload de seus arquivos para o Amazon S3?
no bucket, armazenamos nossos objetos (arquivos + metadados) e usamos pastas se precisarmos agrupar nossos arquivos. Você verá que o upload de arquivos para o armazenamento S3 é tão fácil quanto o pie. Basta pressionar o upload e arrastar e soltar seus materiais ou apontar e clicar neles-use a maneira que for mais conveniente para você. Clique em criar uma pasta se você estiver disposto a agrupar seus objetos em pastas.
além disso, sinta-se à vontade para fazer upload de uma pasta inteira. Apenas a opção drag’n’Drop está disponível para você neste caso. Ainda assim, simplifica a tarefa se você precisar fazer upload de um amplo escopo de arquivos e refletir sua estrutura. Com o upload de pastas, o Amazon S3 espelha sua estrutura e carrega todas as subpastas, embora essa maneira possa consumir mais tempo.
o que mais devo saber ao enviar objetos para o armazenamento S3?
se você não se importa, vou me repetir: o Amazon S3 usa armazenamento baseado em objetos. Isso significa que nenhum sistema de arquivos! Cada arquivo que você carrega (qualquer que seja a origem, o tipo e o formato) é convertido em um objeto e é encontrado em um bucket depois.
como não há sistema de arquivos (pelo menos no significado comum desta palavra), não falaremos mais sobre nomes como nomes de arquivos. (E já mencionamos que o S3 tem tudo a ver com nomes exclusivos – é assim que organizamos e acessamos arquivos neste serviço de armazenamento.) É por isso que, ao fazer upload de um novo objeto, você nem terá a possibilidade de escolher um nome para ele.
mas para compensar nomes de arquivos não existentes, o serviço usa uma chave de objeto (ou nome de chave) que define exclusivamente um objeto no bucket.
quais são outras opções de configuração durante o upload? O mesmo que com os buckets, você também pode usar criptografia para proteger seus dados e gerenciar permissões públicas. Além disso, você pode tornar um arquivo específico Acessível a um determinado usuário ou usuários.
escolha classes de armazenamento com base na frequência com que você planeja acessar seus dados. Por exemplo, o padrão S3 (o tipo padrão) é projetado para dados críticos e não reproduzíveis que você gerenciará regularmente.
metadados vs. marcação
além de uma chave (e dados), cada objeto S3 tem uma lista de metadados definidos ao enviá-lo. Em resumo, trata-se de informações adicionais sobre o objeto, como quando foi criado ou por quem. Os metadados são armazenados usando um sistema de valor-chave onde a chave ajuda a identificar um objeto e o valor é o próprio objeto.
para simplificar, o comprimento do conteúdo ou o tipo de arquivo são as chaves quando nos referimos a esses tipos de metadados. Consequentemente, seus valores serão o tamanho do objeto em bytes e diferentes tipos de arquivo, como PDF, texto, vídeo, áudio ou qualquer outro formato em que você possa pensar.
seguindo a mesma lógica, você pode adicionar tags aos seus arquivos que ajudam a pesquisar, organizar e gerenciar o acesso aos seus objetos. As Tags são os mesmos pares de valores-chave e também são tipos de metadados, mas há uma diferença significativa entre eles.
um objeto em S3 é invariável, o mesmo que seus metadados como parte do objeto. O console da AWS permite que você” edite ” metadados, mas não reflete a realidade. O que realmente acontece é uma nova versão do arquivo sendo criada toda vez que você modifica o objeto.
a situação é diferente com tags – elas são informações adicionais de “sub-recurso” sobre um objeto. Como eles são gerenciados separadamente, você não mudará um arquivo ao adicionar tags a ele. No geral, você pode escolher até 10 tags por objeto no S3.
pastas como meio de agrupar objetos
como usamos pastas no S3?
como você provavelmente descobriu, baldes e objetos desempenham papéis centrais no armazenamento S3. Mas este não é o caso das pastas. Estes só foram adicionados para compensar o sistema hierárquico de arquivos ausente para melhorar o gerenciamento e o acesso de arquivos.
no Amazon S3, as pastas ajudam você a encontrar seus arquivos graças aos prefixos (localizados antes do nome da chave). Digamos que você crie uma pasta chamada Imagens, e lá você armazena um objeto com o nome da chave images/photo1.jpg. “Imagens” é o prefixo neste caso. “/”é o delimitador, adicionado automaticamente pelo sistema (evite-os nos nomes das pastas). Quanto mais pastas e subpastas você criar, mais prefixos seu arquivo receberá.
e assim você pode usar esses prefixos para acessar seus dados. Basta digitar um ou mais prefixos no mecanismo de pesquisa S3 para filtrar suas pesquisas.
Ações com pastas e objetos
o Que você pode fazer com seus arquivos e pastas é bastante normal em armazenamento do Amazon S3. Você pode criar novas pastas, excluí-las, tornar públicas, copiar e mover. Altere seus metadados, criptografia, classe de armazenamento e tags – mas, como esperado, nenhuma opção de renomeação está disponível.
sua interação com objetos não será muito diferente. Com o Amazon S3, você não terá problemas com o upload e a cópia de objetos. Além disso, você pode abrir seus ativos, mover, baixar e excluí-los (em formatos diferentes, se necessário).
uma opção interessante inclui a recuperação de objetos excluídos, o que pode ser especialmente útil em caso de falhas do sistema. Mas esteja ciente de que objetos” undeleting ” só são possíveis em buckets com controle de versão ativado.
voltando ao upload novamente: movendo big data para o Amazon S3
deixamos bem claro que o upload de ativos para o Amazon S3 não deve causar dificuldades. E é assim se estamos falando de dados de pequena escala. Mas e se sua biblioteca digital se estender a 1000 arquivos ou 10 000, ou um milhão? Você pode imaginar que você arrasta’n’Drop esses arquivos ou apontar e clicar neles?
que perda de tempo poderia ser! Felizmente, existem outras maneiras mais fáceis e rápidas de mover dados massivos para o seu armazenamento S3…
ferramentas Online
1) Direct Connect é uma excelente solução para transferir grandes quantidades de dados. Sua ideia é criar uma conexão direta entre suas fontes de dados locais e a rede da Amazon. Desta forma, você ignora quaisquer obstáculos criados pelo seu provedor de internet e tráfego da web e move seus dados de forma mais rápida e fácil.
como de costume, você pode solicitar uma conexão no console da AWS, basta escolher a região que deseja usar, Definir o número de portas e sua velocidade – e você pode aplicar a solução.
quando usar esta solução?
- quando você precisa transferir dados em grande escala, e sua conexão com a Internet é lenta.
- quando você está ansioso para reduzir custos e alcançar uma experiência de rede mais consistente.
2) o AWS Data Sync é muito parecido com o Direct Connect, mas é mais sofisticado, com melhores opções de gerenciamento e automação. Por exemplo, o AWS Data Sync permite rastrear suas transferências, agendar processos específicos, adaptar velocidade e largura de banda.
mas uma solução mais avançada também significa transferências mais complexas, não é? Portanto, usuários com conhecimento limitado em codificação podem achar a sincronização de dados muito difícil.
quando usar esta solução?
- quando você precisa de automação adicional para suas transferências de dados para reduzir custos. Por exemplo, escolha Sincronização de dados se quiser filtrar a migração de dados apontando quais pastas/arquivos mover primeiro.
- quando você trabalha em uma grande empresa, sua transferência de dados será concluída sob a supervisão de desenvolvedores.
3) O Amazon S3 Transfer Acceleration foi projetado para acelerar seus processos de migração de dados para o armazenamento S3 especificamente. A solução funciona perfeitamente para transferências de dados em longas distâncias físicas.
quando usar esta solução?
- quando você precisa de uma transferência rápida e / ou para uma distância mais longa.
- quando você tem que mover seus dados de um balde apenas.
4) o Amazon Kinesis Firehose é uma ferramenta de migração de dados em tempo real que você habilita por meio do console da AWS. O serviço é bom devido à sua interface fácil – você configura a entrega em poucos cliques. Além disso, é mais econômico do que outras soluções da Amazon, pois você paga não pelo serviço, mas pela quantidade de dados que transfere.
quando usar esta solução?
- quando você está procurando uma ferramenta de migração de dados de streaming.
- quando você não quer perder seu tempo na administração.
- quando você está planejando cortar custos por meio de pagar como você vai.
5) Tsunami UDP é uma das poucas soluções gratuitas disponíveis para mover big data para o Amazon S3. Ainda não funciona online, então você terá que baixar e instalar a ferramenta. Além disso, o conhecimento básico em codificação é necessário para trabalhar com esta solução.
quando usar esta solução?
- quando seu orçamento é limitado, mas você ainda precisa mover dados em grande escala para seu armazenamento S3.
- quando você precisa transferir arquivos apenas (a solução não suporta mover pastas e subpastas).
- quando você não possui dados confidenciais: o Tsunami UDP não criptografa seus dados.
6) Pics.io a migração de dados é um novo serviço fornecido pela Pics.io DAM. Escolha esta opção se precisar transferir big data (e metadados!) para o seu armazenamento da AWS, mas não quer ter problemas fazendo tudo sozinho.
quando usar esta solução?
- quando você precisa migrar seus dados de uma fonte para outra. Pode ser outro armazenamento em nuvem para o Amazon S3. Ou mover arquivos entre seus buckets.
- quando você deseja concluir a migração rapidamente & facilmente. Nesse caso, basta entrar em contato com o Pics.io equipe de suporte, conceda algumas permissões, & sua solução DAM cuida do resto.
- quando você está planejando mover metadados junto com seus arquivos. Esta opção permite preservar sua estrutura de pastas, Transferir palavras-chave, descrições de arquivos e assim por diante.
- quando você se preocupa com a segurança de suas informações. Foto.io completará o upload da maneira mais segura possível.
ferramentas off-line
7) o AWS Import/Export Disco é um off-line de transferência de dados de solução. Aqui você carrega seus dados para um dispositivo portátil e os envia para a AWS. Em seguida, a empresa move os dados para o seu armazenamento diretamente usando sua rede interna de alta velocidade. Como regra, isso acontece no próximo dia útil quando a Amazon recebe seu dispositivo. Assim que a exportação/importação é concluída, a empresa envia de volta o seu disco rígido externo.
quando usar esta solução?
- ao preparar e enviar seus conjuntos de dados, ainda levará menos tempo do que enviar seus arquivos de qualquer outra maneira. Aproximadamente, é melhor considerar essa opção quando o tamanho de seus dados for maior que 100 GB.
- ao enviar um disco rígido externo com seus dados permanecerá mais barato do que atualizar sua conectividade (caso você esteja planejando mover seus dados online).
8) o AWS Snow Family é outra solução offline, composta por três serviços de transferência diferentes (AWS Snowcone, AWS Snowball e AWS Snowmobile). A ideia é semelhante ao AWS Import/Export Disk, mas desta vez você usa o AWS appliances para mover seus dados em grande escala.
você solicita o serviço on-line por meio do AWS Console, copia seus dados para o dispositivo e os retorna assim que o upload for concluído. Todo o processo leva estimadamente cerca de uma semana, envio e transferência de dados incluídos. Mas com esta opção, você pode passar de alguns terabytes para petabytes de informações.
quando usar esta solução?
- novamente, quando o tempo de espera para envio e transferência de dados é justificável em comparação com qualquer outro método de upload.
- escolha entre AWS Snowcone, AWS Snowball e AWS Snowmobile, dependendo do volume de seus dados. O AWS Snowcone é o menor armazenamento físico da família AWS Snow. É fácil e portátil, e os usuários pedem Snowcones para transferências de dados, o mesmo que em casos de problemas de conectividade.
- AWS Snowball é para uma migração mais em grande escala de dados (de 42 TB). E, finalmente, o AWS Snowmobile é um contêiner de remessa inteiro. Com este serviço, você obtém transferência de dados mais segura e de alta velocidade, rastreamento GPS, vigilância por vídeo, etc., etc.
caso você queira aprofundar a variedade de ferramentas de aceleração de transferência do Amazon S3, não perca nossa postagem sobre este tópico.
problemas e soluções comuns
o Amazon S3 atrai usuários com seus múltiplos benefícios. O armazenamento é altamente durável, tem habilidades de armazenamento ilimitadas e oportunidades únicas de segurança. Embora na maioria das vezes seja um prazer para você trabalhar com esse armazenamento, interrupções ainda acontecem.
veja como você pode resolvê-los:
Problema 1: seu acesso ao armazenamento é negado.Solução 1: isso significa que você está usando uma chave de acesso errada e / ou chave secreta, ou você pode simplesmente não ter direitos para acessar o armazenamento. Verifique suas credenciais, bem como a Política de permissão para o usuário IAM, se isso for aplicável.
Problema 2: sua chave especificada não existe.
Solução 2: você recebe esta mensagem se houver problemas com a nomeação de seus arquivos e buckets. Verifique os nomes, remova a pontuação e os caracteres especiais, se presentes.
Problema 3: Sua Assinatura não corresponde.
Solução 3: Se você vir essa mensagem de erro, é provável que você tenha usado letras maiúsculas e/ou espaços no nome do bucket – renomeie o bucket (ou é melhor criar um novo com Convenções de nomenclatura adequadas).
problema 4: seus arquivos não carregam/baixam.
Solução 4: Verifique sua conexão com a internet e / ou velocidade. Remova o cache. Verifique se você tem espaço livre em seu armazenamento e se seus uploads correspondem aos requisitos de arquivo do Amazon S3.
então você pode precisar verificar as configurações do seu host: vá para Downloads – Configurações – extensões – Amazon S3. Seu host está configurado corretamente? A região? Revise os nomes dos arquivos de seus arquivos (o número de caracteres e se eles têm algum caractere especial, por exemplo). Se você estiver usando um dispositivo móvel, verifique o tamanho da sua foto/vídeo – não deve exceder 2 GB.
problema 5: quando seus arquivos crescem em número, você notará em breve que se torna mais difícil gerenciá-los.Solução 5: o gerenciamento de ativos digitais pode aprimorar sua experiência na Amazon e resolver esse problema para você.
Organização Avançada de arquivos com Pics.io DAM
Mova seu armazenamento S3 para um nível totalmente novo, integrando-o em Pics.io DAM. Esta é uma solução avançada para organizar e distribuir seus arquivos, de modo a maximizar o desempenho da sua equipe.
Pics.io DAM é uma estratégia ganha-ganha para você como usuário do Amazon S3. Como funciona em cima do seu armazenamento, você não precisará iniciar nenhum software adicional (e migrar seus arquivos novamente), ninguém terá acesso ao seu armazenamento, & sem custos para o espaço de armazenamento. Ainda assim você começa:
- Organização de arquivos exclusiva. Não há necessidade de pesquisar seu armazenamento por horas ou enfiar todos esses prefixos. Foto.io exibe seu armazenamento S3 de uma forma mais usual e amigável para que você possa navegar facilmente. Além disso, é muito visual – você pode realmente ver todas as miniaturas e economiza muito tempo no trabalho diário.
- acesso. Com o DAM, você acessa seus arquivos com muita facilidade por palavras-chave, locais, datas e assim por diante. Ou você pode usar a pesquisa mais avançada: por exemplo, você pode encontrar seus arquivos por conteúdo com pesquisa baseada em IA.
- colaboração com sua equipe. Seus colegas podem deixar mensagens em ativos específicos ou marcar as áreas que desejam discutir. Marque seus colegas de equipe diretamente em seu armazenamento. E Receba atualizações sobre quaisquer alterações no diretório.
- partilha. Com Pics.io DAM, você tem sites compartilháveis exclusivos onde você coloca seus materiais e, em seguida, envia o link para seus clientes/freelancers/parceiros. Personalize esses sites: por exemplo, adicione seu nome de domínio ou altere a paleta de cores para promover sua marca.
- segurança. Adicione mais um nível de segurança ao seu armazenamento alterando direitos e permissões. Por exemplo, você pode decidir especificamente quem pode fazer upload/download de seus ativos, Editar e excluí-los. E muitas outras surpresas agradáveis, como ativos vinculados, uma ferramenta de comparação de arquivos, centro de comunicação, etc.
Planejamento para ser incluído na Amazon listagem? Não perca nossa visão geral dos erros de otimização de Listagem mais comuns da Amazon e como evitá-los.
por último, mas não menos importante, se você tentou vários provedores de nuvem pública, mas ainda decidiu parar no Amazon S3, isso obviamente aconteceu por um motivo. Com sua escalabilidade, conveniência e segurança, o Amazon S3 é de fato um dos principais armazenamentos disponíveis no mercado hoje. Por sua vez, nosso Pics.io a equipe ajudará você a aproveitar ao máximo seu armazenamento e aprimorar sua experiência no Amazon S3.