Actualizado en febrero de 2021
Sin duda, tenemos muchas opciones con la variedad actual de almacenamientos de archivos. Los servicios en la nube son los más populares en el mercado gracias a su accesibilidad y facilidad de uso. Según las estimaciones, existen más de 2300 millones de usuarios de almacenamiento en la nube en todo el mundo. Se espera que esta cifra aumente aún más.
Con su infraestructura escalable y sólidas medidas de seguridad, Amazon S3 es una de las principales opciones de bibliotecas multimedia para muchos consumidores. Las empresas de todos los tamaños e industrias cambian a este almacenamiento después de haber escuchado mucho sobre la reputación impecable de Amazon y su esfuerzo por la perfección.
Pero Amazon nunca buscó ningún atajo. Y su sistema de objetos distingue al almacenamiento de la competencia, a la vez que complica el proceso de incorporación de nuevos usuarios. ¡Tómatelo con calma! Con este artículo, vamos a hablarte de las trampas de Amazon S3.
Como hemos construido recientemente la integración de presas con Amazon en Pics.io Cargar y administrar archivos en S3 se convirtió en algo muy importante para nuestros usuarios. Así que aquí estamos, brindando beneficios a todos los que necesitan esta información para que trabajar con S3 sea pan comido para usted.
Amazon S3: Terminología importante
Como nuevo usuario de Amazon, es posible que se sienta desconcertado cuando abra su cuenta por primera vez. ¿Dónde está la organización tradicional de archivos y carpetas? ¿Qué es una clave secreta y por qué mis valiosos archivos se almacenan en cubos?
Aquí hay una breve lista de términos que tal vez desee conocer antes de iniciar sesión en su cuenta:
- Consola de administración de AWS (Amazon Web Services). Esta es una aplicación basada en la web a través de la cual accederá y administrará su almacenamiento en la nube. Necesitarás tu contraseña de nombre de usuario & para iniciar sesión en tu cuenta.
- Usuario root vs. usuario IAM (Administración de Identidad y Acceso). Hay dos tipos de usuarios en AWS: un propietario de cuenta (o usuario root) y usuarios a los que se les otorgan ciertos roles y privilegios de acceso (usuarios de IAM). Un consejo profesional: para medidas de seguridad, Amazon recomienda reducir al mínimo el uso de credenciales de usuario root. En su lugar, puede crear un usuario de IAM y otorgarle acceso completo.
- ID de Clave de Acceso y Clave Secreta. Además del acceso a consola (desarrollado principalmente para usuarios con conocimientos técnicos limitados), también existe acceso programático. Y aquí necesitará claves de acceso de AWS para realizar llamadas programáticas.
- Cubeta. En la consola de Amazon S3, puede crear depósitos, una denominada carpeta principal para sus activos y sus metadatos. De forma predeterminada, Amazon S3 le otorga 100 depósitos por cuenta, pero puede aumentar este límite hasta en 1000 depósitos para pagos adicionales.
Cubo = Objeto 1 + Objeto 2 + Objeto 3
- Objeto. Almacenamos objetos en cubos. Compuesto por archivos, además de sus metadatos (opcionalmente), un objeto puede ser cualquier tipo de archivo que necesite cargar: un archivo de texto, una imagen, video, audio, etc. El tamaño máximo permitido es de 160 GB.
Objeto = archivo + metadatos (opcionalmente)
- Carpetas. Puede agrupar los objetos por carpetas. Pero recuerde que Amazon S3 tiene un sistema de archivos planos en contraste con la jerarquía tradicional, donde los activos se agrupan en directorios y subdirectorios. La estructura plana significa que se logra la simplicidad organizativa con la ayuda de nombres únicos de archivos y carpetas. Por ejemplo, agrega un nombre de proyecto + nombre de cliente + fecha de vencimiento para que no tenga el mismo nombre en todo el almacenamiento.
- Región. Los cubos de Amazon S3 son específicos de la región. Esto significa que usted elige la ubicación geográfica donde desea que la empresa almacene sus activos. Recuerde que los objetos en el cubo no abandonarán su ubicación a menos que los transfiera específicamente a una región diferente.
- Nombres de clave & prefijos. Los nombres de clave se refieren a nombres de objetos y, junto con los prefijos (una cadena común en los nombres de objetos), le ayudan a acceder al archivo necesario de forma más rápida y sencilla. Digamos que guardas photo1 en folder1 en tu cubo. A continuación, puede buscar sus archivos ingresando bucket/folder1/photo1 en lugar de abrir carpetas y cubos manualmente.
Hemos configurado una cuenta de Amazon S3: Cómo empezar a usarla
¿Cómo crear un bucket?
Después de iniciar sesión en la consola de AWS y acceder a la interfaz de usuario de S3, es el momento de explorar su cuenta de usuario. Por lo tanto, lo primero que debe hacer es crear un cubo de Amazon S3.
Aquí debe indicar el nombre de su bucket y la ubicación geográfica donde desea que Amazon almacene su bucket y su contenido. Ya hemos mencionado la estructura plana como una característica especial del almacenamiento Amazon S3, así que esté atento cuando elija el nombre de su cubo. El sistema no lo dejará ir a menos que el nombre 1) sea único en todo el almacenamiento 2) tenga entre 3 y 63 caracteres; y 3) contenga solo caracteres en minúsculas.
En cuanto a la región, el almacenamiento le permite crear un cubo en la ubicación que desee. Y la mejor idea es elegir la que esté más cerca de ti. De esta manera, no solo reducirá el tiempo de respuesta, sino que también reducirá los costos y cumplirá con los requisitos reglamentarios.
¿Qué más puedo hacer con mi cubo?
1) Permisos
En el mismo menú, también puede establecer permisos y configurar opciones. Dependiendo de los roles de tu equipo, tú decides quién creará, editará y eliminará objetos en tu cubo.
2) Acceso público vs. individual
A continuación, elija entre acceso público e individual. Por motivos de seguridad, no recomendamos conceder acceso público a menos que utilice este cubo para compartir sus archivos con muchos clientes o socios. Si este no es el caso, siempre puede hacer que los archivos particulares sean accesibles públicamente para otros.
3) Control de versiones
En cuanto a las opciones de configuración, habilite el control de versiones si planea almacenar diferentes revisiones del mismo objeto. Digamos que estás diseñando un nuevo logotipo para tu campaña de marketing. A lo largo de este proceso, habrá varias actualizaciones en su archivo cuando experimente con la paleta de colores o elabore la fuente.
Con el control de versiones, diferentes versiones de su archivo se almacenan bajo la misma clave, y las recupera todas a la vez al acceder al objeto. Los usuarios de Amazon S3 también aprecian el control de versiones cuando se trata de errores de aplicación o acciones no deseadas (por ejemplo, cuando su colega ha eliminado la revisión precisa que todos acordaron usar).
4) Registro de acceso al servidor frente a objetos
Marque el registro de acceso al servidor en caso de que desee realizar un seguimiento de las solicitudes realizadas en un bucket. Los informes de registro de acceso son útiles para usted en tiempos de auditorías y como precaución de seguridad.
También puede probar un registro a nivel de objeto más avanzado. En esta ocasión, puede filtrar los eventos que desea registrar y rastrearlos en CloudTrail, un servicio de auditoría de AWS independiente.
5) Cifrado
Finalmente, cifre sus archivos si desea proteger sus datos adicionalmente. Cifrado significa codificar su información para que solo se pueda acceder a ella mediante una contraseña y una clave de cifrado (descifrado) especialmente diseñada. Para no profundizar más en la codificación, el almacenamiento S3 le permite elegir el cifrado predeterminado cuando crea un nuevo bucket.
Entrar en el bucket
¿Cómo cargar sus archivos en Amazon S3?
En el cubo, almacenamos nuestros objetos ( archivos + metadatos) y usamos carpetas si necesitamos agrupar nuestros archivos. Verás que subir archivos al almacenamiento S3 es tan fácil como un pastel. Solo tiene que pulsar en cargar y arrastrar y soltar sus materiales o apuntar y hacer clic en ellos, use la forma que sea más conveniente para usted. Haga clic en crear una carpeta si desea agrupar sus objetos en carpetas.
Aparte de eso, no dude en cargar una carpeta completa. Solo la opción de arrastrar y soltar está disponible para usted en este caso. Aún así, simplifica la tarea si necesita cargar un amplio alcance de archivos y reflejar su estructura. Con la carga de carpetas, Amazon S3 refleja su estructura y carga todas las subcarpetas, aunque de esta manera podría consumir más tiempo.
¿Qué más debo saber cuando subo objetos al almacenamiento S3?
Si no le importa, lo repetiré: Amazon S3 utiliza almacenamiento basado en objetos. ¡Esto significa que no hay sistema de archivos en absoluto! Cada archivo que cargue (sea cual sea el origen, el tipo y el formato) se convierte en un objeto y luego se encuentra en un cubo.
Dado que no hay sistema de archivos (al menos en el sentido común de esta palabra), ya no hablaremos de nombres como nombres de archivo. (Y ya hemos mencionado que S3 se trata de nombres únicos, así es como organizamos y accedemos a los archivos en este servicio de almacenamiento. Es por eso que cuando subes un objeto nuevo, ni siquiera tendrás la posibilidad de elegir un nombre para él.
Pero para compensar los nombres de archivo no existentes, el servicio utiliza una clave de objeto (o nombre de clave) que define de forma única un objeto en el bucket.
¿Cuáles son otras opciones de configuración durante la carga? Al igual que con los cubos, también puede usar el cifrado para proteger sus datos y administrar los permisos públicos. Además, puede hacer que un archivo en particular sea accesible para un usuario o usuarios determinados.
Elija clases de almacenamiento en función de la frecuencia con la que planea acceder a sus datos. Por ejemplo, el estándar S3 (el tipo predeterminado) está diseñado para datos críticos no reproducibles que va a administrar regularmente.
Metadatos vs. Etiquetado
Además de una clave (y datos), cada objeto S3 tiene una lista de metadatos que se establece al cargarlo. En resumen, esta es información adicional sobre el objeto, como cuándo fue creado o quién lo creó. Los metadatos se almacenan mediante un sistema de clave-valor en el que key ayuda a identificar un objeto, y value es el objeto en sí.
En pocas palabras, la longitud del contenido o el tipo de archivo son las claves cuando nos referimos a este tipo de metadatos. En consecuencia, sus valores serán el tamaño del objeto en bytes y diferentes tipos de archivos como PDF, texto, video, audio o cualquier otro formato que pueda imaginar.
Siguiendo la misma lógica, puede agregar etiquetas a sus archivos que ayuden a buscar, organizar y administrar el acceso a sus objetos. Las etiquetas son los mismos pares clave-valor, y también son tipos de metadatos, pero hay una diferencia significativa entre ellos.
Un objeto en S3 es invariable, lo mismo que sus metadatos como parte del objeto. La consola de AWS le permite «editar» metadatos, pero no refleja la realidad. Lo que realmente sucede es que se crea una nueva versión de archivo cada vez que modifica el objeto.
La situación es diferente con las etiquetas: son información adicional de «subrecursos» relativa a un objeto. Dado que se administran por separado, no cambiarás un archivo al agregarle etiquetas. En general, puede elegir hasta 10 etiquetas por objeto en S3.
Carpetas como medio de agrupar objetos
¿Cómo usamos las carpetas en S3?
Como probablemente lo haya descubierto, los cubos y los objetos desempeñan un papel central en el almacenamiento S3. Pero este no es el caso de las carpetas. Estos solo se agregaron para compensar la ausencia del sistema jerárquico de archivos para mejorar la administración y el acceso a los archivos.
En Amazon S3, las carpetas le ayudan a encontrar sus archivos gracias a los prefijos (ubicados antes del nombre de la clave). Supongamos que crea una carpeta con el nombre Images, y allí almacena un objeto con el nombre de clave images / photo1.jpg. «Imágenes» es el prefijo en este caso. «/»es el delimitador, agregado automáticamente por el sistema (evítelos en los nombres de sus carpetas). Cuantas más carpetas y subcarpetas cree, más prefijos obtendrá su archivo.
Y, por lo tanto, puede usar estos prefijos para acceder a sus datos. Simplemente escriba uno o más prefijos en el motor de búsqueda S3 para filtrar sus búsquedas.
Acciones con carpetas y objetos
Lo que puede hacer con sus archivos y carpetas es bastante estándar en el almacenamiento de Amazon S3. Puede crear nuevas carpetas, borrarlas, hacer público, copiar y mover. Cambie sus metadatos, cifrado, clase de almacenamiento y etiquetas, pero, como se esperaba, no hay opción de cambio de nombre disponible.
Su interacción con objetos no será muy diferente. Con Amazon S3, no tendrá problemas para cargar y copiar objetos. Además, puede abrir sus activos, moverlos, descargarlos y eliminarlos (en diferentes formatos si es necesario).
Una opción interesante incluye recuperar objetos eliminados, lo que puede ser especialmente útil en caso de fallas del sistema. Pero tenga en cuenta que los objetos de» recuperación » solo son posibles en depósitos con control de versiones habilitado.
Volver a cargar: Mover big data a Amazon S3
Hemos dejado muy claro que la carga de activos a Amazon S3 no debería causar dificultades. Y así es si estamos hablando de datos a pequeña escala. Pero, ¿qué pasa si su biblioteca digital se extiende a 1000 archivos o 10 000, o un millón? ¿Te imaginas arrastrar y soltar estos archivos o apuntar y hacer clic en ellos?
¡Qué pérdida de tiempo podría ser! Afortunadamente, hay otras formas más fáciles y rápidas de mover datos masivos a su almacenamiento S3:
Herramientas en línea
1) Direct Connect es una excelente solución para transferir grandes cantidades de datos. Su idea es crear una conexión directa entre sus fuentes de datos locales y la red de Amazon. De esta manera, evitará cualquier obstáculo creado por su proveedor de Internet y el tráfico web y moverá sus datos de manera más rápida y fácil.
Como de costumbre, puede solicitar una conexión en la consola de AWS, simplemente elija la región que desea usar, establezca el número de puertos y su velocidad, y puede aplicar la solución.
¿Cuándo usar esta solución?
- Cuando necesita transferir datos a gran escala y su conexión a Internet es lenta.
- Cuando está ansioso por reducir costos y lograr una experiencia de red más consistente.
2) AWS Data Sync se parece mucho a Direct Connect, pero es más sofisticado, con opciones mejoradas de administración y automatización. Por ejemplo, AWS Data Sync le permite realizar un seguimiento de sus transferencias, programar procesos específicos, adaptar la velocidad y el ancho de banda.
Pero una solución más avanzada también significa transferencias más complejas, ¿no? Por lo tanto, los usuarios con conocimientos limitados de codificación pueden encontrar la sincronización de datos demasiado difícil.
¿Cuándo usar esta solución?
- Cuando necesite automatización adicional para sus transferencias de datos para reducir costos. Por ejemplo, elija Sincronización de datos si desea filtrar la migración de datos señalando qué carpetas/archivos mover primero.
- Cuando trabaja en una gran empresa, su transferencia de datos se completará bajo la supervisión de desarrolladores.
3) La aceleración de transferencia de Amazon S3 se diseñó específicamente para acelerar los procesos de migración de datos al almacenamiento S3. La solución funciona perfectamente para transferencias de datos a través de largas distancias físicas.
¿Cuándo usar esta solución?
- Cuando necesite una transferencia rápida y / o para una distancia más larga.
- Cuando tiene que mover sus datos de un solo cubo.
4) Amazon Kinesis Firehose es una herramienta de migración de datos en tiempo real que se habilita a través de la consola de AWS. El servicio es bueno debido a su interfaz fácil de usar: puede configurar la entrega en unos pocos clics. Además, es más rentable que otras soluciones de Amazon, ya que paga no por el servicio, sino por la cantidad de datos que transfiere.
¿Cuándo usar esta solución?
- Cuando está buscando una herramienta de migración de datos en streaming.
- Cuando no desea perder su tiempo en la administración.
- Cuando planea reducir costos mediante el pago sobre la marcha.
5) Tsunami UDP es una de las pocas soluciones gratuitas disponibles para trasladar big data a Amazon S3. Aún no funciona en línea, por lo que tendrás que descargar e instalar la herramienta. Además, los conocimientos básicos de codificación son necesarios para trabajar con esta solución.
¿Cuándo usar esta solución?
- Cuando su presupuesto es limitado, pero aún necesita mover datos a gran escala a su almacenamiento S3.
- Cuando solo necesita transferir archivos (la solución no admite mover carpetas y subcarpetas).
- Cuando no posee datos confidenciales: Tsunami UDP no cifra sus datos.
6) Pics.io La migración de datos es un nuevo servicio de Pics.io PRESA. Elija esta opción si necesita transferir big data (y metadatos).) a su almacenamiento de AWS, pero no quiere meterse en problemas haciendo todo por su cuenta.
¿Cuándo usar esta solución?
- Cuando necesite migrar sus datos de una fuente a otra. Podría ser otro almacenamiento en la nube para Amazon S3. O mover archivos entre sus cubos.
- Cuando desea completar la migración rápidamente & fácilmente. En este caso, solo tiene que ponerse en contacto con el Pics.io equipo de soporte, conceda algunos permisos, & su solución DAM se encarga del resto.
- Cuando planeas mover metadatos junto con tus archivos. Esta opción le permite conservar la estructura de carpetas, transferir palabras clave, descripciones de archivos, etc.
- Cuando se preocupa por la seguridad de su información. Fotografía.io completará la carga de la manera más segura posible.
Herramientas sin conexión
7) AWS Import / Export Disk es una solución de transferencia de datos sin conexión. Aquí puede cargar sus datos en un dispositivo portátil y enviarlos a AWS. Luego, la empresa traslada los datos a su almacenamiento directamente utilizando su red interna de alta velocidad. Como regla general, esto sucede el siguiente día hábil cuando Amazon recibe su dispositivo. Tan pronto como se complete la exportación/importación, la empresa envía de vuelta su disco duro externo.
¿Cuándo usar esta solución?
- Al preparar y enviar sus conjuntos de datos, tomará menos tiempo que cargar sus archivos de cualquier otra manera. Aproximadamente, es mejor que considere esta opción cuando el tamaño de sus datos sea superior a 100 GB.
- Al enviar un disco duro externo con sus datos, seguirá siendo más barato que actualizar su conectividad (en caso de que planee mover sus datos en línea).
8) La familia AWS Snow es otra solución sin conexión, compuesta por tres servicios de transferencia diferentes (AWS Snowcone, AWS Snowball y AWS Snowmobile). La idea es similar a AWS Import/Export Disk, pero esta vez utiliza dispositivos AWS para mover sus datos a gran escala.
Usted solicita el servicio en línea a través de la consola de AWS, copia sus datos en el dispositivo y los devuelve una vez que se haya completado la carga. Todo el proceso tarda aproximadamente una semana, envío y transferencia de datos incluidos. Pero con esta opción, puede pasar de unos pocos terabytes a petabytes de información.
¿Cuándo usar esta solución?
- De nuevo, cuando el tiempo de espera para el envío y la transferencia de datos es justificable en comparación con cualquier otro método de carga.
- Elija entre AWS Snowcone, AWS Snowball y AWS Snowmobile, según el volumen de sus datos. AWS Snowcone es el almacenamiento físico más pequeño de la familia AWS Snow. Es fácil y portátil, y los usuarios piden Snowcones para transferencias de datos, lo mismo que en casos de problemas de conectividad.
- AWS Snowball es para una migración de datos a mayor escala (desde 42 TB). Y, por último, AWS Snowmobile es un contenedor de envío completo. Con este servicio, obtendrá una transferencia de datos más segura y de alta velocidad, seguimiento GPS, videovigilancia, etc., sucesivamente.
En caso de que desee profundizar en la variedad de herramientas de aceleración de transferencia de Amazon S3, no se pierda nuestra publicación sobre este tema.
Problemas y soluciones comunes
Amazon S3 atrae a los usuarios con sus múltiples beneficios. El almacenamiento es altamente duradero, tiene capacidades de almacenamiento ilimitadas y oportunidades de seguridad únicas. Aunque la mayoría de las veces es un placer trabajar con este almacenamiento, aún ocurren interrupciones.
Así es como puede resolverlos:
Problema 1: Se le niega el acceso al almacenamiento.
Solución 1: Esto significa que está utilizando una clave de acceso y/o una clave secreta incorrectas, o simplemente puede que no tenga derechos para acceder al almacenamiento. Verifique sus credenciales, así como la política de permisos para su usuario de IAM, si esto es aplicable.
Problema 2: La clave especificada no existe.
Solución 2: Recibe este mensaje si hay problemas con el nombre de sus archivos y depósitos. Compruebe los nombres, elimine la puntuación y los caracteres especiales si están presentes.
Problema 3: Su firma no coincide.
Solución 3: Si ves este mensaje de error, es probable que hayas usado letras mayúsculas y/o espacios en el nombre de tu bucket – cambia el nombre del bucket (o mejor crea uno nuevo con las convenciones de nomenclatura adecuadas).
Problema 4: Sus archivos no se cargan/descargan.
Solución 4: Compruebe su conexión a Internet y / o velocidad. Elimina el caché. Asegúrese de tener espacio libre en el almacenamiento y de que las cargas se ajusten a los requisitos de archivos de Amazon S3.
A continuación, es posible que deba comprobar la configuración de su host: vaya a Descargas – Configuración – Extensiones – Amazon S3. ¿Está configurado correctamente el host? La región? Revise los nombres de los archivos (el número de caracteres y si tienen caracteres especiales, por ejemplo). Si utilizas un dispositivo móvil, comprueba el tamaño de tu foto/vídeo, que no debe superar los 2 GB.
Problema 5: Cuando sus archivos crecen en número, notará que pronto se vuelve más difícil administrarlos.
Solución 5: La gestión de activos digitales puede mejorar su experiencia en Amazon y resolver este problema por usted.
Organización avanzada de archivos con Pics.io DAM
Mueva su almacenamiento S3 a un nivel completamente nuevo integrándolo en Pics.io PRESA. Esta es una solución avanzada para organizar y distribuir sus archivos con el fin de maximizar el rendimiento de su equipo.
Pics.io DAM es una estrategia de ganar-ganar para usted como usuario de Amazon S3. Dado que funciona en la parte superior de su almacenamiento, no necesitará iniciar ningún software adicional (y migrar sus archivos de nuevo), nadie tendrá acceso a su almacenamiento, & sin cargos por espacio de almacenamiento. Todavía tienes:
- Organización de archivos única. No es necesario buscar en su almacenamiento durante horas o llenar todos esos prefijos. Fotografía.io muestra su almacenamiento S3 de una manera más habitual y fácil de usar para que pueda navegar fácilmente. Además, es muy visual: puedes ver todas las miniaturas y ahorra mucho tiempo en el trabajo diario.
- Acceso. Con DAM, puede acceder a sus archivos muy fácilmente por palabras clave, ubicaciones, fechas, etc. O puede utilizar la búsqueda más avanzada: por ejemplo, puede encontrar sus archivos por contenido con la búsqueda con tecnología de IA.
- Colaboración con su equipo. Sus colegas pueden dejarle mensajes bajo activos específicos o marcar las áreas que desean discutir. Etiquete a sus compañeros de equipo directamente en su almacenamiento. Y recibe actualizaciones sobre cualquier cambio en el directorio.
- Compartir. Con Pics.io DAM, tiene sitios web únicos que se pueden compartir donde coloca sus materiales y luego envía el enlace a sus clientes/freelancers/socios. Personaliza estos sitios web: por ejemplo, agrega tu nombre de dominio o cambia la paleta de colores para promocionar tu marca.
- Seguridad. Agregue un nivel más de seguridad a su almacenamiento cambiando los derechos y permisos. Por ejemplo, puede decidir específicamente quién puede cargar/descargar sus activos, editarlos y eliminarlos. Y muchas otras sorpresas agradables como activos vinculados, una herramienta de comparación de archivos, un centro de comunicación, etc.
¿Planea ser incluido en la lista de Amazon? No te pierdas nuestra descripción general de los Errores más comunes de Optimización de Listas de Amazon y cómo evitarlos.
Por último, pero no menos importante, si había probado varios proveedores de nube pública, pero aún así decidió detenerse en Amazon S3, esto obviamente sucedió por una razón. Con su escalabilidad, conveniencia y seguridad, Amazon S3 es de hecho uno de los almacenes líderes disponibles en el mercado hoy en día. A su vez, nuestro Pics.io el equipo le ayudará a aprovechar al máximo su almacenamiento y mejorar su experiencia en Amazon S3.