Oppdatert februar 2021
Ingen tvil, Vi er bortskjemt for valg med dagens utvalg av fillagre. Skytjenester er de mest populære på markedet takket være deres tilgjengelighet og brukervennlighet. Som anslått finnes det over 2300 millioner sky lagring brukere over hele verden. Dette tallet forventes å vokse enda lenger.
Med sin skalerbare infrastruktur og sterke sikkerhetstiltak Er Amazon S3 et topp mediebibliotek valg av mange forbrukere. Bedrifter av alle størrelser og næringer skifter til denne lagringen etter at De har hørt mye om Amazons plettfrie rykte og strever etter perfeksjon.
Men Amazon lette aldri etter noen snarveier. Og objektsystemet skiller lagringen fra konkurrentene, samtidig som det kompliserer onboarding-prosessen for nye brukere. Ta det rolig! Med denne artikkelen skal vi fortelle Deg Om Amazon S3 fallgruver.
Som vi nylig har bygget DAMINTEGRASJON med Amazon på Pics.io, opplasting og håndtering av filer På S3 ble veldig viktig for våre brukere. Så her er vi, bringe fordel for alle som trenger denne info for å gjøre arbeidet Med S3 et stykke kake for deg.
Amazon S3: noen viktige terminologi
som ny Bruker Til Amazon, kan du bli forvirret når du først åpner kontoen din. Hvor er den tradisjonelle fil-og mappeorganisasjonen? Hva er en hemmelig nøkkel, og hvorfor lagres mine dyrebare filer i bøtter?
her er en kort liste over vilkår du kanskje vil vite før du logger på kontoen din:
- AWS (Amazon Web Services) Administrasjonskonsoll. Dette er et nettbasert program der du får tilgang til og administrerer skylagringen din. Du trenger brukernavnet ditt & passord for å logge på kontoen din.
- Root bruker vs. Iam (Identitet Og Tilgang Ledelse) bruker. DET finnes to typer brukere I AWS: en kontoeier (eller rotbruker) og brukere som er gitt med bestemte roller og tilgangsrettigheter (IAM-brukere). Et pro tips: For sikkerhets-og sikkerhetstiltak anbefaler Amazon å redusere bruken av rotbrukerlegitimasjon til et minimum. I stedet kan du opprette en IAM-bruker og gi dem full tilgang.
- Tilgang Nøkkel ID Og Hemmelig Nøkkel. Ved Siden Av Konsolltilgang (utviklet hovedsakelig for brukere med begrenset teknisk bakgrunn) finnes det også programmatisk tilgang. OG her trenger DU AWS-tilgangsnøkler for å foreta programmatiske anrop.
- Bøtte. I Amazon S3-Konsollen lager du skuffer – en såkalt overordnet mappe for dine eiendeler og deres metadata. Som standard Gir Amazon S3 deg 100 skuffer per konto, men du kan øke denne grensen med opptil 1000 skuffer for ekstra betaling.
Bøtte = Objekt 1 + Objekt 2 + Objekt 3
- Objekt. Vi lagrer gjenstander i bøtter. Består av filer, pluss deres metadata (valgfritt), kan et objekt være noen form for fil du trenger å laste opp: en tekstfil, et bilde, video, lyd, og så videre. Din maksimale størrelse tillatt er 160 GB.
Objekt = fil + metadata (valgfritt)
- Mapper. Du kan gruppere objekter etter mapper. Men husk At Amazon S3 har et flatt filsystem i motsetning til tradisjonelt hierarki der eiendelene dine er gruppert i kataloger og underkataloger. Flat struktur betyr at du oppnår organisatorisk enkelhet ved hjelp av unike fil-og mappenavn. Du kan for eksempel legge til et prosjektnavn + klientnavn + forfallsdato, slik at du ikke møter samme navn på tvers av lagringsplassen.
- Regionen. Amazon s3 bøtter er regionspesifikke. Dette betyr at du velger den geografiske plasseringen der du vil at selskapet skal lagre dine eiendeler. Husk at objekter i bøtte ikke vil forlate sin plassering med mindre du spesifikt overfører dem til en annen region.
- Nøkkelnavn & prefikser. Nøkkelnavn refererer til objektnavn, og sammen med prefikser (en vanlig streng i objektnavnene) hjelper de deg med å få tilgang til den nødvendige filen raskere og enklere. La oss si at du lagrer photo1 i mappe1 i bøtte. Deretter kan du søke filene dine ved å skrive bucket / folder1 / photo1 stedet for å åpne mapper og bøtter manuelt.
Vi har satt Opp En Amazon s3-konto: Hvordan komme i gang med å bruke den
hvordan lage en bøtte?
etter at DU har logget PÅ AWS-Konsollen og fått Tilgang Til S3-brukergrensesnittet, er det på tide å utforske brukerkontoen din. Så det første du gjør er å lage En Amazon S3 bøtte.
her må du angi bøttenavnet ditt og den geografiske plasseringen Der Du Vil At Amazon skal lagre bøtte og innholdet. Vi har allerede nevnt flat struktur som en spesiell funksjon I Amazon s3 lagring, så vær oppmerksom når du velger bøtte navn. Systemet vil ikke la deg gå med mindre navnet 1) er unikt over hele lagringen 2) er mellom 3 og 63 tegn; og 3) inneholder bare små bokstaver.
når det gjelder regionen, lar lagringen deg lage en bøtte på stedet du vil ha. Og den beste ideen er å velge den som er nærmest deg. På denne måten vil du ikke bare redusere responstiden, men vil kutte kostnader og møte regulatoriske krav.
Hva annet kan jeg gjøre med min bøtte?
1) Tillatelser
i samme meny angir du også tillatelser og konfigureringsalternativer. Avhengig av rollene i teamet ditt, bestemmer du hvem som skal opprette, redigere og slette objekter i bøtte.
2) Offentlig vs individuell tilgang
velg deretter mellom offentlig og individuell tilgang. For sikkerhets skyld anbefaler vi ikke å gi offentlig tilgang med mindre du bruker denne bøtte til å dele filene dine med mange kunder eller partnere. Hvis dette ikke er tilfelle, kan du alltid gjøre bestemte filer offentlig tilgjengelige for andre.
3) Versjonskontroll
når det gjelder konfigurasjonsalternativer, aktiverer du versjonskontroll hvis du planlegger å lagre forskjellige revisjoner av det samme objektet. La oss si at du designer en ny logo for markedsføringskampanjen din. Gjennom denne prosessen vil det være flere oppdateringer til filen din når du eksperimenterer med fargepaletten eller utdyper skriften.
med versjonskontroll lagres forskjellige versjoner av filen under samme nøkkel, og du henter dem alle samtidig når du åpner objektet. Amazon s3-brukere setter også pris på versjonskontroll når det gjelder programfeil eller utilsiktede handlinger (for eksempel når kollegaen din har slettet den nøyaktige revisjonen du alle enige om å bruke).
4) Server vs objekttilgangslogging
Kryss av for servertilgangslogging hvis du vil spore forespørsler som er gjort i en bøtte. Access logg rapporter kommer til nytte for deg i tider med revisjoner og som en sikkerhetsforanstaltning.
du kan også prøve en mer avansert logging på objektnivå. Ved denne anledningen er du fri til å filtrere hendelser som skal logges, og du sporer dem i CloudTrail-en egen AWS-revisjonstjeneste.
5) Kryptering
til Slutt krypter filene dine hvis du vil i tillegg sikre dataene dine. Kryptering står for koding av informasjonen din, slik at den kun kan nås ved å bruke et passord og spesialdesignet krypteringsnøkkel (dekrypteringsnøkkel). For Ikke å gå lenger inn i koding, S3 storage lar deg velge standardkryptering når du oppretter en ny bøtte.
Komme inn i bøtte
slik laster du opp filene dine Til Amazon S3?
i bøtte lagrer vi våre objekter (filer + metadata) og bruker mapper hvis vi trenger å gruppere filene våre. Du ser at opplasting av filer Til s3-lagring er like enkelt som kake. Du trykker bare på opplasting og enten dra og slipp materialene dine eller pek og klikk på dem-bruk den måten som er mer praktisk for deg. Klikk på opprett en mappe hvis du er villig til å gruppere objekter i mapper.
Annet enn det, kan du laste opp en hel mappe. Bare drag ‘ n ‘ drop-alternativet er tilgjengelig for deg i dette tilfellet. Likevel forenkler oppgaven hvis du trenger å laste opp et bredt omfang av filer og reflektere strukturen. Med mappeopplasting speiler Amazon S3 sin struktur og laster opp alle undermappene, selv om denne måten generelt kan være mer tidkrevende.
hva annet bør jeg vite når jeg laster opp objekter Til s3-lagring?
hvis du ikke har noe imot, gjentar Jeg meg selv: Amazon S3 bruker objektbasert lagring. Dette betyr ingen filsystem i det hele tatt! Hver fil du laster opp (uansett opprinnelse, type og format) blir konvertert til et objekt og finnes i en bøtte etterpå.
Siden det ikke er noe filsystem (i hvert fall i den vanlige betydningen av dette ordet), snakker vi ikke om navn som filnavn lenger. (Og Vi har allerede nevnt At S3 handler om unike navn – slik organiserer vi og får tilgang til filer i denne lagringstjenesten.) Dette er grunnen til at når du laster opp et nytt objekt, vil du ikke engang har mulighet til å velge et navn for det.
men for å kompensere for ikke-eksisterende filnavn, bruker tjenesten en objektnøkkel (eller nøkkelnavn) som unikt definerer et objekt i bøtte.
hva er andre konfigurasjonsalternativer under opplastingen? På samme måte som med bøtter, kan du også bruke kryptering for å sikre dataene dine og administrere offentlige tillatelser. I tillegg kan du gjøre en bestemt fil tilgjengelig for en bestemt bruker eller brukere.
Velg lagringsklasser basert på hvor ofte du planlegger å få tilgang til dataene dine. S3 Standard (standardtypen) er for eksempel utformet for kritiske, ikke-reproduserbare data du skal administrere regelmessig.
Metadata kontra Merking
bortsett fra en nøkkel (og data), har Hvert s3-objekt en liste over metadata du angir når du laster det opp. Kort sagt, dette er tilleggsinformasjon om objektet som når det ble opprettet eller av hvem. Metadataene lagres ved hjelp av et nøkkelverdisystem der nøkkelen bidrar til å identifisere et objekt, og verdien er selve objektet.
for å si det enkelt, er innholdslengde eller filtype nøklene når vi refererer til slike metadata. Følgelig vil deres verdier være objektstørrelsen i byte og forskjellige filtyper som PDF, tekst, video, lyd eller annet format du kan tenke på.
Etter den samme logikken kan du legge til koder i filene dine som hjelper deg med å søke, organisere og administrere tilgang til objektene dine. Koder er de samme nøkkelverdiparene, og de er også typer metadata, men det er en betydelig forskjell mellom dem.
et objekt I S3 er uforanderlig, det samme som metadataene som en del av objektet. AWS-Konsollen tillater deg å «redigere» metadata, men det gjenspeiler ikke virkeligheten. Det som faktisk skjer er en ny filversjon som opprettes hver gang du endrer objektet.
situasjonen er annerledes med koder-de er ekstra,» subresource » informasjon om et objekt. Siden de administreres separat, vil du ikke endre en fil når du legger til koder i den. Totalt kan du velge opptil 10 koder per objekt I S3.
Mapper som et middel til å gruppere objekter
hvordan bruker vi mapper I S3?
som du sikkert har funnet ut av, spiller bøtter og gjenstander sentrale roller I s3-lagring. Men dette er ikke tilfelle med mapper. Disse ble bare lagt til for å kompensere for det fraværende filhierarkiske systemet for å forbedre filbehandling og tilgang.
I Amazon S3 hjelper mapper deg med å finne filene dine takket være prefikser (plassert før nøkkelnavnet). La oss si at du lager en mappe med Navnet Images, og der lagrer du et objekt med nøkkelnavnet images / photo1.jpg. «Bilder» er prefikset i dette tilfellet. «/»er skilletegn, automatisk lagt til av systemet(unngå dem i mappenavn). Jo flere mapper og undermapper du oppretter, jo flere prefikser filen får.
og så kan du bruke disse prefiksene for å få tilgang til dataene dine. Bare skriv en eller flere prefikser i s3 søkemotor for å filtrere søkene.
Handlinger med mapper og objekter
hva du kan gjøre med filene og mappene dine, er ganske standard I Amazon s3-lagring. Du kan opprette nye mapper, slette dem, offentliggjøre, kopiere og flytte. Endre metadata, kryptering, lagringsklasse og koder – men som forventet er det ikke noe omdøpingsalternativ tilgjengelig.
din interaksjon med objekter vil ikke være veldig annerledes. Med Amazon S3 har du ikke noe problem med å laste opp og kopiere objekter. I tillegg kan du åpne dine eiendeler, flytte, laste ned og slette dem (i forskjellige formater hvis nødvendig).
et interessant alternativ inkluderer å gjenopprette slettede objekter, noe som kan være spesielt nyttig i tilfelle systemfeil. Men vær oppmerksom på at» undeleting » objekter er mulig bare i bøtter med aktivert versjonskontroll.
Komme tilbake for å laste opp igjen: Flytte store data Til Amazon S3
Vi har gjort det ganske klart at opplasting av eiendeler Til Amazon S3 ikke burde forårsake noen problemer. Og det er så hvis vi snakker om småskala data. Men hva om ditt digitale bibliotek strekker seg til 1000 filer eller 10 000, eller en million? Kan du forestille deg at du drag ‘ n ‘ drop disse filene eller pek-og-klikk dem?
hva bortkastet tid det kan være! Heldigvis finnes det andre, enklere og raskere måter å flytte massive data Til S3 lagring…
Online verktøy
1) Direct Connect er en utmerket løsning for overføring av store mengder data. Ideen er å skape en direkte forbindelse mellom dine lokale datakilder og Amazons nettverk. På denne måten omgå du eventuelle hindringer som er opprettet av internett-leverandøren og web-trafikk og flytte data raskere og enklere.
som vanlig kan DU be om en tilkobling I AWS-Konsollen, bare velg regionen du vil bruke, angi antall porter og deres hastighet – og du kan bruke løsningen.
når skal du bruke denne løsningen?
- når Du trenger å overføre store data, Og internett-tilkoblingen er treg.
- når du er ivrig etter å redusere kostnadene og oppnå en mer konsekvent nettverksopplevelse.
2) AWS Data Sync er veldig mye Som Direct Connect, men er mer sofistikert, med forbedrede administrasjons-og automatiseringsalternativer. AWS Data Sync lar deg for eksempel spore overføringer, planlegge bestemte prosesser, tilpasse hastighet og båndbredde.
men en mer avansert løsning betyr også mer komplekse overføringer, ikke sant? Så brukere med begrenset kunnskap i koding kan finne Datasynkronisering for vanskelig.
når skal du bruke denne løsningen?
- når du trenger ekstra automatisering for dataoverføringer for å kutte kostnader. For eksempel, velg Datasynkronisering hvis du vil filtrere overføringen av data som peker ut hvilke mapper / filer som skal flyttes først.
- når du jobber i en stor bedrift, vil dataoverføringen bli fullført under tilsyn av utviklere.
3) Amazon S3 Transfer Acceleration ble designet for å øke hastigheten på dataoverføringsprosessene til s3-lagring spesielt. Løsningen fungerer perfekt for dataoverføringer over lange fysiske avstander.
når skal du bruke denne løsningen?
- når du trenger en rask overføring og / eller for en lengre avstand.
- når du bare må flytte dataene dine fra en bøtte.
4) Amazon Kinesis Firehose Er et sanntids datamigreringsverktøy du aktiverer gjennom AWS-Konsollen. Tjenesten er god på grunn av det enkle grensesnittet – du setter opp leveransen med noen få klikk. I tillegg er Det mer kostnadseffektivt enn Andre Amazon-løsninger, da du ikke betaler for tjenesten, men for mengden data du overfører.
når skal du bruke denne løsningen?
- Når du leter etter et verktøy for strømming av dataoverføring.
- Når du ikke vil kaste bort tiden din på administrasjon.
- når du planlegger å kutte kostnader ved å betale mens du går.
5) Tsunami UDP er en av få gratis løsninger tilgjengelig for å flytte store data Til Amazon S3. Det fungerer ikke online ennå, så du må laste ned og installere verktøyet. I tillegg er grunnleggende kunnskaper i koding nødvendig for å jobbe med denne løsningen.
når skal du bruke denne løsningen?
- når budsjettet ditt er begrenset, men Du fortsatt må flytte store data til s3-lagringen.
- når du bare trenger å overføre filer (løsningen støtter ikke bevegelige mapper og undermapper).
- Når du ikke eier noen sensitive data: Tsunami UDP krypterer ikke dataene dine.
6) Pics.io Dataoverføring er en ny tjeneste levert av Pics.io DAM. Velg dette alternativet hvis du trenger å overføre store data (og metadata!) TIL AWS-lagringen din, men vil ikke gå i trøbbel ved å gjøre alt på egen hånd.
når skal du bruke denne løsningen?
- når du trenger å migrere dataene fra en kilde til en annen. Det kan være en annen skylagring Til Amazon S3. Eller flytte filer mellom i bøtter.
- når du vil fullføre overføringen raskt & enkelt. I dette tilfellet kontakter du bare Pics.io støtteteam, gi noen tillatelser, & DIN DAM-løsning tar seg av resten.
- når du planlegger å flytte metadata sammen med filene dine. Dette alternativet lar deg bevare mappestrukturen, overføre søkeord, filbeskrivelser og så videre.
- når du bryr deg om sikkerheten til informasjonen din. Bilde.io vil fullføre opplastingen på tryggest mulig måte.
Offline verktøy
7) AWS Import / Eksport Disk er en offline dataoverføring løsning. Her laster du opp dataene dine til en bærbar enhet og sender den til AWS. Deretter flytter selskapet dataene til lagringen din ved a bruke sitt hoyhastighets interne nettverk. Som regel skjer dette neste virkedag Når Amazon mottar enheten din. Så snart eksport/import er fullført, sender selskapet tilbake den eksterne harddisken.
når skal du bruke denne løsningen?
- når du forbereder og sender datasettene dine, vil det fortsatt ta mindre tid enn å laste opp filene dine på annen måte. Omtrent, du bør bedre vurdere dette alternativet når størrelsen på dataene dine er større enn 100 GB.
- når du sender en ekstern harddisk med dataene dine, forblir det billigere enn å oppgradere tilkoblingen din (hvis du planlegger å flytte dataene dine på nettet).
8) AWS Snow Family er en annen offline løsning, bestående av tre forskjellige overføringstjenester (AWS Snowcone, AWS Snowball og AWS Snøscooter). Ideen ligner AWS Import / Export Disk, men denne gangen bruker DU AWS-apparater til å flytte store data.
du bestiller tjenesten online VIA AWS Console, kopierer dataene dine til enheten og returnerer den når opplastingen er fullført. Hele prosessen estimatedly tar ca en uke, frakt og dataoverføring inkludert. Men med dette alternativet kan du flytte fra noen få terabyte til petabyte med informasjon.
når skal du bruke denne løsningen?
- Igjen, når ventetiden for frakt og overføring av data er forsvarlig i forhold til annen opplastingsmetode.
- Velg MELLOM AWS Snowcone, AWS Snowball og AWS Snøscooter, avhengig av volumet på dataene dine. AWS Snowcone Er DEN minste fysiske lagringen I AWS Snow-Familien. Det er enkelt og bærbart, og brukere bestiller Snowcones for dataoverføringer, det samme som i tilfeller av tilkoblingsproblemer.
- AWS Snowball er for mer storskala migrasjon av data (fra 42 TB). OG TIL slutt ER AWS Snøscooter en hel fraktbeholder. Med denne tjenesten får du sikrere, høyhastighets dataoverføring, GPS-sporing, videoovervåkning, etc., osv.
hvis du vil gå dypere i Forskjellige Amazon s3 transfer acceleration tools, ikke gå glipp av vårt innlegg om dette emnet.
Vanlige problemer og løsninger
Amazon S3 tiltrekker brukere med sine flere fordeler. Lagringen er svært holdbar, har ubegrenset lagring evner, og unike sikkerhetsmuligheter. Selv om det meste av tiden er en ren glede for deg å jobbe med denne lagringen, skjer forstyrrelser fortsatt.
Slik kan du løse dem:
Problem 1: din tilgang til lagringen nektes.
Løsning 1: Dette betyr at du bruker en feil tilgangsnøkkel og / eller hemmelig nøkkel, eller at du kanskje ikke har noen rettigheter til å få tilgang til lagringen. Sjekk legitimasjonen din samt tillatelsespolicyen til IAM-brukeren din hvis dette er aktuelt.
Problem 2: den angitte nøkkelen finnes ikke.
Løsning 2: du får denne meldingen hvis det er problemer med navngiving av filer og bøtter. Kontroller navnene, fjern tegnsetting og spesialtegn hvis det finnes.
Problem 3: signaturen din samsvarer ikke.
Løsning 3: Hvis du ser denne feilmeldingen, er det sannsynlig at du brukte store bokstaver og/eller mellomrom i bøtte navn – gi nytt navn til bøtte(eller du kan bedre lage en ny med riktige navnekonvensjoner).
Problem 4: filene dine lastes ikke opp/lastes ned.
Løsning 4: Kontroller internett-tilkoblingen og / eller hastigheten. Fjern hurtigbufferen. Pass på at du har ledig plass i lagringen din, og opplastingene dine samsvarer Med Amazon S3-filkravene.
da må du kanskje sjekke vertsinnstillingene dine: gå Til Nedlastinger-Innstillinger-Utvidelser-Amazon S3. Er din vert satt opp riktig? Regionen? Se gjennom filnavnene til filene dine(antall tegn og om de har noen spesialtegn, for eksempel). Hvis du bruker en mobil enhet, må du kontrollere størrelsen på bildet/videoen – det bør ikke overstige 2 GB.
Problem 5: når filene dine vokser i antall, vil du merke at det snart blir vanskeligere å administrere dem.
Løsning 5: Digital Asset Management kan forbedre Din Amazon erfaring og løse dette problemet for deg.
Avansert filorganisasjon med Pics.io DAM
Flytt S3-lagringen til et helt nytt nivå ved å integrere den i Pics.io DAM. Dette er en avansert løsning for å organisere og distribuere filene dine for å maksimere lagets ytelse.
Pics.io DAM ER en vinn-vinn-strategi for Deg Som En Amazon S3 bruker. Siden det fungerer på toppen av lagringsplassen din, trenger du ikke å starte noen ekstra programvare (og migrere filene dine igjen), ingen vil ha tilgang til lagringsplassen din, & ingen kostnader for lagringsplass. Likevel får du:
- Unik fil organisasjon. Du trenger ikke å søke lagring i timevis eller stappe alle disse prefikser. Bilde.io viser s3-lagringen din på en mer vanlig og brukervennlig måte, slik at du enkelt kan navigere. I tillegg er det veldig visuelt – du kan faktisk se alle miniatyrbildene, og det sparer mye tid i det daglige arbeidet.
- Tilgang. MED DAM får du tilgang til filene dine veldig enkelt med søkeord, steder, datoer og så videre. Eller du kan bruke det mer avanserte søket: for eksempel kan du finne filene dine etter innhold med AI-drevet søk.
- Samarbeid med teamet ditt. Kollegene dine kan legge igjen meldinger under bestemte ressurser eller markere områdene de vil diskutere. Merk lagkameratene dine direkte i lagringen din. Og få oppdateringer om eventuelle endringer i katalogen.
- Deling. Med Pics.io DAM, du har unike delbare nettsteder hvor du plasserer materialene dine og deretter sender linken til dine kunder / frilansere / partnere. Tilpass disse nettstedene: legg for eksempel til domenenavnet ditt eller endre fargepaletten for å markedsføre merkevaren din.
- Sikkerhet. Legg til et sikkerhetsnivå til lagringsplassen ved å endre rettigheter og tillatelser. For eksempel kan du spesifikt bestemme hvem som kan laste opp / ned dine eiendeler, redigere og slette dem. Og mange andre hyggelige overraskelser som koblede eiendeler, et fil sammenligningsverktøy, kommunikasjonssenter, etc.
Planlegger Å bli inkludert I Amazon notering? Ikke gå glipp av vår oversikt over De vanligste Amazon-Oppføringsoptimaliseringsfeilene og hvordan du kan unngå dem.
Sist Men Ikke minst, Hvis du hadde prøvd flere offentlige skyleverandører, men likevel bestemte deg for Å stoppe På Amazon S3, skjedde dette åpenbart av en grunn. Med sin skalerbarhet, bekvemmelighet og sikkerhet Er Amazon S3 faktisk en av de ledende lagrene som er tilgjengelige på markedet i dag. I sin tur, vår Pics.io teamet vil hjelpe deg med å få mest mulig ut av lagringen din og forbedre Amazon S3-opplevelsen.