uppdaterad februari 2021
utan tvekan är vi bortskämda med dagens utbud av fillager. Molntjänster är de mest populära på marknaden tack vare deras tillgänglighet och användarvänlighet. Som beräknat finns det över 2300 miljoner molnlagringsanvändare över hela världen. Denna siffra förväntas växa ytterligare.
med sin skalbara infrastruktur och starka säkerhetsåtgärder är Amazon S3 ett toppval för många konsumenter. Företag av alla storlekar och branscher flyttar till denna Lagring efter att de har hört mycket om Amazons obefläckade rykte och strävar efter perfektion.
men Amazon letade aldrig efter några genvägar. Och dess objektsystem skiljer lagringen från tävlingen, samtidigt som det komplicerar onboardingprocessen för nya användare. Fortfarande ta det lugnt! Med den här artikeln kommer vi att berätta om Amazon S3 fallgropar.
som vi nyligen har byggt DAM integration med Amazon på Pics.io, ladda upp och hantera filer på S3 blev verkligen viktigt för våra användare. Så här är vi, vilket gynnar alla som behöver denna information för att göra arbetet med S3 till en bit tårta för dig.
Amazon S3: några viktiga terminologi
som ny användare till Amazon kan du bli förbryllad när du först öppnar ditt konto. Var är den traditionella fil-och mapporganisationen? Vad är en hemlig nyckel och varför lagras mina värdefulla filer i hinkar?
här är en kort lista över termer som du kanske vill veta innan du ens loggar in på ditt konto:
- AWS (Amazon Web Services) hanteringskonsol. Detta är en webbaserad applikation genom vilken du kommer åt och hanterar din molnlagring. Du behöver ditt användarnamn & lösenord för att logga in på ditt konto.
- Root-användare vs. iam (Identity and Access Management) användare. Det finns två typer av användare i AWS: en kontoägare (eller root-användare) och användare som beviljats med vissa roller och behörigheter (iam-användare). Ett proffstips: för säkerhets-och säkerhetsåtgärder rekommenderar Amazon att minska användningen av root-användaruppgifter till ett minimum. Istället kan du skapa en iam-användare och ge dem full åtkomst.
- åtkomstnyckel ID och hemlig nyckel. Bredvid Konsolåtkomst (utvecklad mestadels för användare med begränsad teknisk bakgrund) finns det också programmatisk åtkomst. Och här behöver du AWS-åtkomstnycklar för att ringa programmatiska samtal.
- hink. I din Amazon S3 – konsol skapar du hinkar-en så kallad föräldramapp för dina tillgångar och deras metadata. Som standard ger Amazon S3 dig 100 hinkar per konto, men du kan öka denna gräns med upp till 1000 hinkar för extra betalning.
Hink = Objekt 1 + Objekt 2 + Objekt 3
- Objekt. Vi lagrar föremål i hinkar. Sammansatt av filer, plus deras metadata (valfritt), kan ett objekt vara vilken typ av fil du behöver ladda upp: en textfil, en bild, video, ljud och så vidare. Din maximala tillåtna storlek är 160 GB.
objekt = fil + metadata (valfritt)
- mappar. Du kan gruppera dina objekt efter mappar. Men kom ihåg att Amazon S3 har ett platt filsystem i motsats till traditionell hierarki där dina tillgångar är grupperade i kataloger och underkataloger. Platt struktur innebär att du uppnår organisatorisk enkelhet med hjälp av unika fil-och mappnamn. Till exempel lägger du till ett projektnamn + Klientnamn + förfallodatum så att du inte kommer att uppfylla samma namn över lagringen.
- Region. Amazon S3-skopor är regionspecifika. Det betyder att du väljer den geografiska plats där du vill att företaget ska lagra dina tillgångar. Kom ihåg att föremål i hinken inte lämnar sin plats om du inte specifikt överför dem till en annan region.
- nyckelnamn & prefix. Nyckelnamn hänvisar till objektnamn, och tillsammans med prefix (en vanlig sträng i objektnamnen) hjälper de dig att komma åt den nödvändiga filen snabbare och enklare. Låt oss säga att du lagrar photo1 i folder1 i din hink. Då kan du söka i dina filer genom att ange bucket/folder1/photo1 istället för att öppna mappar och hinkar manuellt.
vi har skapat ett Amazon S3-konto: Hur man kommer igång med att använda det
hur man skapar en hink?
när du har loggat in på din AWS-konsol och öppnat ditt S3-användargränssnitt är det dags att utforska ditt användarkonto. Så det första du gör är att skapa en Amazon S3-hink.
här måste du ange ditt skopnamn och geografiska läge där du vill att Amazon ska lagra din hink och dess innehåll. Vi har redan nämnt platt struktur som en speciell egenskap hos Amazon S3-lagring, så var uppmärksam när du väljer ditt skopnamn. Systemet låter dig inte gå om inte namnet 1) är unikt över hela lagringen 2) är mellan 3 och 63 tecken; och 3) innehåller endast små bokstäver.
när det gäller regionen låter lagringen dig skapa en hink på den plats du vill ha. Och den bästa tanken är att välja den som är närmast dig. På så sätt minskar du inte bara svarstiden utan kommer att sänka kostnaderna och uppfylla lagstadgade krav.
vad mer kan jag göra med min hink?
1) behörigheter
i samma meny ställer du också in behörigheter och konfigurerar alternativ. Beroende på rollerna i ditt team bestämmer du vem som ska skapa, redigera och ta bort objekt i din hink.
2) Offentlig vs. individuell åtkomst
välj sedan mellan offentlig och individuell åtkomst. För säkerhets skull rekommenderar vi inte att du ger allmänheten tillgång om du inte använder denna hink för att dela dina filer med många kunder eller partners. Om så inte är fallet kan du alltid göra vissa filer offentligt tillgängliga för andra.
3) versionshantering
när det gäller konfigurationsalternativ, aktivera versionshantering om du planerar att lagra olika versioner av samma objekt. Låt oss säga att du utformar en ny logotyp för din marknadsföringskampanj. Under hela denna process kommer det att finnas flera uppdateringar av din fil när du experimenterar med färgpaletten eller utarbetar teckensnittet.
med versionshantering lagras olika versioner av din fil under samma nyckel, och du hämtar dem alla på en gång när du öppnar objektet. Amazon S3-användare uppskattar också versionshantering när det gäller applikationsfel eller oavsiktliga åtgärder (till exempel när din kollega har raderat den exakta revisionen som du alla gick med på att använda).
4) Server vs. objektåtkomstloggning
markera serveråtkomstloggning om du vill spåra förfrågningar som gjorts i en hink. Access log rapporter komma till hands för dig i tider av revisioner och som en säkerhetsåtgärd.
du kan också prova en mer avancerad loggning på objektnivå. Vid detta tillfälle är du fri att filtrera händelser som ska loggas och du spårar dem i CloudTrail – en separat AWS-revisionstjänst.
5) kryptering
slutligen kryptera dina filer om du dessutom vill säkra dina data. Kryptering står för kodning av din information så att den endast kan nås med hjälp av ett lösenord och specialdesignad krypteringsnyckel (dekryptering). För att inte gå längre in i kodning kan S3 storage du välja standardkryptering när du skapar en ny hink.
komma in i hinken
Hur laddar du upp dina filer till Amazon S3?
i skopan lagrar vi våra objekt (filer + metadata) och använder mappar om vi behöver gruppera våra filer. Du ser att det är lika enkelt att ladda upp filer till S3-lagring. Du trycker bara på Ladda upp och antingen dra och släpp ditt material eller peka och klicka på dem-använd det sätt som är bekvämare för dig. Klicka på Skapa en mapp om du är villig att gruppera dina objekt i mappar.
annat än det, Ladda upp en hel mapp. Endast drag ’ n ’ drop-alternativet är tillgängligt för dig i det här fallet. Ändå förenklar uppgiften om du behöver ladda upp ett brett omfång av filer och återspegla deras struktur. Med mappuppladdning speglar Amazon S3 sin struktur och laddar upp alla undermappar även om det här sättet totalt sett kan vara mer tidskrävande.
vad ska jag veta när jag laddar upp objekt till S3-lagring?
om du inte har något emot det, upprepar jag mig själv: Amazon S3 använder objektbaserad Lagring. Det betyder inget filsystem alls! Varje fil du laddar upp (oavsett ursprung, typ och format) konverteras till ett objekt och hittas i en hink efteråt.
eftersom det inte finns något filsystem (åtminstone i den gemensamma betydelsen av detta ord) kommer vi inte att tala om namn som filnamn längre. (Och vi har redan nämnt att S3 handlar om unika namn – det är så vi organiserar och får åtkomst till filer i den här lagringstjänsten.) Det är därför du inte ens har möjlighet att välja ett namn för det när du laddar upp ett nytt objekt.
men för att kompensera för icke-existerande filnamn använder tjänsten en objektnyckel (eller nyckelnamn) som unikt definierar ett objekt i hinken.
Vad är andra konfigurationsalternativ under uppladdningen? På samma sätt som med hinkar kan du också använda kryptering för att säkra dina data och hantera offentliga behörigheter. Dessutom kan du göra en viss fil tillgänglig för en viss användare eller användare.
Välj lagringsklasser baserat på hur ofta du planerar att komma åt dina data. S3-standarden (standardtypen) är till exempel utformad för kritiska, icke-reproducerbara data som du ska hantera regelbundet.
Metadata vs. taggning
förutom en nyckel (och data) har varje S3-objekt en lista med metadata som du anger när du laddar upp det. I korthet är detta ytterligare information om objektet som när det skapades eller av vem. Metadata lagras med hjälp av ett nyckelvärdessystem där nyckel hjälper till att identifiera ett objekt, och värdet är själva objektet.
för att uttrycka det enkelt är innehållslängd eller filtyp nycklarna när vi hänvisar till dessa typer av metadata. Följaktligen kommer deras värden att vara objektstorleken i byte och olika filtyper som PDF, text, video, ljud eller något annat format du kan tänka på.
efter samma logik kan du lägga till taggar i dina filer som hjälper till att söka, organisera och hantera åtkomst till dina objekt. Taggar är samma nyckelvärdespar, och de är också typer av metadata, men det finns en signifikant skillnad mellan dem.
ett objekt i S3 är oföränderligt, samma som dess metadata som en del av objektet. AWS-konsolen tillåter dig att” redigera ” metadata, men det återspeglar inte verkligheten. Vad som faktiskt händer är att en ny filversion skapas varje gång du ändrar objektet.
situationen är annorlunda med Taggar-de är ytterligare,” subresource ” information om ett objekt. Eftersom de hanteras separat ändrar du inte en fil när du lägger till taggar i den. Sammantaget kan du välja upp till 10 taggar per objekt i S3.
mappar som ett sätt att gruppera objekt
Hur använder vi mappar i S3?
som du förmodligen har räknat ut spelar hinkar och objekt centrala roller i S3-lagring. Men det här är inte fallet med mappar. Dessa lades bara till för att kompensera för det frånvarande filhierarkiska systemet för att förbättra filhantering och åtkomst.
i Amazon S3 hjälper mappar dig att hitta dina filer tack vare prefix (ligger före nyckelnamnet). Låt oss säga att du skapar en mapp med namnet bilder, och där lagrar du ett objekt med nyckelnamnet images/photo1.jpg. ”Bilder” är prefixet i det här fallet. ”/”är avgränsaren, som automatiskt läggs till av systemet (undvik dem i dina mappnamn). Ju fler mappar och undermappar du skapar, desto fler prefix kommer din fil att få.
och så kan du använda dessa prefix för att komma åt dina data. Skriv bara ett eller flera prefix i S3-sökmotorn för att filtrera dina sökningar.
åtgärder med mappar och objekt
vad du kan göra med dina filer och mappar är ganska standard i Amazon S3-lagring. Du kan skapa nya mappar, ta bort dem, offentliggöra, kopiera och flytta. Ändra deras metadata, kryptering, lagringsklass och taggar – men som förväntat är inget namnbyte tillgängligt.
din interaktion med objekt kommer inte att vara mycket annorlunda. Med Amazon S3 har du inga problem med att ladda upp och kopiera objekt. Dessutom kan du öppna dina tillgångar, flytta, ladda ner och ta bort dem (i olika format om det behövs).
ett intressant alternativ inkluderar att återställa raderade objekt, vilket kan vara särskilt användbart vid systemfel. Men var medveten om att” återställa ” objekt endast är möjligt i hinkar med aktiverad versionshantering.
komma tillbaka för att ladda upp igen: flytta big data till Amazon S3
vi har gjort det ganska klart att uppladdning av tillgångar till Amazon S3 inte borde orsaka några problem. Och det är så om vi talar om småskaliga data. Men vad händer om ditt digitala bibliotek sträcker sig till 1000 filer eller 10 000 eller en miljon? Kan du föreställa dig att du drar och släpper dessa filer eller pekar och klickar på dem?
vilket slöseri med tid det kan vara! Lyckligtvis finns det andra, enklare och snabbare sätt att flytta massiva data till din S3-lagring…
onlineverktyg
1) Direct Connect är en utmärkt lösning för överföring av stora mängder data. Tanken är att skapa en direkt koppling mellan dina lokala datakällor och Amazons nätverk. På detta sätt kringgår du alla hinder som skapas av din Internetleverantör och webbtrafik och flyttar dina data snabbare och enklare.
som vanligt kan du begära en anslutning i AWS-konsolen, välj bara den region du vill använda, Ange antal portar och deras hastighet – och du kan tillämpa lösningen.
När ska man använda den här lösningen?
- när du behöver överföra storskaliga data och din internetanslutning är långsam.
- när du är angelägen om att minska kostnaderna och uppnå en mer konsekvent nätverksupplevelse.
2) AWS Data Sync är väldigt mycket som Direct Connect men är mer sofistikerad, med förbättrade hanterings-och automatiseringsalternativ. Med AWS Data Sync kan du till exempel spåra dina överföringar, schemalägga specifika processer, anpassa hastighet och bandbredd.
men en mer avancerad lösning betyder också mer komplexa överföringar, eller hur? Så användare med begränsad kunskap i kodning kan hitta datasynkronisering för svårt.
När ska man använda den här lösningen?
- när du behöver ytterligare automatisering för dina dataöverföringar för att sänka kostnaderna. Välj Till exempel datasynkronisering om du vill filtrera din migrering av data och peka ut vilka mappar/filer som ska flyttas först.
- när du arbetar i ett stort företag kommer din dataöverföring att slutföras under överinseende av utvecklare.
3) Amazon S3 Överföringsacceleration har utformats för att påskynda dina datamigreringsprocesser till S3-lagring specifikt. Lösningen fungerar perfekt för dataöverföringar över långa fysiska avstånd.
När ska man använda den här lösningen?
- när du behöver en snabb överföring och / eller för en längre sträcka.
- när du bara måste flytta dina data från en hink.
4) Amazon Kinesis Firehose är ett verktyg för datamigrering i realtid som du aktiverar via AWS-konsolen. Tjänsten är bra på grund av dess lätt peasy gränssnitt-du ställa in leveransen i ett par klick. Dessutom är det mer kostnadseffektivt än andra Amazon-lösningar eftersom du inte betalar för tjänsten utan för mängden data du överför.
När ska man använda den här lösningen?
- när du letar efter ett migreringsverktyg för strömmande data.
- när du inte vill slösa bort din tid på administration.
- när du planerar att sänka kostnaderna genom att betala när du går.
5) Tsunami UDP är en av få kostnadsfria lösningar tillgängliga för att flytta big data till Amazon S3. Det fungerar inte online ännu, så du måste ladda ner och installera verktyget. Dessutom är den grundläggande kunskapen i kodning nödvändig för att arbeta med denna lösning.
När ska man använda den här lösningen?
- när din budget är begränsad, men du måste fortfarande flytta storskaliga data till din S3-lagring.
- när du bara behöver överföra filer (lösningen stöder inte rörliga mappar och undermappar).
- när du inte äger några känsliga data: Tsunami UDP krypterar inte dina data.
6) Pics.io datamigrering är en ny tjänst som levereras av Pics.io DAM. Välj det här alternativet om du behöver överföra big data (och metadata!) till din AWS-lagring men vill inte gå i trubbel genom att göra allt på egen hand.
När ska man använda den här lösningen?
- när du behöver migrera dina data från en källa till en annan. Det kan vara en annan molnlagring till Amazon S3. Eller flytta filer mellan dina hinkar.
- när du vill slutföra migreringen snabbt & enkelt. I det här fallet kontaktar du bara Pics.io supportteam, bevilja några behörigheter, & din DAM-lösning tar hand om resten.
- när du planerar att flytta metadata tillsammans med dina filer. Med det här alternativet kan du bevara din mappstruktur, överföra nyckelord, filbeskrivningar och så vidare.
- när du bryr dig om säkerheten för din information. Bild.io kommer att slutföra uppladdningen på det säkraste sättet.
Offlineverktyg
7) AWS Import/Export Disk är en offline dataöverföringslösning. Här laddar du upp dina data till en bärbar enhet och skickar den till AWS. Sedan flyttar företaget data till din lagring direkt med sitt höghastighets interna nätverk. Som regel händer detta nästa arbetsdag när Amazon tar emot din enhet. Så snart exporten/importen är klar skickar företaget tillbaka din externa hårddisk.
När ska man använda den här lösningen?
- när du förbereder och skickar dina dataset tar det fortfarande mindre tid än att ladda upp dina filer på något annat sätt. Ungefär, Du skulle bättre överväga det här alternativet när storleken på dina data är större än 100 GB.
- när du skickar en extern hårddisk med dina data förblir billigare än att uppgradera din anslutning (om du planerar att flytta dina data online).
8) AWS Snow Family är en annan offline-lösning som består av tre olika överföringstjänster (AWS Snowcone, AWS Snowball och AWS snöskoter). Tanken liknar AWS Import / Export Disk, men den här gången använder du AWS-apparater för att flytta dina storskaliga data.
du beställer tjänsten online via AWS Console, kopierar dina data till enheten och returnerar den när uppladdningen är klar. Hela processen tar uppskattningsvis ungefär en vecka, frakt och dataöverföring ingår. Men med det här alternativet kan du flytta från några terabyte till petabyte information.
När ska man använda den här lösningen?
- återigen, när väntetiden för frakt och överföring av data är motiverad jämfört med någon annan uppladdningsmetod.
- Välj mellan AWS Snowcone, AWS Snowball och AWS snöskoter, beroende på volymen på dina data. AWS Snowcone är den minsta fysiska lagringen i AWS Snow-familjen. Det är enkelt och bärbart, och användare beställer Snökoner för dataöverföringar, samma som vid anslutningsproblem.
- AWS Snowball är för mer storskalig migrering av data (från 42 TB). Och slutligen är AWS snöskoter en hel fraktbehållare. Med den här tjänsten får du säkrare, höghastighetsdataöverföring, GPS-spårning, videoövervakning etc., osv.
om du vill gå djupare i olika Amazon S3 överföringsaccelerationsverktyg, missa inte vårt inlägg om detta ämne.
vanliga problem och lösningar
Amazon S3 lockar användare med sina många fördelar. Lagringen är mycket hållbar, har obegränsad lagringsförmåga och unika säkerhetsmöjligheter. Även om det för det mesta är en ren glädje för dig att arbeta med denna Lagring, uppstår störningar fortfarande.
så här kan du lösa dem:
Problem 1: Din åtkomst till lagringen nekas.
lösning 1: Det betyder att du använder en felaktig åtkomstnyckel och/eller hemlig nyckel, eller du kan helt enkelt inte ha några rättigheter att komma åt lagringen. Kontrollera dina referenser samt behörighetspolicyn för din iam-användare om detta är tillämpligt.
Problem 2: Din angivna nyckel finns inte.
lösning 2: du får det här meddelandet om det finns problem med namngivning av dina filer och hinkar. Kontrollera namnen, ta bort skiljetecken och specialtecken om de finns.
Problem 3: din signatur matchar inte.
lösning 3: Om du ser det här felmeddelandet är det troligt att du använde stora bokstäver och/eller mellanslag i ditt skopnamn – Byt namn på skopan (eller så skapar du bättre en ny med rätt namnkonventioner).
Problem 4: Dina filer laddas inte upp/laddas ner.
lösning 4: Kontrollera din internetanslutning och/eller hastighet. Ta bort cachen. Se till att du har ledigt utrymme i din lagring och att dina uppladdningar motsvarar Amazon S3-filkraven.
då kan du behöva kontrollera dina värdinställningar: gå till nedladdningar – Inställningar – Tillägg – Amazon S3. Är din värd inställd korrekt? Regionen? Granska filnamnen på dina filer (antalet tecken och om de har några specialtecken, till exempel). Om du använder en mobil enhet, kontrollera storleken på ditt foto/video – Det bör inte överstiga 2 GB.
Problem 5: när dina filer växer i antal märker du snart att det blir svårare att hantera dem.
lösning 5: Digital Asset Management kan förbättra din Amazon-upplevelse och lösa problemet åt dig.
avancerad filorganisation med Pics.io DAM
flytta din S3-lagring till en helt ny nivå genom att integrera den i Pics.io DAM. Detta är en avancerad lösning för att organisera och distribuera dina filer för att maximera ditt lags prestanda.
Pics.io DAM är en win-win-strategi för dig som Amazon S3-användare. Eftersom det fungerar ovanpå din lagring behöver du inte starta någon ytterligare programvara (och migrera dina filer igen), ingen kommer att ha tillgång till din lagring, & inga avgifter för lagringsutrymme. Fortfarande får du:
- unik fil organisation. Inget behov av att söka din lagring i timmar eller klämma alla dessa prefix. Bild.io visar din S3-lagring på ett mer vanligt och användarvänligt sätt så att du enkelt kan navigera i den. Dessutom är det väldigt visuellt – du kan faktiskt se alla miniatyrbilder, och det sparar mycket tid i det dagliga arbetet.
- tillgång. Med DAM får du enkelt tillgång till dina filer med nyckelord, platser, datum och så vidare. Eller så kan du använda den mer avancerade sökningen: till exempel kan du hitta dina filer efter innehåll med AI-driven sökning.
- samarbete med ditt team. Dina kollegor kan lämna meddelanden under specifika tillgångar eller markera de områden de vill diskutera. Tagga dina lagkamrater direkt i din lagring. Och få uppdateringar om eventuella ändringar i katalogen.
- delning. Med Pics.io DAM, du har unika delbara webbplatser där du placerar ditt material och sedan skickar länken till dina kunder/frilansare/partners. Anpassa dessa webbplatser: Lägg till ditt domännamn eller ändra färgpalett för att marknadsföra ditt varumärke.
- säkerhet. Lägg till ytterligare en säkerhetsnivå i din lagring genom att ändra rättigheter och behörigheter. Du kan till exempel specifikt bestämma vem som kan ladda upp/ladda ner dina tillgångar, Redigera och ta bort dem. Och många andra trevliga överraskningar som länkade tillgångar, en fil jämförelse verktyg, kommunikationscenter, etc.
planerar att ingå i Amazon notering? Missa inte vår översikt över de vanligaste Amazon-Optimeringsfelen och hur du undviker dem.
sist men inte minst, om du hade provat flera offentliga molnleverantörer, men ändå beslutat att sluta på Amazon S3, hände detta uppenbarligen av en anledning. Med sin skalbarhet, bekvämlighet och säkerhet är Amazon S3 verkligen en av de ledande lager som finns på marknaden idag. I sin tur vår Pics.io team hjälper dig att få ut det mesta av din lagring och förbättra din Amazon S3-upplevelse.