Aktualizováno únor 2021
není pochyb o tom, že jsme na výběr s dnešní řadou ukládání souborů. Cloudové služby jsou nejoblíbenější na trhu díky jejich dostupnosti a snadnému použití. Podle odhadů existuje více než 2300 milionů uživatelů cloudového úložiště po celém světě. Očekává se, že toto číslo ještě poroste.
díky své škálovatelné infrastruktuře a silným bezpečnostním opatřením je Amazon S3 špičkovou volbou knihovny médií mnoha spotřebitelů. Podniky všech velikostí a průmyslových odvětví přecházejí na toto úložiště poté, co hodně slyšeli o bezvadné pověsti Amazonu a jeho snaze o dokonalost.
ale Amazon nikdy nehledal žádné zkratky. A jeho objektový systém odlišuje úložiště od konkurence a zároveň komplikuje proces nástupu pro nové uživatele. Ještě to brát s nadhledem! S tímto článkem vám řekneme o úskalích Amazon S3.
jak jsme nedávno vybudovali integraci přehrady s Amazonem na Pics.io, nahrávání a správa souborů na S3 se pro naše uživatele stalo opravdu důležitým. Tak jsme tady, přináší prospěch každému,kdo potřebuje tyto informace, aby pro vás práce s S3 byla hračkou.
Amazon S3: Některá důležitá terminologie
jako nový uživatel Amazonu můžete být zmateni při prvním otevření účtu. Kde je tradiční organizace souborů a složek? Co je tajný klíč a proč jsou mé vzácné soubory uloženy v kbelících?
zde je krátký seznam termínů, které byste mohli chtít vědět ještě předtím, než se přihlásíte ke svému účtu:
- AWS (Amazon Web Services) konzola pro správu. Jedná se o webovou aplikaci, pomocí které budete přistupovat a spravovat své cloudové úložiště. K přihlášení ke svému účtu budete potřebovat své uživatelské jméno & heslo.
- uživatel Root vs. uživatel IAM (Správa Identity a přístupu). V AWS existují dva typy uživatelů: vlastník účtu (nebo uživatel root) a uživatelé s určitými rolemi a přístupovými oprávněními (uživatelé IAM). TIP pro: pro bezpečnostní a bezpečnostní opatření Amazon doporučuje omezit používání přihlašovacích údajů uživatele root na minimum. Místo toho můžete vytvořit uživatele IAM a udělit jim plný přístup.
- přístupový klíč ID a tajný klíč. Vedle konzolového přístupu (vyvinutého převážně pro uživatele s omezeným technickým zázemím) existuje také programový přístup. A zde budete potřebovat přístupové klíče AWS k programovým hovorům.
- kbelík. V konzole Amazon S3 vytvoříte kbelíky – takzvanou nadřazenou složku pro vaše aktiva a jejich metadata. Ve výchozím nastavení vám Amazon S3 uděluje 100 kbelíků na účet, ale tento limit můžete zvýšit až o 1000 kbelíků za příplatek.
Kbelík = Objekt 1 + Objekt 2 + Objekt 3
- Námitka. Skladujeme předměty v kbelících. Skládá se ze souborů a jejich metadat (volitelně), objekt může být jakýkoliv druh souboru, který potřebujete nahrát: textový soubor, obrázek, video, zvuk a tak dále. Maximální povolená velikost je 160 GB.
Object = file + metadata (volitelně)
- složky. Objekty můžete seskupit podle složek. Nezapomeňte však, že Amazon S3 má plochý souborový systém na rozdíl od tradiční hierarchie, kde jsou vaše aktiva seskupena do adresářů a podadresářů. Plochá struktura znamená, že dosáhnete organizační jednoduchosti pomocí jedinečných názvů souborů a složek. Například přidáte název projektu + název klienta + datum splatnosti, takže se v úložišti nesetkáte se stejným názvem.
- Region. Kbelíky Amazon S3 jsou specifické pro region. To znamená, že si vyberete geografickou polohu, kam chcete, aby společnost ukládala vaše aktiva. Nezapomeňte, že objekty v kbelíku neopustí své umístění, pokud je výslovně nepřenesete do jiné oblasti.
- názvy klíčů & předpony. Názvy klíčů odkazují na názvy objektů a spolu s předponami (společný řetězec v názvech objektů) vám pomohou rychleji a snadněji přistupovat k potřebnému souboru. Řekněme, že ukládáte photo1 do folder1 do kbelíku. Pak můžete vyhledávat soubory zadáním bucket / folder1 / photo1 namísto ručního otevírání složek a kbelíků.
vytvořili jsme účet Amazon S3: jak začít s jeho používáním
jak vytvořit kbelík?
po přihlášení do konzoly AWS a přístupu k uživatelskému rozhraní S3 je nejvyšší čas prozkoumat váš uživatelský účet. Takže první věc, kterou uděláte, je vytvořit kbelík Amazon S3.
zde musíte uvést název kbelíku a zeměpisnou polohu, kam chcete Amazon uložit kbelík a jeho obsah. Již jsme zmínili plochou strukturu jako speciální funkci úložiště Amazon S3, takže buďte opatrní, když si vyberete název kbelíku. Systém vás nenechá jít, pokud název 1) je jedinečný v celém úložišti 2) je mezi 3 a 63 znaky; a 3) obsahuje pouze malá písmena.
pokud jde o oblast, úložiště umožňuje vytvořit kbelík na požadovaném místě. A nejlepší nápad je vybrat ten, který je vám nejblíže. Tímto způsobem nejen zkrátíte dobu odezvy, ale snížíte náklady a splníte regulační požadavky.
co jiného mohu dělat s mým kbelíkem?
1) oprávnění
ve stejné nabídce také nastavíte oprávnění a nakonfigurujete možnosti. V závislosti na rolích ve vašem týmu se rozhodnete, kdo bude vytvářet, upravovat a mazat objekty ve vašem kbelíku.
2) veřejný vs. individuální přístup
pak si vyberte mezi veřejným a individuálním přístupem. Z důvodu bezpečnosti nedoporučujeme udělit veřejný přístup, pokud nepoužíváte tento kbelík ke sdílení souborů s mnoha klienty nebo partnery. Pokud tomu tak není, můžete vždy zpřístupnit konkrétní soubory ostatním.
3) verze
pokud jde o možnosti konfigurace, povolte verze, pokud plánujete ukládat různé revize stejného objektu. Řekněme, že navrhujete nové logo pro svou marketingovou kampaň. Během tohoto procesu dojde k několika aktualizacím vašeho souboru, když experimentujete s paletou barev nebo zpracováváte písmo.
s verzí jsou různé verze vašeho souboru uloženy pod stejným klíčem a při přístupu k objektu je načtete všechny najednou. Uživatelé Amazon S3 také oceňují verzi, pokud jde o selhání aplikace nebo nezamýšlené akce(například když váš kolega odstranil přesnou revizi, se kterou jste všichni souhlasili).
4) protokolování přístupu k serveru vs. objekt
zaškrtněte protokolování přístupu k serveru v případě, že chcete sledovat požadavky zadané v kbelíku. Zprávy protokolu přístupu se vám hodí v době auditů a jako bezpečnostní opatření.
můžete také vyzkoušet pokročilejší protokolování na úrovni objektů. Při této příležitosti máte možnost filtrovat události, které mají být zaznamenány, a sledovat je v CloudTrail-samostatné auditorské službě AWS.
5) šifrování
nakonec zašifrujte soubory, pokud chcete dodatečně zabezpečit svá data. Šifrování znamená kódování vašich informací, takže k nim lze přistupovat pouze pomocí hesla a speciálně navrženého šifrovacího (dešifrovacího) klíče. Chcete-li jít dál do kódování, úložiště S3 vám umožní zvolit výchozí šifrování při vytváření nového kbelíku.
jak se dostat do kbelíku
jak nahrát soubory do Amazon S3?
v kbelíku ukládáme naše objekty (soubory + metadata) a používáme složky, pokud potřebujeme seskupit naše soubory. Uvidíte, že nahrávání souborů do úložiště S3 je stejně snadné jako koláč. Stačí stisknout tlačítko Nahrát a buď drag ‚ n ‚ drop své materiály nebo point-and-click – použijte způsob, který je pro vás výhodnější. Pokud chcete seskupit objekty do složek, klikněte na Vytvořit složku.
kromě toho můžete nahrát celou složku. V tomto případě máte k dispozici pouze možnost drag ‚ n ‚ drop. Přesto to zjednodušuje úkol, pokud potřebujete nahrát široký rozsah souborů a odrážet jejich strukturu. S nahráním složek Amazon S3 zrcadlí jeho strukturu a nahraje všechny podsložky, i když by tento způsob mohl být celkově časově náročnější.
co jiného bych měl vědět při nahrávání objektů do úložiště S3?
pokud vám to nevadí, opakuji se: Amazon S3 používá úložiště založené na objektech. To znamená, že žádný souborový systém vůbec! Každý soubor, který nahrajete (bez ohledu na původ, typ a formát), se převede na objekt a poté se najde v kbelíku.
protože neexistuje žádný souborový systém (alespoň ve společném významu tohoto slova), už nebudeme mluvit o jménech jako názvech souborů. (A již jsme zmínili, že S3 je o jedinečných jménech-takto organizujeme a přistupujeme k souborům v této úložné službě.) To je důvod, proč když nahrajete nový objekt, nebudete mít ani možnost vybrat si pro něj název.
ale pro kompenzaci neexistujících názvů souborů používá služba klíč objektu (nebo název klíče), který jednoznačně definuje objekt v kbelíku.
jaké jsou další možnosti konfigurace během nahrávání? Stejně jako u kbelíků můžete také použít šifrování k zabezpečení dat a správě veřejných oprávnění. Navíc můžete určitý soubor zpřístupnit určitému uživateli nebo uživatelům.
vyberte třídy úložiště podle toho, jak často plánujete přístup k vašim datům. Například Standard S3 (výchozí typ) je určen pro kritická, nereprodukovatelná data, která budete pravidelně spravovat.
Metadata vs. značkování
kromě klíče (a dat) má každý objekt S3 seznam metadat, která nastavíte při nahrávání. Stručně řečeno, jedná se o další informace o objektu, jako když byl vytvořen nebo kým. Metadata jsou uložena pomocí systému s hodnotou klíče, kde klíč pomáhá identifikovat objekt a hodnota je samotný objekt.
jednoduše řečeno, délka obsahu nebo typ souboru jsou klíče, když odkazujeme na tyto druhy metadat. V souladu s tím budou jejich hodnotami velikost objektu v bajtech a různé typy souborů, jako je PDF, text, video, zvuk nebo jakýkoli jiný formát, o kterém můžete přemýšlet.
podle stejné logiky můžete do souborů přidat značky, které pomáhají vyhledávat, organizovat a spravovat přístup k vašim objektům. Značky jsou stejné dvojice klíčových hodnot a jsou to také druhy metadat, ale mezi nimi je významný rozdíl.
objekt v S3 je neměnný, stejně jako jeho metadata jako součást objektu. Konzola AWS vám umožňuje“ upravovat “ metadata, ale neodráží realitu. Ve skutečnosti se stane nová verze souboru, která se vytváří při každé úpravě objektu.
u značek je situace jiná – jedná se o další“ subresource “ informace týkající se objektu. Protože jsou spravovány Samostatně, při přidávání značek do něj soubor nezměníte. Celkově si můžete vybrat až 10 značek na objekt v S3.
složky jako prostředek seskupování objektů
jak používáme složky v S3?
jak jste pravděpodobně zjistili, kbelíky a objekty hrají ústřední roli v úložišti S3. Ale to není případ složek. Ty byly přidány pouze pro kompenzaci chybějícího hierarchického systému souborů, aby se zlepšila Správa souborů a přístup.
v Amazon S3 vám složky pomohou najít soubory díky předponám (umístěným před názvem klíče). Řekněme, že vytvoříte složku s názvem Images a tam uložíte objekt s názvem klíče images / photo1.jpg. „Obrázky“ je v tomto případě předpona. „/“je oddělovač, automaticky přidaný systémem (vyhněte se jim v názvech složek). Čím více složek a podsložek vytvoříte, tím více předpon váš soubor získá.
a tak můžete použít tyto předpony pro přístup k vašim datům. Stačí zadat jednu nebo více předpon do vyhledávače S3 filtrovat vyhledávání.
akce se složkami a objekty
co můžete dělat se svými soubory a složkami, je v úložišti Amazon S3 docela standardní. Můžete vytvářet nové složky, mazat je, zveřejňovat, kopírovat a přesouvat. Změňte jejich metadata, šifrování, třídu úložiště a značky-ale podle očekávání není k dispozici žádná možnost přejmenování.
vaše interakce s objekty se nebude příliš lišit. S Amazon S3 nebudete mít problém s nahráváním a kopírováním objektů. Navíc můžete svá aktiva otevřít, přesouvat, stahovat a mazat (v případě potřeby v různých formátech).
zajímavou možností je obnovení smazaných objektů, které mohou být užitečné zejména v případě selhání systému. Uvědomte si však, že „undeleting“ objekty je možné pouze v kbelících s povolenou verzí.
návrat k nahrávání znovu: Přesun velkých dat do Amazon S3
dali jsme jasně najevo, že nahrávání aktiv do Amazon S3 by nemělo způsobovat žádné potíže. A je to tak, pokud mluvíme o malých datech. Ale co když se vaše digitální knihovna rozšíří na 1000 souborů nebo 10 000 nebo milion? Dokážete si představit, že tyto soubory přetáhnete nebo kliknete na ně?
jaká ztráta času by to mohla být! Naštěstí existují další, jednodušší a rychlejší způsoby, jak přesunout masivní data do úložiště S3 …
online nástroje
1) Direct Connect je vynikajícím řešením pro přenos velkého množství dat. Jeho myšlenkou je vytvořit přímé spojení mezi vašimi zdroji dat na místě a sítí Amazonu. Tímto způsobem obejdete všechny překážky vytvořené vaším poskytovatelem internetu a webovým provozem a přesunete data rychleji a snadněji.
jako obvykle můžete požádat o připojení v konzole AWS, stačí vybrat oblast, kterou chcete použít, nastavit počet portů a jejich rychlost-a řešení můžete použít.
kdy použít toto řešení?
- když potřebujete přenášet data ve velkém měřítku a vaše připojení k Internetu je pomalé.
- když toužíte snížit náklady a dosáhnout konzistentnějšího síťového zážitku.
2) AWS Data Sync je velmi podobný Direct Connect, ale je sofistikovanější, s vylepšenými možnostmi správy a automatizace. Například AWS Data Sync umožňuje sledovat vaše přenosy, naplánovat konkrétní procesy, přizpůsobit rychlost a šířku pásma.
ale pokročilejší řešení také znamená složitější převody, že? Uživatelé s omezenými znalostmi v kódování tak mohou považovat synchronizaci dat za příliš obtížnou.
kdy použít toto řešení?
- když potřebujete další automatizaci pro přenos dat, abyste snížili náklady. Například zvolte Data Sync, pokud chcete filtrovat migraci dat a poukázat na to, které složky/soubory se mají přesunout jako první.
- když pracujete ve velkém podniku, bude váš přenos dat dokončen pod dohledem vývojářů.
3) Amazon S3 Transfer Acceleration byl navržen tak, aby urychlil Vaše procesy migrace dat do úložiště S3 konkrétně. Řešení funguje perfektně pro přenos dat na dlouhé fyzické vzdálenosti.
kdy použít toto řešení?
- když potřebujete rychlý přenos a / nebo na delší vzdálenost.
- pokud musíte přesunout data pouze z jednoho kbelíku.
4) Amazon Kinesis Firehose je nástroj pro migraci dat v reálném čase, který povolíte prostřednictvím konzoly AWS. Služba je dobrá díky snadnému rozhraní-dodávku nastavíte několika kliknutími . Navíc je nákladově efektivnější než jiná řešení Amazon, protože neplatíte za službu,ale za množství přenášených dat.
kdy použít toto řešení?
- když hledáte nástroj pro migraci dat pro streamování.
- pokud nechcete ztrácet čas administrací.
- když plánujete snížit náklady prostřednictvím placení as you go.
5) Tsunami UDP je jedním z mála bezplatných řešení, která jsou k dispozici pro přesun velkých dat do Amazonu S3. To nefunguje on-line ještě, takže budete muset stáhnout a nainstalovat nástroj. Navíc jsou pro práci s tímto řešením nezbytné základní znalosti v kódování.
kdy použít toto řešení?
- pokud je váš rozpočet omezený, ale stále potřebujete přesunout rozsáhlá data do úložiště S3.
- pokud potřebujete přenášet pouze soubory (řešení nepodporuje přesouvání složek a podsložek).
- pokud nevlastníte žádná citlivá data: Tsunami UDP nešifruje vaše data.
6) Pics.io migrace dat je nová služba poskytovaná společností Pics.io přehrada. Tuto možnost zvolte, pokud potřebujete přenést velká data(a metadata!) do úložiště AWS, ale nechcete se dostat do potíží tím, že děláte vše sami.
kdy použít toto řešení?
- když potřebujete migrovat data z jednoho zdroje do druhého. Mohlo by to být další cloudové úložiště pro Amazon S3. Nebo přesouvání souborů mezi vědra.
- Chcete – li dokončit migraci rychle & snadno. V takovém případě stačí kontaktovat Pics.io tým podpory, udělit několik oprávnění, & vaše řešení DAM se postará o zbytek.
- když plánujete přesunout metadata společně se soubory. Tato možnost umožňuje zachovat strukturu složek, přenášet klíčová slova, popisy souborů atd.
- když vám záleží na bezpečnosti vašich informací. Obrázek.io dokončí nahrávání nejbezpečnějším možným způsobem.
Offline tools
7) AWS Import / Export Disk je offline řešení přenosu dat. Zde nahrajete data do přenosného zařízení a odešlete je do AWS. Poté společnost přesune data do vašeho úložiště přímo pomocí vysokorychlostní interní sítě. Zpravidla se to stane následující pracovní den, kdy Amazon obdrží vaše zařízení. Jakmile je export / import dokončen, společnost odešle zpět váš externí pevný disk.
kdy použít toto řešení?
- při přípravě a zasílání datových sad bude stále trvat méně času než nahrávání souborů jiným způsobem. Přibližně byste měli tuto možnost zvážit, pokud je velikost vašich dat větší než 100 GB.
- při odesílání externího pevného disku s vašimi daty zůstane levnější než upgrade připojení (v případě, že plánujete přesunout data online).
8) AWS Snow Family je další offline řešení složené ze tří různých přenosových služeb (AWS Snowcone, AWS Snowball a AWS Snowmobile). Myšlenka je podobná disku AWS Import/Export, ale tentokrát používáte zařízení AWS k přesunu vašich rozsáhlých dat.
službu si objednáte online prostřednictvím konzoly AWS, zkopírujete data do zařízení a vrátíte je po dokončení nahrávání. Celý proces odhaduje, že trvá asi týden, včetně přepravy a přenosu dat. Ale s touto možností se můžete přesunout z několika terabajtů na petabajty informací.
kdy použít toto řešení?
- znovu, když je čekací doba na odeslání a přenos dat oprávněná ve srovnání s jakoukoli jinou metodou nahrávání.
- Vyberte si mezi AWS Snowcone, AWS Snowball a AWS Snowmobile v závislosti na objemu vašich dat. AWS Snowcone je nejmenší fyzické úložiště v rodině AWS Snow. Je to snadné a přenosné a uživatelé si objednávají Snowcones pro datové přenosy, stejně jako v případě problémů s připojením.
- AWS Snowball je určen pro rozsáhlejší migraci dat (od 42 TB). A konečně, AWS Snowmobile je celý přepravní kontejner. Díky této službě získáte bezpečnější, vysokorychlostní přenos dat, sledování GPS, video dohled atd., atd.
v případě, že chcete jít hlouběji do různých nástrojů pro zrychlení přenosu Amazon S3, nenechte si ujít náš příspěvek k tomuto tématu.
běžné problémy a řešení
Amazon S3 přitahuje uživatele s mnoha výhodami. Úložiště je vysoce odolné, má neomezené úložné schopnosti a jedinečné bezpečnostní příležitosti. Ačkoli většinu času je pro vás potěšením pracovat s tímto úložištěm, stále dochází k narušení.
zde je návod, jak je vyřešit:
Problém 1: Váš přístup k úložišti je odepřen.
řešení 1: to znamená, že používáte nesprávný přístupový klíč a / nebo tajný klíč, nebo jednoduše nemáte žádná práva na přístup k úložišti. Pokud to platí, zkontrolujte své přihlašovací údaje a zásady oprávnění pro uživatele IAM.
Problém 2: zadaný klíč neexistuje.
řešení 2: tuto zprávu obdržíte, pokud se vyskytnou problémy s pojmenováním souborů a kbelíků. Zkontrolujte jména, odstraňte interpunkci a speciální znaky, pokud jsou přítomny.
problém 3: Váš podpis neodpovídá.
Řešení 3: Pokud se zobrazí tato chybová zpráva, je pravděpodobné, že jste v názvu kbelíku použili velká písmena a/nebo mezery – přejmenujte kbelík ( nebo raději vytvořte nový s řádnými konvencemi pojmenování).
Problém 4: vaše soubory se nenahrávají/nestahují.
řešení 4: Zkontrolujte připojení k internetu a / nebo rychlost. Odstraňte mezipaměť. Ujistěte se, že máte ve svém úložišti volné místo a vaše obrázky odpovídají požadavkům na soubor Amazon S3.
pak možná budete muset zkontrolovat nastavení hostitele: přejděte na Soubory ke stažení-Nastavení-Rozšíření-Amazon S3. Je váš hostitel nastaven správně? Region? Zkontrolujte názvy souborů souborů (například počet znaků a to, zda mají nějaké speciální znaky). Pokud používáte mobilní zařízení, zkontrolujte velikost fotografie/videa-neměla by přesáhnout 2 GB.
problém 5: Když vaše soubory rostou, brzy si všimnete, že je obtížnější je spravovat.
řešení 5: Správa digitálních aktiv může zlepšit váš zážitek z Amazonu a vyřešit tento problém za vás.
pokročilá organizace souborů s Pics.io DAM
přesuňte úložiště S3 na zcela novou úroveň jeho integrací do Pics.io přehrada. Jedná se o pokročilé řešení pro organizaci a distribuci souborů, aby se maximalizoval výkon vašeho týmu.
Pics.io DAM je win-win strategie pro vás jako uživatele Amazon S3. Vzhledem k tomu, že funguje na horní části úložiště, nebudete muset spustit žádný další software (a migrovat soubory znovu), nikdo nebude mít přístup k úložišti, & žádné poplatky za úložný prostor. Stále se dostanete:
- unikátní organizace souborů. Není třeba prohledávat úložiště celé hodiny nebo napěchovat všechny tyto předpony. Obrázek.io zobrazuje úložiště S3 obvyklejším a uživatelsky přívětivějším způsobem, takže jej můžete snadno navigovat. Navíc je velmi vizuální – můžete skutečně vidět všechny miniatury a ušetří spoustu času v každodenní práci.
- přístup. S DAM, můžete přistupovat k souborům velmi snadno podle klíčových slov, umístění, data, a tak dále. Nebo můžete použít pokročilejší vyhledávání: například můžete najít soubory podle obsahu pomocí vyhledávání založeného na AI.
- spolupráce s vaším týmem. Vaši kolegové vám mohou nechat zprávy pod konkrétními aktivy nebo označit oblasti, o kterých chtějí diskutovat. Označte své spoluhráče přímo ve vašem úložišti. A získat aktuální informace o všech změnách v adresáři.
- sdílení. S Pics.io DAM, máte jedinečné sdílené webové stránky, kde umístíte své materiály a poté odešlete odkaz svým klientům / nezávislým pracovníkům / partnerům. Přizpůsobte tyto webové stránky: například Přidejte název domény nebo změňte paletu barev a propagujte svou značku.
- bezpečnost. Přidejte do svého úložiště ještě jednu úroveň zabezpečení změnou práv a oprávnění. Můžete například konkrétně rozhodnout, kdo může vaše aktiva nahrávat/stahovat, upravovat a mazat. A mnoho dalších příjemných překvapení, jako jsou propojená aktiva, nástroj pro porovnávání souborů, komunikační centrum atd.
plánujete být zařazeni do seznamu Amazon? Nenechte si ujít náš přehled nejčastějších chyb Optimalizace výpisu Amazon a jak se jim vyhnout.
v neposlední řadě, pokud jste vyzkoušeli více veřejných poskytovatelů cloudu, ale přesto jste se rozhodli zastavit na Amazonu S3, zjevně se to stalo z nějakého důvodu. Díky své škálovatelnosti, pohodlí a bezpečnosti je Amazon S3 skutečně jedním z předních skladů dostupných na současném trhu. Na druhé straně naše Pics.io tým vám pomůže vytěžit maximum z vašeho úložiště a vylepšit váš zážitek z Amazon S3.