2021年2月更新
クラウドサービスは、アクセシビリティと使いやすさのおかげで、市場で最も人気があります。 推定されるように、世界中に2300万人以上のクラウドストレージユーザーが存在しています。 この数字はさらに成長すると予想されます。
拡張性の高いインフラストラクチャと強力なセキュリティ対策により、Amazon S3は多くの消費者にとってトップのメディアライブラリの選択です。 彼らはAmazonのきれいな評判について多くのことを聞いた後、すべてのサイズや業界の企業は、このストレージにシフトし、その完璧のために努力していま
しかし、Amazonはショートカットを探していませんでした。 また、そのオブジェクトシステムは、新しいユーザーのためのオンボーディングプロセスを複雑にしながら、競争から離れてス まだ簡単にそれを取る！ この記事では、Amazon S3の落とし穴について説明します。
最近、AmazonとのDAM統合を構築したように、Pics.io、s3上のファイルのアップロードと管理は、私たちのユーザーのために本当に重要になりました。 だからここでは、S3での作業をあなたのためのケーキの一部にするために、この情報を必要とするすべての人に利益をもたらしています。
Amazon S3:いくつかの重要な用語
Amazonの新しいユーザーとして、あなたが最初にあなたのアカウントを開くときに困惑することがあります。 従来のファイルとフォルダの構成はどこにありますか？ 秘密鍵とは何ですか、なぜ私の貴重なファイルはバケットに保存されていますか？
アカウントにサインインする前に知っておきたい用語の短いリストを以下に示します:
- AWS（Amazon Web Services）管理コンソール。 これは、あなたのクラウドストレージにアクセスし、管理するためのwebベースのアプリケーションです。 アカウントにサインインするには、ユーザー名&パスワードが必要です。
- ルートユーザーとIAM（Idおよびアクセス管理）ユーザー。 AWSには2つのタイプのユーザーがあります: アカウント所有者(またはrootユーザー)と、特定のロールとアクセス権限を付与されたユーザー(IAMユーザー)。 プロのヒント：安全性とセキュリティ対策のために、Amazonはrootユーザー認証情報の使用を最小限に抑えることをお勧めします。 代わりに、IAMユーザーを作成してフルアクセスを付与できます。
- アクセスキー IDおよび秘密キー。 コンソールアクセス（主に限られた技術的背景を持つユーザーのために開発された）の隣には、プログラムによるアクセスもあります。 また、ここでは、プログラムによる呼び出しを行うためのAWSアクセスキーが必要です。
- バケツ Amazon S3コンソールでは、アセットとそのメタデータのいわゆる親フォルダであるバケットを作成します。 デフォルトでは、Amazon S3はアカウントごとに100バケットを付与しますが、追加支払いのためにこの制限を最大1000バケットまで増やすことができます。
バケット=オブジェクト1+オブジェクト2+オブジェクト3
- オブジェクト。 オブジェクトをバケットに格納します。 ファイルとそのメタデータ（オプション）で構成されるオブジェクトは、テキストファイル、画像、ビデオ、オーディオなど、アップロードする必要がある任意の種類 許可される最大サイズは160GBです。
オブジェクト=ファイル+メタデータ(オプション)
- フォルダ。 オブジェクトをフォルダごとにグループ化できます。 しかし、Amazon S3には、アセットがディレクトリとサブディレクトリにグループ化される従来の階層とは対照的に、フラットなファイルシステムがあ 平らな構造は独特なファイルおよびホールダーの名前の助けによって組織の簡易性を達成することを意味する。 たとえば、プロジェクト名+クライアント名+期日を追加して、ストレージ全体で同じ名前を満たさないようにします。
- 地域。 Amazon S3バケットはリージョン固有です。 これは、会社が資産を保存する地理的な場所を選択することを意味します。 バケット内のオブジェクトは、特に別のリージョンに転送しない限り、その場所から離れないことに注意してください。
- キー名&プレフィックス。 キー名はオブジェクト名を参照し、接頭辞（オブジェクト名の共通文字列）とともに、必要なファイルにすばやく簡単にアクセスするのに役立ちます。 あなたのバケツのfolder1にphoto1を保存するとしましょう。 次に、フォルダとバケットを手動で開くのではなく、bucket/folder1/photo1を入力してファイルを検索できます。
Amazon S3アカウントをセットアップしました：使用を開始する方法
バケットを作成する方法は？
AWSコンソールにサインインしてS3ユーザーインターフェイスにアクセスした後、ユーザーアカウントを調べるのは時間がかかります。 そのため、最初に行うことは、Amazon s3バケットを作成することです。
ここでは、バケット名とamazonがバケットとそのコンテンツを保存する地理的な場所を指定する必要があります。 Amazon S3ストレージの特別な機能としてflat structureについては既に述べていますので、バケット名を選択する際は注意してください。 システムは、名前1）がストレージ全体で一意である2）が3〜63文字の間でない限り、あなたを手放すことはありません。3）小文字のみが含まれています。
リージョンについては、ストレージを使用すると、必要な場所にバケットを作成することができます。 そして、最高のアイデアは、あなたに最も近いものを選ぶことです。 このようにして、応答時間を短縮するだけでなく、コストを削減し、規制要件を満たすことができます。
バケツで他に何ができますか？
1)権限
同じメニューで、権限の設定とオプションの設定も行います。 チームの役割に応じて、バケット内のオブジェクトを作成、編集、および削除するユーザーを決定します。
2)公開と個人アクセス
次に、公開と個人アクセスのどちらかを選択します。 セキュリティのために、このバケットを使用して多くのクライアントやパートナーとファイルを共有しない限り、公開アクセスを許可することはお勧めしません。 そうでない場合は、いつでも特定のファイルを他の人が公開できるようにすることができます。
3)バージョン管理
構成オプションについては、同じオブジェクトの異なるリビジョンを保存する予定がある場合は、バージョン管理を有効にします。 あなたの販売運動のための新しいロゴを設計していることを言おう。 このプロセスを通して、カラーパレットを試したり、フォントを詳しく説明したりすると、ファイルに複数の更新があります。
バージョン管理では、ファイルの異なるバージョンが同じキーの下に格納され、オブジェクトにアクセスするときに一度にすべてを取得します。 また、Amazon S3ユーザーは、アプリケーションの障害や意図しない操作(たとえば、同僚が使用することに同意した正確なリビジョンを削除した場合など)に関
4) サーバーとオブジェクトのアクセスログ
バケットで行われた要求を追跡する場合は、サーバーアクセスログにチェックを入れます。 アクセスログのレポートは、監査の際や安全対策として便利です。
より高度なオブジェクトレベルのロギングを試すこともできます。 この機会に、ログに記録するイベントを自由にフィルタリングし、別のAWS監査サービスであるCloudTrailでそれらを追跡できます。
5)暗号化
最後に、データをさらに保護したい場合は、ファイルを暗号化します。 暗号化は、パスワードと特別に設計された暗号化（復号化）キーを使用してのみアクセスできるように、情報をエンコードすることを意味します。 S3storageを使用すると、新しいバケットを作成するときにデフォルトの暗号化を選択できます。
バケット内に入る
amazon S3にファイルをアップロードする方法は？
バケットには、オブジェクト（ファイル+メタデータ）を格納し、ファイルをグループ化する必要がある場合はフォルダを使用します。 S3storageにファイルをアップロードするのはpieと同じくらい簡単です。 あなただけのアップロードを押して、あなたの材料をdrag’n’dropまたはポイントアンドクリックそれらのいずれか-あなたのために、より便利である方法を使 オブジェクトをフォルダにグループ化する場合は、[フォルダの作成]をクリックします。
それ以外は、フォルダ全体をアップロードすること自由に感じます。 この場合、drag’n’dropオプションのみが使用できます。 あなたは、ファイルの広い範囲をアップロードし、その構造を反映する必要がある場合でも、それは、タスクを簡素化します。 フォルダアップロードを使用すると、Amazon S3はその構造をミラー化し、この方法では全体的に時間がかかる可能性がありますが、すべてのサブフォルダを
オブジェクトをS3ストレージにアップロードするときに他に何を知っておく必要がありますか？
気にしない場合は、私は自分自身を繰り返します：Amazon S3はオブジェクトベースのストレージを使用します。 これは全くファイルシステムを意味しません！ アップロードしたすべてのファイル（元、タイプ、形式に関係なく）はオブジェクトに変換され、その後バケットに保存されます。
ファイルシステムは存在しないので(少なくともこの言葉の共通の意味で)、名前をファイル名として話すことはもうありません。 （そして、我々はすでにS3は、すべての一意の名前についてであることを述べてきました-これは、我々はこのストレージサービス内のファイルを整理し、ア これが、新しいオブジェクトをアップロードするときに、そのオブジェクトの名前を選択することさえできない理由です。
しかし、存在しないファイル名を補うために、サービスはバケット内のオブジェクトを一意に定義するオブジェクトキー（またはキー名）を使用します。
アップロード中の他の設定オプションは何ですか？ バケットと同じように、暗号化を使用してデータを保護し、公開権限を管理することもできます。 さらに、特定のユーザーが特定のファイルにアクセスできるようにすることができます。
データへのアクセスを計画している頻度に基づいてストレージクラスを選択します。 たとえば、S3Standard（デフォルトのタイプ）は、定期的に管理する重要で再現性のないデータ用に設計されています。
メタデータとタグ付け
キー（およびデータ）とは別に、各S3オブジェクトには、アップロード時に設定したメタデータのリストがあります。 簡単に言えば、これはオブジェクトがいつ作成されたのか、誰によって作成されたのかなどのオブジェクトに関する追加情報です。 メタデータは、keyがオブジェクトを識別するのに役立ち、valueがオブジェクト自体であるkey-valueシステムを使用して格納されます。
簡単に言えば、コンテンツの長さやファイルの種類は、これらの種類のメタデータを参照しているときのキーです。 したがって、それらの値は、オブジェクトのサイズ（バイト単位）と、PDF、テキスト、ビデオ、オーディオ、またはあなたが考えることができる他の形式のような異
同じロジックに従って、オブジェクトへのアクセスを検索、整理、および管理するのに役立つタグをファイルに追加できます。 タグは同じキーと値のペアであり、メタデータの種類でもありますが、それらの間には大きな違いがあります。
S3のオブジェクトは不変であり、オブジェクトの一部としてのメタデータと同じです。 AWSコンソールでは、メタデータを”編集”することができますが、現実を反映していません。 実際に起こるのは、オブジェクトを変更するたびに新しいファイルバージョンが作成されることです。
状況はタグによって異なります-それらはオブジェクトに関する追加の”サブリソース”情報です。 それらは別々に管理されているため、タグを追加するときにファイルを変更することはありません。 全体的に、s3ではオブジェクトごとに最大10個のタグを選択できます。
オブジェクトをグループ化する手段としてのフォルダ
S3でフォルダを使用するにはどうすればよいですか？
あなたはおそらくそれを理解したように、バケットとオブジェクトは、S3ストレージで中心的な役割を果たしています。 しかし、これはフォルダの場合ではありません。 これらは、ファイル管理とアクセスを改善するために不在のファイル階層システムを補うためにのみ追加されました。
Amazon S3では、プレフィックス(キー名の前にあります)のおかげで、フォルダーはファイルを検索するのに役立ちます。 Imagesという名前のフォルダを作成し、そこにimages/photo1というキー名のオブジェクトを格納したとします。jpg。 この場合、”Images”は接頭辞です。 “/”は区切り文字で、システムによって自動的に追加されます（フォルダ名では使用しないでください）。 あなたが作成するより多くのフォルダやサブフォルダ、より多くの接頭辞は、あなたのファイルが取得されます。
そして、あなたはあなたのデータにアクセスするためにこれらの接頭辞を使用することができます。 検索をフィルタリングするには、S3検索エンジンに1つ以上の接頭辞を入力するだけです。
フォルダとオブジェクトのアクション
ファイルとフォルダでできることは、Amazon S3ストレージではかなり標準的です。 新しいフォルダの作成、削除、公開、コピー、および移動を行うことができます。 メタデータ、暗号化、ストレージクラス、およびタグを変更しますが、予想どおり、名前の変更オプションは使用できません。
オブジェクトとの相互作用はあまり違いはありません。 Amazon S3では、オブジェクトのアップロードとコピーに問題はありません。 さらに、アセットを開いたり、移動したり、ダウンロードしたり、削除したりすることができます（必要に応じてさまざまな形式で）。
興味深いオプションには、削除されたオブジェクトの回復が含まれており、システム障害の場合に特に役立ちます。 ただし、オブジェクトの削除を取り消すことは、バージョン管理が有効なバケットでのみ可能であることに注意してください。
再びアップロードに戻る:ビッグデータをAmazon S3に移動する
amazon s3にアセットをアップロードしても問題が発生しないことを明確にしました。 小規模なデータについて話しているのであればそうです。 しかし、あなたのデジタルライブラリが1000ファイルまたは10 000、または1000万に拡張されている場合はどうなりますか？ これらのファイルをドラッグしたり、ポイントアンドクリックしたりすると想像できますか？
それは時間の無駄かもしれません！ 幸いなことに、あなたのS3ストレージに大規模なデータを移動するための他の、簡単かつ迅速な方法があります…
オンラインツール
1)Direct Connectは、大量のデータを転送す そのアイデアは、オンプレミスのデータソースとAmazonのネットワークとの間に直接接続を作成することです。 このように、あなたのインターネットの提供者および網の交通によって作成される障害をとばし、あなたのデータをより速くおよびより容易
いつものように、AWSコンソールで接続をリクエストし、使用するリージョンを選択し、ポートの数と速度を設定するだけで、ソリューションを適用できます。
このソリューションを使用する場合は？
- 大規模なデータを転送する必要があり、インターネット接続が遅い場合。
- コストを削減し、より一貫したネットワークエクスペリエンスを実現することを熱望しているとき。
2) AWS Data SyncはDirect Connectに非常によく似ていますが、管理と自動化のオプションが改善され、より洗練されています。 たとえば、AWS Data Syncを使用すると、転送の追跡、特定のプロセスのスケジュール設定、速度と帯域幅の調整が可能になります。
しかし、より高度な解決策は、より複雑な転送を意味しますよね？ そのため、コーディングの知識が限られているユーザーは、データの同期が難しすぎる可能性があります。
このソリューションを使用する場合は？
- コストを削減するためにデータ転送の自動化を追加する必要がある場合。 たとえば、最初に移動するフォルダ/ファイルを指定してデータの移行をフィルタリングする場合は、[データ同期]を選択します。
- 大企業で働く場合、データ転送は開発者の監督の下で完了します。
3) Amazon S3Transfer Accelerationは、特にS3ストレージへのデータ移行プロセスを高速化するように設計されています。 解決は長い物理的な間隔を渡るデータ転送のために完全に働く。
このソリューションを使用する場合は？
- 高速転送が必要な場合および/または長い距離のために。
- 一つのバケットからのみデータを移動する必要がある場合。
4) Amazon Kinesis Firehoseは、AWSコンソールで有効にするリアルタイムのデータ移行ツールです。 サービスは、その簡単なpeasyインターフェイスのために良いです-あなたは数回のクリックで配信を設定します。 さらに、サービスの料金ではなく、転送するデータの量を支払うため、他のAmazonソリューションよりもコスト効率が高くなります。
このソリューションを使用する場合は？
- ストリーミングデータ移行ツールを探しているとき。
- あなたが管理にあなたの時間を無駄にしたくないとき。
- あなたが行くように支払うことによってコストを削減することを計画しているとき。
5) 津波UDPは、amazon S3にビッグデータを移動するために利用可能な無料のソリューションのいくつかの一つです。 まだオンラインでは動作しないため、ツールをダウンロードしてインストールする必要があります。 さらに、このソリューションを使用するには、コーディングの基本的な知識が必要です。
このソリューションを使用する場合は？
- 予算が限られているが、大規模なデータをS3ストレージに移動する必要がある場合。
- ファイルのみを転送する必要がある場合（ソリューションはフォルダとサブフォルダの移動をサポートしていません）。
- 機密データを所有していない場合：Tsunami UDPはデータを暗号化しません。
6) Pics.io データ移行は、以下によって提供される新しいサービスですPics.io ダム ビッグデータ（およびメタデータ）を転送する必要がある場合は、このオプションを選択します。 あなたのAWSストレージに）しかし、あなた自身ですべてをやってトラブルに行きたくない。
このソリューションを使用する場合は？
- あるソースから別のソースにデータを移行する必要がある場合。 これは、Amazon S3への別のクラウドストレージである可能性があります。 またはあなたのバケット内の間でファイルを移動します。
- すぐに移行を完了したいとき&簡単に。 この場合、あなただけの連絡先Pics.io サポートチーム、いくつかの権限を付与し、&あなたのDAMソリューションが残りの世話をします。
- メタデータをファイルと一緒に移動する予定の場合。 このオプションを使用すると、フォルダ構造の保持、キーワードの転送、ファイルの説明などを行うことができます。
- あなたの情報のセキュリティを気にするとき。 写真だioは可能な限り最も安全な方法でアップロードを完了します。
オフラインツール
7)AWS Import/Export Diskはオフラインデータ転送ソリューションです。 ここでは、データをポータブルデバイスにアップロードしてAWSに出荷します。 その後、同社は高速の内部ネットワークを使用してデータをストレージに直接移動します。 原則として、これはAmazonがデバイスを受信した翌営業日に発生します。 エクスポート/インポートが完了するとすぐに、会社はあなたの外付けハードドライブを送り返します。
このソリューションを使用する場合は？
- データセットを準備して郵送するときは、他の方法でファイルをアップロードするよりも時間がかかりません。 おおよそ、データのサイズが100GBを超える場合は、このオプションを検討することをお勧めします。
- データを含む外付けハードドライブを出荷すると、接続をアップグレードするよりも安価なままになります（データをオンラインで移動する予定の場合）。
8) AWS Snowファミリーは、3つの異なる転送サービス(AWS Snowcone、AWS Snowball、およびAWS Snowmobile)で構成されるもう1つのオフラインソリューションです。 このアイデアはAWS Import/Export Diskに似ていますが、今回はAWS applianceを使用して大規模なデータを移動します。
AWSコンソールからオンラインでサービスを注文し、データをデバイスにコピーし、アップロードが完了したら返却します。 全プロセスはestimatedly含まれている約一週間、船積みおよびデータ転送を取ります。 しかし、このオプションを使用すると、数テラバイトからペタバイトの情報に移動することができます。
このソリューションを使用する場合は？
- ここでも、他のアップロード方法と比較して、データの出荷と転送の待ち時間が正当である場合。
- データの量に応じて、AWS Snowcone、AWS Snowball、およびAWS Snowmobileのいずれかを選択します。 AWS Snowconeは、AWS Snowファミリーの中で最小の物理ストレージです。 それは容易、携帯用であり、ユーザーはデータ転送のためにSnowconesを発注する、接続性の問題の場合と同じように。
- AWS Snowballは、より大規模なデータ移行(42TBから)を目的としています。 そして最後に、AWS Snowmobileは輸送コンテナ全体です。 このサービスを使用すると、より安全で高速なデータ転送、GPS追跡、ビデオ監視などが可能になります。、等。
さまざまなAmazon S3transfer accelerationツールについて詳しく知りたい場合は、このトピックに関する投稿をお見逃しなく。
一般的な問題と解決策
Amazon S3は、その複数の利点を持つユーザーを魅了しています。 貯蔵は非常に耐久で、無制限の貯蔵の能力および独特な保証機会があります。 ほとんどの場合、このストレージを使用することは非常に喜ばしいことですが、混乱は依然として発生します。
ここでは、それらを解決する方法です：
問題1：ストレージへのアクセスが拒否されました。
解決策1：これは、間違ったアクセスキーや秘密キーを使用しているか、単にストレージにアクセスする権限がない可能性があることを意味します。 該当する場合は、認証情報とIAMユーザーへのアクセス許可ポリシーを確認してください。
問題2:指定されたキーが存在しません。
解決策2:ファイルとバケットの名前に問題がある場合、このメッセージが表示されます。 名前を確認し、存在する場合は句読点と特殊文字を削除します。
問題3：あなたの署名が一致しません。
ソリューション3: このエラーメッセージが表示された場合は、バケット名に大文字やスペースを使用していた可能性があります-バケットの名前を変更します（または、適切な命名規則で新しいものを作成することをお勧めします）。
問題4:ファイルがアップロード/ダウンロードされません。
解決策4:インターネット接続および/または速度を確認します。 キャッシュを削除します。 ストレージに空き領域があり、アップロードがAmazon S3ファイルの要件に対応していることを確認してください。
次に、ホスト設定を確認する必要がある場合があります：ダウンロード-設定-拡張機能-Amazon S3に移動します。 ホストは正しく設定されていますか？ 地域？ ファイルのファイル名（文字数、特殊文字があるかどうかなど）を確認します。 モバイルデバイスを使用している場合は、写真/ビデオのサイズを確認してください-2GBを超えてはいけません。
問題5:ファイルの数が増えると、すぐにそれらを管理することがより困難になることに気付くでしょう。
解決策5:デジタル資産管理は、Amazonのエクスペリエンスを向上させ、この問題を解決できます。
との高度なファイル編成Pics.io DAM
S3ストレージを次のように統合することで、まったく新しいレベルに移動しますPics.io ダム これはあなたのチームのパフォーマンスを最大化するためにあなたのファイルを整理し、配布するための高度なソリューションです。
Pics.io DAMは、Amazon S3ユーザーにとってwin-winの戦略です。 それはあなたのストレージの上に動作するので、あなたは追加のソフトウェアを起動する必要はありません（そして、再びあなたのファイルを移行）、誰も まだあなたが得る:
- 一意のファイル構成。 時間のためにあなたのストレージを検索したり、すべてのそれらの接頭辞を詰め込む必要はありません。 写真だioは、より一般的でユーザーフレンドリーな方法でS3ストレージを表示するので、簡単にナビゲートできます。 さらに、それは非常に視覚的です-あなたは実際にすべてのサムネイルを見ることができ、それは毎日の仕事に多くの時間を節約します。
- アクセス。 DAMを使用すると、キーワード、場所、日付などによってファイルに非常に簡単にアクセスできます。 または、より高度な検索を使用することができます：たとえば、AI搭載の検索でコンテンツによってファイルを見つけることができます。
- あなたのチームとのコラボレーション。 あなたの同僚は、特定の資産の下にあなたにメッセージを残したり、彼らが議論したい領域をマークすることができます。 あなたのストレージに直接あなたのチームメイトにタグを付けます。 そして、ディレクトリ内のすべての変更の更新を取得します。
- とPics.io DAMは、あなたの材料を置き、次にあなたの顧客/freelancers/パートナーにリンクを送る独特な共有可能なウェブサイトを有する。 たとえば、ドメイン名を追加したり、ブランドを宣伝するためにカラーパレットを変更したりします。
- セキュリティ。 権限とアクセス許可を変更することで、ストレージにセキュリティレベルを追加します。 たとえば、アセットのアップロード/ダウンロード、編集、削除ができるユーザーを具体的に決定できます。 リンクされた資産、ファイル比較ツール、通信センターなどのような他の多くの楽しい驚き。
Amazonのリストに含まれる予定ですか？ 最も一般的なAmazonリスティング最適化の間違いとその回避方法の概要をお見逃しなく。
最後に、複数のパブリッククラウドプロバイダーを試してみたが、それでもAmazon S3で停止することに決めた場合、これは明らかに理由がありました。 拡張性、利便性、セキュリティを備えたAmazon S3は、今日の市場で利用可能な主要なストレージの1つです。 順番に、私たちのPics.io チームは、ストレージを最大限に活用し、Amazon S3のエクスペリエンスを向上させるのに役立ちます。