クラウドストレージ、特にオブジェクトストレージについて質問があります。 AWSを例に出すとS3への書き込み速度と読み込み速度はローカルのHDDとSSDの中間くらい出ている認識です。そのような性能を持っているのに25ドル/TBのような安価で提供できているのはどのような実装がされているのでしょうか？ 軽く検索するとS3のレイテンシは1桁ミリ秒、帯域はクライアント側のネットワークがボトルネックになるまで(つまり100Gbpsレベル)出るようですね。しかも99.999999999%(11ナイン)の耐久性という数字は生半可な努力で出せる数字ではありません。 なぜそんな高速なストレージがこんなに安いのかというのは一言では「経済の力」となりますがもう少し噛み砕くといくつかの要素があります。 S3はまき餌かも知れないクラウドビジネス各社ではオンプレミスやコロケーションで顧客自身が契約している物理ハードウェ

はじめに S3の署名付きURL機能はAWS認証情報を持たないユーザーに対してファイルの配布やアップロードを許可することができる非常に便利な機能です。 反面、使い方を誤ると想定外のユーザーからのアクセスを許可してしまったり、S3上のファイルをダウンロードされてしまったりします。 本記事では署名付きURLを制限するための設定について検証してみました。 前提 この記事にたどり着いた方であれば既に見ているかもしれませんが、IAMポリシーを利用した署名付きURLの制限方法や IPアドレスを使用したURLへのアクセスユーザーの制限方法は既にまとめられてる方がいらっしゃるので、こちらを見ていただくと早いかと思います。 ただ、バケットポリシーで署名付きURLを制限した記事は見当たらなかったので、以下のドキュメントを参考に設定してみました。 前提説明 上記ドキュメントにも記載されていますが、バケットポリシー

はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da

Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました

AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成

パブリック・プライベートを問わず、AWSのストレージサービスであるS3のバケット名からアカウントIDを突き止める方法をセキュリティ企業「Tracebit」のCTOであるサム・コックス氏が公開しました。 How to find the AWS Account ID of any S3 Bucket https://tracebit.com/blog/2024/02/finding-aws-account-id-of-any-s3-bucket/ コックス氏の方法はS3のVPCエンドポイントを使用することでVPCエンドポイントポリシーを適用するのがポイントとのこと。ポリシーで「アカウントIDが1で始める場合のみ許可」などアカウントIDに基づいて許可を行う事で、ポリシーレベルでの拒否が発生するかどうかをチェックします。 具体的な方法は下記の通り。 まず最初にターゲットとなるバケットのリージョンを

はじめに こんにちは。カミナシでソフトウェアエンジニアをしている佐藤です。 みなさんは、アプリケーションのフロントエンドから、Amazon S3 にファイルをアップロードするときに、どのような方法を用いているでしょうか？ 「バックエンドのサーバーにファイルを送信し、バックエンドのサーバー経由で S3 にアップロードしている」「Presigned URL を払い出して、フロントエンドから直接 PUT している」など、いくつかの方法があると思います。 弊社で提供しているサービス「カミナシレポート」でも、用途に応じて上記の方法を使い分けて S3 へのファイルのアップロードを行っています。 特に、Presigned URL は、手軽に利用できる上に、バックエンドのサーバーの負荷やレイテンシーの削減といったメリットも大きく、重宝しています。 一方で、その手軽さの反面、アップロードに際して様々な制約を

はじめに こんにちは、LINE上で動くおくすり連絡帳 Pocket Musubi というサービスを開発している種岡です。 社内システムからS3にファイルをアップロードする機能を開発することになり、Presigned URLを利用して開発を試みたものの、想定以上に時間がかかってしまいました。 S3の設定からバックエンド、フロントエンドと一気通貫での情報がまとまっていないことが課題として浮かんできたので、備忘録として残しておくことにしました。 ゴール クライアント側（Angular）のフォームで選択したファイルをS3にアップロードできること S3にアップロードする際は Presigned URL を利用すること アップロードされたオブジェクトは 読み込みのみのパブリックアクセス のアクセス許可が付与されていること Presigned URLとは AWSのドキュメントの署名付きURLの使用を抜粋

[NEW] CloudFrontからS3への新たなアクセス制御方法としてOrigin Access Control (OAC)が発表されました！ CloudFrontからS3へのアクセス制限として従来のOAIに加えて、新たにOACが利用可能になりました。セキュリティが強化されSSE-KMSなどのサポートが行われています。OAIも引き続き利用可能ですが、今後はOACを使用しましょう。 はじめに 清水です。今朝（日本時間2022/08/26、現地時間2022/08/25）のアップデートでAWSのCDNサービスであるAmazon CloudFrontにOrigin Access Control (OAC)という機能が追加されました。CloudFrontからオブジェクトストレージサービスAmazon S3へのアクセス制限を行う新たな方法となります。これまでもOrigin Access Identi

2020/10/27にNext.js 10がリリースされました。変更点は公式のブログがとても分かりやすくまとまっています。Next.js Confの動画をチェックするのも良いかもしれません（演出が良い感じです）。 Next.js 10で特に注目すべきは、画像最適化をしてくれるnext/imageコンポーネント（next/image）のビルトインサポートだと思います。この記事ではnext/imageについてまとめます。 next/imageとは next/imageは、画像の表示を最適化してくれるコンポーネントです[1]。 画像の最適化 具体的には、以下のような最適化を行ってくれます。 画像を閲覧デバイスに応じてリサイズして表示してくれる（元画像が大きくともスマホでは小さくリサイズされた画像を表示） PNGやJPEGなどの形式の画像を自動でWebPにしてくれる（しかもWebP対応ブラウザでの

s3に画像をアップロードするために、一度サーバを通すのはリソースの無駄なのでやめておきたいですよね。 今回は、ブラウザから複数画像を直接アップロードし、それをReactを用いて描画するところまでやりたいと思います。 コードはすべてgithubに置いてあります。 akameco/react-s3-uploader-sample スクリーンショット aws-sdkを使って署名付きURLを発行 ブラウザに直接アップロードするには、一度サーバに署名付きURLを発行してもらう必要があります。検索するとブラウザ側にアクセスキーやシークレットキーを直接配置している例も見かけましたが、危険なのでやめた方がいいです。署名付きURLですが、aws-sdkを利用することでこの処理を自分で書かずに20行程度で実装可能です。 以下が、s3の署名付きURLを発行するサーバ側のコードです。アクセスキーなどは自分の環境と

S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac

目的 s3のブロックパブリックアクセスとアクセスコントロールリスト(ACL)、バケットポリシー(Policy)の関連性がややこしくてイマイチピンとこない s3のドキュメントがカオス なので把握も兼ねて、実際のユースケースを元にセキュリティ的にダメなパターンと、どんな設定でできるのかを試す ユースケース awscliでサーバ等から画像をS3へアップロードさせて、S3のオブジェクトURL( https://[バケット名].s3-ap-northeast-1.amazonaws.com/[オブジェクト名] )でパブリックから画像を閲覧させたい場合 = パブリックからファイルアップロードや削除はできないが、パブリックからファイル閲覧できる という確認をダメパターンも含めて実際に試す 前提条件 s3リージョン：ap-northeast-1 パブリックからファイルアップロードされてしまうことの確認（ダ

{ "Statement":[ // S3ホームディレクトリでバケット一覧を表示するために必要 { "Effect":"Allow", "Action":[ "s3:ListAllMyBuckets" ], "Resource":"arn:aws:s3:::*" }, // バケットに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource":"arn:aws:s3:::bucket" }, // オブジェクトに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource":"arn:aws:s3:::bucket/*"

「AWS Toolkit for Visual Studio Code」がAmazon S3をサポート。VSCodeからS3バケットの作成やデータのアップロード、ダウロードなど可能に Amazon Web Services（AWS）は、オープンソースのコードエディタVisual Studio Codeの拡張機能として提供している「AWS Toolkit for Visual Studio Code」の新機能として、Amazon S3対応を発表しました。 New #AWSLaunches! Amazon Elasticsearch Service now supports integration with Tableau & Microsoft Excel Amazon S3 features now available in the AWS Toolkits for Visual Stud

S3 バケットにオブジェクトを保存するための料金をお支払いいただきます。課される料金は、オブジェクトのサイズ、当月中にオブジェクトを保管した期間の長さ、ストレージクラスが S3 標準、S3 Intelligent-Tiering、S3 標準 - 低頻度アクセス、S3 One Zone - 低頻度アクセス、S3 Express One Zone、S3 Glacier Instant Retrieval、S3 Glacier Flexible Retrieval (旧 S3 Glacier)、S3 Glacier Deep Archive のいずれであるかによって異なります。アクセスパターンをモニタリングし、アクセスティア間でオブジェクトを移動するには、S3 Intelligent-Tiering ストレージクラスに保管されているオブジェクトごとにモニタリングとオートメーションの月額料金をお支

S3に置いてあるファイルを一括でタウンロードしたい 既存の Wordpress サイトを Local by Flywheel に移行するため、S3に上げたファイルを一括ダウンロードする必要が出てきたのですが、、 S3のファイルってAWSコンソールからだと一つずつしかダウンロードできないのですね。。 リソースが少ない場合はそれで問題ないのですが、私は画像ファイルやらなんやらをたくさん置いていたので大問題。 結論、AWS-CLIを使えば可能！ google先生に聞いた結果、AWS-CLI（AWS Command Line Interface ）というものを使えばできる！ということがわかりました。 AWS-CLIってなんじゃい！という方はこちらをご参照ください。 やり方がわかってしまえばあとは簡単。 $ aws s3 cp s3://S3バケット名/ ダウンロード先パス --recursive

概要 皆さんこんにちはcandleです。今回はrailsやphpからS3にファイルをアップロードしたりする権限を取得する方法を紹介します。一般にS3にファイルをアップロードしたり削除するにはアクセスキーとシークレットキーをIAMから取得する必要があります。 興味深いのはS3に限らないのですが、aws環境ではそれぞれのサービスに例えばS3やRDSに外部からアクセスする権限を管理するのがそれぞれのサービスではなくてIAMというサービスになります。 故にS3を操作する場合でも権限関連はIAMで作成します。 逆に言えば、このアクセスキーとシークレットキーがあればどこからでもS3にアクセスしてファイルを編集したり、削除できたりできます。別の記事にあるように、自宅のMacPCからもS3にアクセスできるようになります。 図にすると、下の様になります。 前提 awsのアカウントを持っていて割と自由に使える