Amazon S3が「条件付き書き込み」に対応。既にオブジェクトがある場合は上書きせず、分散アプリケーションでの利用が容易に
Amazon Web Servicesは、オブジェクトストレージを提供する「Amazon S3」の新機能として「条件付き書きこみ」（Conditional Writes）をサポートしたことを発表しました。 条件付き書き込みを利用すると、オブジェクトの書き込み時にオブジェクトの存在をチェックし、オブジェクトが存在しない時だけ書き込む、という指定が可能になります。 これにより、アプリケーションがデータをAmazon S3に書き込む際に、既存のオブジェクトを上書きすることを簡単に防ぐことができるようになります。 例えば、複数のクライアントが同一オブジェクトにデータを書き込んでいくような分散処理において、不用意に既存のデータを上書きしないように書き込む直前にオブジェクトを確認するといった処理をアプリケーションで作りこむ必要がなくなり、Amazon S3に任せることができるため、Amazon S3を
Amazon S3が不正なリクエストでも利用料が加算される現象、AWSが修正を完了したと報告
Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました
Amazon S3 Express One Zoneの性能測定をしてみた - NRIネットコムBlog
こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ
［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
はじめにこんにちは。TIG/EXユニット所属の宮永です。 本記事ではS3バケットをtreeするCLIコマンドを紹介します。 クラスメソッドさんの記事(S3 バケットの中身を tree 形式で表示してくれる s3-tree を Amazon Linux 2 にインストールして使ってみた)を拝見して、s3-treeというツールの存在を知ったのですが、profileを指定できなかったり、バケット単位でしか指定できなかったりと細かな部分で不自由さを感じたためGoでCLIツールを作成しました。 作成したツールは以下リンク先で公開しています。 streeは「エスツリー」と読みます。先に語感の良い名称を思いついたため、衝動に身を任せて開発しました。 機能概要まずは利用画面を見ていただいたほうがイメージ付きやすいかと思いますのでgif画像を添付します。 streeは以下の機能をサポートしています。 バケッ
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
困っていた内容 下記を参考にアカウント間でバケットのデータをコピーしましたが、コピー元とコピー先でオブジェクト数に差異が出ています。 参考：別の AWS アカウントから S3 オブジェクトをコピーするにはどうすればよいですか? 原因はコピーの際に空フォルダが消えてしまっているためでした。空フォルダを一覧化する、または空フォルダもコピーする方法はありますか？ どう対応すればいいの？ S3における空フォルダとは まずS3の基本的な構造の話ですが、そもそもS3においてフォルダやディレクトリという概念は存在しません。例えばフルパスが「foo/bar.txt」の場合、フォルダ（foo）とファイル（bar.txt）ではなく、「foo/bar.txt」というキーの1つのオブジェクトということになります。 ただし、S3管理コンソールでは、人間に分かりやすいようスラッシュ区切りのディレクトリ階層とすることで
こちらは ANDPAD Advent Calendar 2022 の19日目の記事です。 こんにちは。 アンドパッドSREの宜野座です。 今回はアドベントカレンダーということで、Amazon S3の公開を検知してSlackに通知する仕組みをシンプルに行う方法に関して書こうと思います。 Amazon S3の重要性 S3バケットの公開を防ぐには S3の公開検知の例 AWS Config を利用する方法 Lambdaの作成 AWS Configでマネージドルールを有効化 Event Bridgeを作成する 動作確認 小ネタ: AWS Configで任意のタイミングでルールの評価を行う方法 Amazon Guard Dutyを利用する方法 まとめ 終わりに Amazon S3の重要性 ※ 以降、本文中ではAmazon S3をS3と短縮表記します。 AWSを利用されている場合、S3はさまざまなデータ
新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム Amazon Simple Storage Service (Amazon S3) は、オブジェクトおよびオブジェクトに関連付けられたメタデータのために 99.999999999% (イレブンナイン) の耐久性を提供するように設計されています。S3 は PUT した内容を正確に格納し、GET 時に格納された内容を正確に返すので、安心してご利用いただけます。オブジェクトが適切にやり取りされるように、S3 はチェックサムを使用します。チェックサムは基本的にデジタルフィンガープリントの一種です。 S3 の PutObject 関数では、オブジェクトの MD5 チェックサムを渡すことが既に許可されており、指定した値が S3 によって計算された値と一致する場合にのみオペレーションを受
About AWS
Since launching in 2006, Amazon Web Services has been providing industry-leading cloud capabilities and expertise that have helped customers transform industries, communities, and lives for the better. As part of Amazon, we strive to be Earth’s most customer-centric company. We work backwards from our customers’ problems to provide them with the broadest and deepest set of cloud and AI capabilitie
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
本日のアップデートでインターフェース型の S3 VPC エンドポイント（PrivateLink）が GA になりました！ Amazon S3 now supports AWS PrivateLink S3 の PrivateLink については re:Invent 2020 まもなくリリース予定とアナウンスされていましたが遂に来ましたね！ PrivateLink for S3 インターフェース型とゲートウェイ型 今回のアップデートで S3 VPC エンドポイントは唯一、ゲートウェイ型とインターフェース型、両方の VPC エンドポイントを持つサービスとなりました。簡単に各タイプの特徴を説明すると、以下のとおりです。 ゲートウェイ型 エンドポイント料金は無料 対応しているサービスは S3 と DynamoDB のみ エンドポイントへの名前解決はグローバル IP のまま（ルートテーブルにより、V
Amazon S3 アップデート – セキュリティおよびアクセス制御のための 3 つの新しい機能 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 アップデート – セキュリティおよびアクセス制御のための 3 つの新しい機能 Amazon S3 をリリースしてから 1 年ほど後、私が参加した技術会議でエレベーターに乗っていたときに、何人かのデベロッパーが、データストレージをどうしているかとの質問に対して「S3 に投げるだけ」と答えているのを耳にしました。コメントがとても自然なものだったので、その瞬間をよく覚えています。そこで初めて、S3 がどれほど早く普及したのかを認識しました。 このリリース以降、当社は、数百の機能と複数のストレージクラスを S3に追加してきました。また、1 か月間に 1 ギガバイトのデータを格納するコストをほぼ 85% 削減しました (S3 Standard では 0.15 USD から 0.023 USD、最も低額なものでは S3 Glaci
About AWS
Since launching in 2006, Amazon Web Services has been providing industry-leading cloud capabilities and expertise that have helped customers transform industries, communities, and lives for the better. As part of Amazon, we strive to be Earth’s most customer-centric company. We work backwards from our customers’ problems to provide them with the broadest and deepest set of cloud and AI capabilitie
Easily Manage Shared Data Sets with Amazon S3 Access Points | Amazon Web Services
AWS News Blog Easily Manage Shared Data Sets with Amazon S3 Access Points Storage that is secure, scalable, durable, and highly available is a fundamental component of cloud computing. That’s why Amazon Simple Storage Service (S3) was the first service launched by AWS, back in 2006. It has been a building block of many of the more than 175 services that AWS now offers. As we approach the beginning
AWS について
2006 年のローンチ以来、Amazon Web Services は、業界をリードするクラウド機能と専門知識を提供し、改善に向けた業界、コミュニティ、生活のトランスフォーメーションに取り組む多くのお客様をサポートしてきました。 Amazon の一員として、当社は地球上で最も顧客中心の企業になるよう努めています。当社はお客様の課題から逆算して取り組み、最も広範で奥深い一連の機能を提供することで、お客様が想像できるあらゆるものを構築できるようサポートしています。 スタートアップから大企業、非営利団体、政府・自治体などの公共機関まで、当社のお客様は、運用のモダナイズ、イノベーションの推進、データのセキュリティ確保において AWS に信頼を寄せています。
Amazon S3 Update – SigV2 Deprecation Period Extended & Modified | Amazon Web Services
AWS News Blog Amazon S3 Update – SigV2 Deprecation Period Extended & Modified Update (August 2024, JB) – The revised plan outlined below is still in effect. If you want to write IAM policies that disallow requests that were signed with SigV2, use the s3:signatureversion condition key. Every request that you make to the Amazon S3 API must be signed to ensure that it is authentic. In the early days
AWSチームのすずきです。 2019/06/24に予告されていた Amazon S3の 署名バージョン2 (SigV2) の廃止スケジュールについて、 AWSブログでスケジュール変更の告知がありましたので、紹介させていただきます。 Amazon S3 Update – SigV2 Deprecation Period Extended & Modified 参考 【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について 変更内容 変更前 2019年6月24日、全てのS3 で 署名バージョン2 (SigV2) 利用できなくなる予定でした。 変更後 2020年6月24日以降に新規に作成された S3バケットが、署名バージョン2 (SigV2) 利用がサポート外となる事になりました。 既存のS3バケットについては、2020年6月以降も署名バージョン2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
