アンチボット回避機能を備えた Python スクレイピングライブラリ「Scrapling」に対して、AWS WAF の多層防御（IP レートルール・JA4 フィンガープリントレートルール・Bot Control Targeted）で検出・制限できるかを実際に検証しました。 Python の Web スクレイピングライブラリ「Scrapling」をご存知でしょうか。アダプティブ要素追跡・高速パーシング・複数フェッチャーの使い分けを1つのフレームワークで実現した、高機能なスクレイピングライブラリです。 一方で、TLS フィンガープリント偽装・Cloudflare Turnstile 自動バイパスといったアンチボット回避機能も備えており、不適切に利用された場合、従来の WAF では対応が難しいという課題があります。 そこで本記事では、AWS WAF の多層防御で Scrapling のアンチボッ
はじめに Zenn 読者のみなさん、こんにちは。e-dash VPoE の伊藤です。 2026年4月、AWS から S3 Files がリリースされました。 S3 バケットをファイルシステムとしてマウントして使える、という非常にインパクトのある機能で、ユースケース次第では大幅なストレージコスト削減やアーキテクチャ簡素化が期待できそうです。一方で、「実際どの程度の性能が出るの？」「EBS や EFS の代替としてどの程度使えるの？」という疑問もあります。 そこで今回は、S3 Files の性能を実機で評価し、他のストレージ構成（エフェメラルストレージ・EBS・EFS）と比較してみたので、その結果を共有します。 なお、当初は比較対象に Mountpoint for S3 も含める予定でした。しかし実機で検証した結果、fio による汎用ベンチマークが構造的に成立しないことがわかったため、今回は比
はじめに docker run コマンドで実行するDockerコンテナ内でAWSのAPI呼び出しを行うとき、何もしないと認証情報がなくて失敗すると思う。なんとかしてホスト側の認証情報を伝えたい。なお、令和なのでアクセスキーはホストのどこにも (~/.aws/credentials ファイルにも) 永続化されておらず、一時的な認証情報 (SSOやAssumeRole) しかないものとする。 やりかた 結論から言うと、aws configure export-credentials コマンドを使って認証情報をアクセスキー・シークレットキーの形式で取得できるので、これが使える。ホスト側でアクセスキーを使っていない限りは永続性のない (有効期限のある) 認証情報として取り回せる。 aws configure export-credentials のようにフォーマットを指定してあげることで、以下のよ
2026年4月7日、AWSがAmazon S3 Filesを一般提供（GA）しました。S3バケットをNFS v4.1/v4.2のファイルシステムとしてマウントできる機能です。EC2、EKS、ECS、Lambdaのいずれからでも利用できます。 発表直後から多くのセットアップ記事や速報が出ていますので、この記事では「何が設定できるか」ではなく「何が不要になり、何が可能になるか」を整理します。 対象読者は、S3を日常的に使っていて「すごそうだけど、自分たちのアーキテクチャにどう影響するのか」を知りたいエンジニアです。 S3 Filesが解こうとしている問題 まず出発点の認識を合わせておきます。 たとえば、MLチームが学習データの前処理をするとしましょう。元データはS3に置いてあります。pandasで読み込んで加工したい。しかし pd.read_csv("s3://my-bucket/data.c
Unreal Engine HordeのデプロイをAWS CDKでやってみた この記事は、Unreal Engine の Horde を AWS 上に立てるための AWS CDK サンプル（IaC） を OSS として公開したので、その背景と設計・ハマりどころをまとめたものです。 はじめに Unreal Engine 5.4 以降、Horde という CI/CD（ビルド・テスト・配布）基盤が利用できるようになりました。 一方で、2025 年末時点では英語/日本語ともに情報がまだ少なく、特に「クラウド上にどうやって立てるのか」「OIDC 認証や UGS（UnrealGameSync）とどう繋ぐのか」が分かりづらいのがつらいところです。 そこで私は、以下をなるべく 手戻り少なく 実現するための IaC を用意しました。 Horde サーバーのセットアップ（ECS Fargate） OIDC（O
Amazon CloudFront の定額プラン選択時はデータ転送量よりもリクエスト数と機能に注目しましょう | DevelopersIO
CloudFront の定額料金プランで 50TB を $15 で使えると思った方は、冷静にこの記事を読んでください。 ウィスキー、シガー、パイプをこよなく愛する大栗です。 Amazon CloudFront で定額プランが発表されました。有料のプランだと月間使用量が 50TB となっており配信データ単価がかなり低価格になっています。しかし詳細を確認すると 50TB という数字だけで判断すると実際のコストを少し勘違いしてしまうと思ったので、内容をまとめてみます。 要約 CloudFront の定額料金プランは 50TB のデータ量よりもリクエスト数に注目してプランを選択すべし プランごとに使用できる機能に大きな差があるので、使用したい機能を元にプランを検討すべし CloudFront の料金を削減する手段は定額プラン以外にもあるので検討すべし Amazon CloudFront の定額料金
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事では私が行ってきたAWSでのコスト削減、最適化の手法とコスト管理全般に関わることを記載します。 執筆時点(2025/11)の情報となりますので記事閲覧日によっては新しいサービスや機能改修により記事内容が適切ではない可能性がございますのでご留意ください。 不要・余分なコスト発生の調査方法 コスト削減の第一ステップとしてまず対象のAWSアカウントでどのようなコストが発生しているか確認する必要があります。 あらかじめ予想・見積もりしていたコストなのか、予定外のコストなのかを特定及び分析し、コスト削減・最適を進めてください。 Cost E
はじめに システム要件を整理する際、次のような AWS の仕様を確認されたことはあるでしょうか。 パブリック IP アドレスを使用する場合、AWS でホストされているインスタンスとサービス間のすべての通信は AWS のプライベートネットワークを使用します。AWS ネットワークから発信され、AWS ネットワーク上の送信先を持つパケットは、AWS 中国リージョンとの間のトラフィックを除いて、AWS グローバルネットワークにとどまります。 これは「AWS のリソース間通信は、パブリック IP アドレスを使用した場合でもインターネットに出ない」ことを示しており、インターネット経由の通信を禁止したい要件にとってありがたい仕様といえます。 しかし、実際にその通信経路がどのように見えるのかを外部から確認することは簡単ではありません。 本記事では、Datadog の Network Path を利用し、E
こんにちは！アノテーション AWS テクニカルサポートチームの大高です。 Amazon S3 Tables がリリースされていることは知っていましたが、未だに触ったことがなかったため、以下の公式ドキュメントを参考に触ってみたいと思います。 Amazon S3 Tables とは Amazon S3 Tables は、以下のような特徴をもったオブジェクトストアです。 Apache Iceberg サポートが組み込まれており、大量の表形式データを効率的に保存・管理できる バックグラウンドで自動的にデータを最適化することで、通常の Iceberg テーブルと比べて最大 3 倍速いクエリ性能を実現する 通常の S3 バケットと比べて最大 10 倍のトランザクション処理が可能となっている 詳細は以下をご参照ください。 やってみた では、さっそくドキュメントの内容に沿って S3 Tables を試して
通常のWEBアプリなどでダウンロードさせて保存する際のファイル名を指定するにはContentDispositionを指定すれば良いが、S3の署名付きURLだとどうするか？ 要点 GetPreSignedUrlRequest の ResponseHeaderOverrides に ContentDisposition でファイル名を指定すればOK ファイル名に日本語が含まれていると 「Header value cannot be represented using ISO-8859-1」的なエラーが発生するのでエンコードして設定する。 実装したコード public string GetPreSignedUrl(IAmazonS3 client, string backet, string fileKey, string? downloadFileName) { var request = n
AWS Toolkit for VS Codeとローカルマシン上でAWSをエミュレートするLocalStackが統合可能に。ローカルでAWS Lambdaの開発やテストが容易に Amazon Web Services（以下、AWS）は、Visual Studio Code（VS Code）の拡張機能として提供しているAWS Toolkit for VS Codeに、AWSのさまざまなサービスをローカルマシン上でエミュレートする「LocalStack」を統合する機能の追加を明らかにしました。 これによりローカルマシン上でAWSのサーバレスコンピューティング基盤であるAWS Lambdaに対応したアプリケーションの開発やテスト、デバッグなどがこれまで以上に容易になることが期待されます。 Serverless devs, your local testing workflow just got
はじめに テックタッチの SRE チームの tabito です。AWS IaC、Rust、最近は Terraform の AWS Provider の開発へのコミットが趣味になっています。 AWS のサーバーレスサービスの代表格である AWS Lambda。Lambda 関数を開発・運用している方も多いことと思います。 Lambda 関数を開発するときには、AWS にデプロイする前に、ローカルで動作を確認しておきたいものです。Web を検索すると、ローカルでの Lambda 関数の実行方法として、たとえば、以下のような方法が紹介されています。 コンテナイメージを作成して、そのコンテナイメージをローカルで実行する。 AWS SAM を使用して、aws sam local invoke コマンドでローカル実行する。 LocalStack を使用して、ローカル環境で AWS のサービスをエミュレ
みなさん、こんにちは。AWS CLI が好きな AWS サポート課の市野です。 昨日、新しい Payer アカウントを作成しようとしていて急に挙動が変わっていることに気づきましたので、少し調べてみました。 変わった挙動 AWS Organizations や AWS Control Tower からのアカウント発行をせず、スタンドアロンのアカウントを発行するプロセスの中で、無料プラン（Free plan）か有料プラン（Paid plan）のどちらを利用するかの選択肢が表示されるようになっています。 新しく挿入されるようになったプロセス AWS Free Tier について AWS 公式ページ Explore AWS services with AWS Free Tier - AWS Billing docs.aws.amazon.com それぞれのプランの比較 Choosing an AW
はじめに S3 バケットへのファイル転送において一般的な aws s3 cp コマンドと、高速転送可能な s5cmd の転送速度を検証しました。先日、海外リージョンの S3 バケットへ小さなファイルを大量アップロード時に利用したところ、転送時間が想像よりもずっと早かったです。そんな私の中でホットな s5cmd が本当に早いのか気になりました。 条件を整えて aws s3 cp と s5cmd cp でファイル転送した転送時間と転送速度を計測してみました。 ところで s5cmd ってなに s5cmd は、S3 と S3 互換オブジェクトストレージ、ローカルファイルシステム上のファイル操作できるコマンドラインツールです。マルチコアをフル活用した並列処理により非常に高速に転送できること強みです。 Mac なら homebrew で簡単にインストールできます。 検証結果早見 実行環境に依りますが、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
