タグ

awsとFluentdに関するtknzkのブックマーク (4)

  • ELBのアクセスログをFluentdにINPUTしてみた - サーバーワークスエンジニアブログ

    ちかごろ職種不明の新坂です。 AWSの負荷分散装置、ELBのアクセスログを取得できるようになりましたね。 see: 【AWS発表】Elastic Load Balancerのアクセスログ 冗長化・負荷分散している場合、Webサーバーのアクセスログは分散してしまうので、ELBのログが取得できるというのは有用なのではないでしょうか。 早速試してみたところ、ログは5分間隔または、60分間隔でS3に出力されるようです。S3内では下記のようにディレクトリに仕切られてファイルが配置されます。(厳密にはディレクトリではありませんが、便宜上ディレクトリと表記します。) ELBアクセスログファイルの配置イメージ(5分間隔) AWSLogs/000000000000/elasticloadbalancing/ap-northeast-1/2014/03/07/000000000000_elasticloadb

    ELBのアクセスログをFluentdにINPUTしてみた - サーバーワークスエンジニアブログ
  • ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する | DevelopersIO

    はじめに 先日お伝えしました通り、ELBのアクセスログが取得出来るようになったのですが、すぐさまfluent-plugin-elb-logというfluentプラグインがリリースされました。さすがfluentd界隈、対応が早いです。 ということで、今回はELBのアクセスログをfluentd経由でElasticsearchに取り込み、それをKibanaで表示したいと思います! セットアップ Elasticsearch Elasticsearchは最新のrpmパッケージを更新サイトから取得し、rpmコマンドでインストールします。 $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm $ sudo rpm -ivh ./elasticsearch-1.

    ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する | DevelopersIO
  • 社長が訊く『すれちがい通信中継所』|ニンテンドー3DS|任天堂

    はい。そこで、今回はインフラに 「クラウドサービス」(※20)の利用を検討しました。 具体的には、AWS(※21)を利用しています。 これによって、 何台のサーバーを使おうと決めた時点で、 その日のうちに新しいサーバーが使えるという とても便利な仕組みが利用できるようになりました。 ※20「クラウドサービス」=仮想サーバーやストレージ、ネットワークなどの計算資源を、必要な時に必要な分だけインターネットを通じて利用できるサービス。 ※21AWSAmazon Web Services。Amazon.comが提供するウェブサービス。国内外の数多くの企業がこのサービスを利用している。

    社長が訊く『すれちがい通信中継所』|ニンテンドー3DS|任天堂
  • AWSを使ったデータ解析PaaSの裏側 - Go ahead!

    JAWS DAYS 2013というイベントがあって,2日目にTreasure Dataとして発表してきました.実は1日目には弊社CTOがパネルディスカッションに登壇したりしてました. Slideshare Ustream Video streaming by Ustream 最初はfrsyukiが登壇予定に上がっていたんだけど,今彼はアメリカということで代打で役割が回ってきた,というのが発表の経緯. なんかラベルが”Dev”と”Ops”という超大雑把なくくりで「AWSで”Dev”って何発表すれば…」という状態だったので, AWS上で展開しているTreasure Dataサービスの仕組みについてつらつらと話しました. AWSべったりな感じではなくて Treasure Dataのサービス内容と目的 どうAWSのプロダクトを使っているのか なぜこのAWSのサービスを使わないのか というのを大まか

  • 1