[B! Fluentd] xefのブックマーク

fluent-bit これぐらいはやった方がいい設定

リトライの設定デフォルトでは Retry_Limit 1 なのでoutput失敗時に1回だけリトライしてそこでも失敗すると捨ててしまう https://docs.fluentbit.io/manual/administration/scheduling-and-retries バッファの設定デフォルトでは on memory なので停止すると停止時に output できなかったログが消える https://docs.fluentbit.io/manual/administration/buffering-and-storage https://docs.fluentbit.io/manual/administration/backpressure tail posision の指定どこまで読み取ったかを記録して再開できるようにしておく https://docs.fluentbit.i

xef 2025/09/19

Fluentd

リンク

Fluentdのflush_mode immediateはいつ使うのか - たごもりすメモ

Fluentd実践入門をあらためて手元でぱらぱらやってたら、しまった! この話をどこかにちょっとでも書こうと思ってたのに忘れてた! という話が出てきたので、忘れないうちに書いて放流する。 flush_modeとはなにか FluentdのOutputプラグインには<buffer>セクションで指定できるflush_modeというパラメータがあって、これはOutputプラグインがどういう基準でバッファ内のデータを書き出す(writeメソッドを呼ぶ)かという戦略をコントロールする。有効な値はdefault、immediate、interval、lazyの4つ。ただし多くのケースでこのパラメータは明示的には指定されていないはず。というのも、デフォルト値であるところのdefaultの場合には、<buffer>セクションに指定されている他のパラメータ((と、例外的に<buffer>セクションの外側に指

xef 2022/10/15

Fluentd

リンク

Fluentd ソースコード完全解説 (v0.10向け)

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

xef 2015/03/11

Fluentd

リンク

Fluentd: Data streams in Ruby world #rdrc2014

Fluentd: Data streams in Ruby world #rdrc2014AI-enhanced description This document discusses the data streaming tool Fluentd. It begins by describing how Fluentd simplifies log management and processing of high-volume data streams. It then shows how Fluentd addresses the issues of handling different data streams, formats, routing and error handling in a simple yet powerful way using its plugin arc

xef 2014/06/26

Fluentd

リンク

逆引き Fluentd plugins （更新あり）

ワイワイ！この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、http://fluentd.org/plugin/ の plugin はまだ2桁だったんじゃないかと思うのですが、今覗いてみるとなんと 209 です。もう全部を調べるわけにはいかない量です。Fluentd プラグインは簡単に書けることから調べるの面倒だから自分で書いちゃえってなりがちな気もします。実際、私も他では利用価値の無さそうな plugin はちょろっと書いて /etc/td-agent/plugin/ に放り込むだけだったりします。private な Git リポジトリには入っていますけども。そこで、今回はよく

xef 2013/12/10

Fluentd

リンク

Fluentdとはどのようなソフトウェアなのか - たごもりすメモ

Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。概要できることログの収集センサデータ等の収集汎用データ処理プロセッサとして頻出ユースケースログの収集データの集約簡単なリアルタイム集計ソフトウェアとしての特徴コアプラグイン安定性性能開発体制コミュニティぶっちゃけどうなの？まとめ現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転

xef 2013/12/03

Fluentd

リンク

fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の決済サービスPaid（ペイド）のサーバー群へログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。ログ集約を改善する動機弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。（集約というよりはバックアップといった意味合いの方が強いかもしれません）サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、サービスの成長にあわせて、サーバー台数が増え

xef 2013/12/03

Fluentd

リンク

Fluentd vs Logstash ·

Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Fluentd vs Logstash Nov 19, 2013 · 6 minute read · Comments logging realtime fluentd logstash architecture Fluentd and Logstash are two open-source projects that focus on the probl em of centralized logging. Both projects address the collection and transport aspect of c

xef 2013/11/24

リンク

Rubyist Magazine - スはスペックのス【第 1 回】 RSpec の概要と、RSpec on Rails (モデル編)

『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について『Rubyist Magazine』、略して『るびま』は、Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。最新号 Rubyist Magazine 0064 号バックナンバー Rubyist Magazine 0064 号 Rubyist Magazine 0063 号 Rubyist Magazine 0062 号 Kaigi on Rails 特集号 RubyKaigi Takeout 2020 特集号 Rubyist Magazine 0061 号 Rubyist Magazine 0060 号 RubyKaigi 2019 直前特集号 Rubyist

xef 2013/10/01

Fluentd

リンク

ruby 2.1.0-preview1 を fluentd で試してみた (追記あり) (再度追記あり) - たごもりすメモ

2.1.0-preview1 が出た。RGenGCはそのロジックがいかにもFluentdにジャストフィットしそうなので期待していた。あとGCまわりも含めあれこれ変わってるので、使うと事故るなら早めに確認しておこうかな、という感じ。確認したノードは以下の2種類で1台ずつ。 fluentd + out_exec_filter (+perlの外部プロセス) でログをparseするworker fluentd で大量のクライアント(fluent-agent-liteなど)から接続を受け付け、fluentdクラスタの各ノードへロードバランスするdeliver で、本日の12:40くらいに変更したと思いねえ。そのグラフがこれ。トラフィック、CPU使用率、メモリ使用量。 worker 起動するrubyのバージョンを変えてからぐんぐんメモリ使用量が伸びはじめ、見てるうちに物理メモリ量を突破しそうになった

xef 2013/09/27

Ruby
Fluentd

リンク

fluentd の output plugin のテストのかきかた

fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と公式ドキュメントを読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか

xef 2013/09/09

Fluentd

リンク

Kibana + ElasticSearch + fluentd を試してみた

こんにちは。@jedipunkz です。自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。参考にさせて頂いた URL# http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluen

xef 2013/09/08

リンク

Big Data入門に見せかけたFluentd入門

2013年7月5日、社内勉強会で使用した資料です（一部修正済み）。ライセンスはクリエイティブ・コモンズ・ゼロとします。ご自由にお使い下さい。ソースのPowerPointファイルはこちら => http://bit.ly/begining_fluentd_learning_big_data fluent-plugin-glusterfsはこちら => https://github.com/keithseahus/fluent-plugin-glusterfs

xef 2013/07/21

Fluentd

リンク

【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Y's note

[:W560] Log集計用DB設計考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。今日の主目的は下の2要件を叶えるためのDB設計を考える事です。特に問題になるのがRealTimeの話でTableにLogDataを書き込む処理と集計のSQLをどのように組み立てるか、それ以外にもSystemPerformanceとArchitectureにも関わってきます。リアルタイムで大量データを集計したい定期処理で大量データを集計したい使うもの Fluentd : Fluentd: Open Source Log

xef 2013/07/09

リンク

Norikraで遊んでみた - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

xef 2013/06/06

リンク

Fluentdがよくわからなかった話

The document discusses the Fluentd logging system. It includes an explanation of how Fluentd buffers and queues log data before outputting it. The em it method is used to add log data to a chunk, and if the chunk limit is reached a new chunk is created and added to the queue. Once data is in the queue it can be output by the configured plugin.

xef 2013/06/02

Fluentd

リンク

Search logs using Fluentd and Kibana - Go ahead!

Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored events, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requirements Java fo

xef 2013/04/17

リンク

fluent-plugin-fastladderができました - laiso

いつまで目grepするつもりですか？ https://github.com/laiso/fluent-plugin-fastladder ログを購読して全行読みたいビジネスパーソンに最適のソリューションが完成しました。これからは目tailして脳cachedから取り出すことができるでしょう。コード実用的なrubyコードってはじめて書いてみたのでエキスパートの人はレビューしてね。 # -*- coding: utf-8 -*- module Fluent class FastladderOutput < Fluent::Output Fluent::Plugin.register_output('fastladder', self) config_param :base_url, :string, :default => 'http://localhost:3000' config_pa

xef 2013/03/22

Fluentd

リンク

Fluentd w/ Ruby 2.0.0-p0 のメモリ使用量 (追記: w/ msgpack v0.5.4) - tagomorisのメモ置き場

いくつかFluentdのベンチマークをとらないとなー、そういえばRuby 2.0.0-p0も出ましたね、ということでベンチマーク取ろうと思ってあれこれ作業してたらなんか変なのを見付けたのでとりあえず記録。なおベンチマークの結果については、いろいろ取りかたを考え直す必要があるのでまたこんど。概要 Fluentd の動作環境が Ruby 2.0.0-p0 with jemalloc なケースで Ruby 1.9.3-p392 に較べて大幅に大幅にメモリを食う上、負荷を停止した時にも何かよくわからない挙動を示す。 jemalloc を使わないケースだと 1.9.3 とほとんど変わらないと思われる挙動で jemalloc の必要性が無くなったとかいうわけではない。詳細ベンチマークはあるサーバ(4core HT, 16GB RAM)に立てた Fluentd に対し、別のサーバ(同一サブネッ

xef 2013/03/15

Ruby
Fluentd

リンク

Fluentd in Co-Work

Fluentd is a data collector that can unify logging and metrics formats and enable real-time extraction, transf ormation, and storage of data. It will be used at 10xLab to collect logging data from their Co-Work app and infrastructure components and enable real-time analysis and long-term storage. Fluentd makes it easy to set up log collection pipelines and extend functionality through plugins. 10xL

xef 2013/03/08

Fluentd

リンク

はてなブックマーク

タグ

関連タグで絞り込む (13)

Fluentdに関するxefのブックマーク (35)

お知らせ

今週のはてなブックマーク数ランキング（2026年7月第3週）

今週のはてなブックマーク数ランキング（2026年7月第2週）

今週のはてなブックマーク数ランキング（2026年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス