※本記事は当初HTMLに整形せずに掲載してしまい、ご覧になった方にはご不便をおかけしました。お詫び申し上げます。 consistent hashingの記事でmemcachedが名前だけ出てきたので少し調べてみた。 memcachedは単純なキーと値のペアによる分散キャッシュサーバ。高速で、非常に台数にスケールすることが利点という。ほとんど設定いらずでインストールしてそのまま起動できる。 動的に生成するウェブページのキャッシュ等に用いられる。キャッシュの他HTTPのセッション情報のような消えてしまっても致命的でない情報の保持に使われることもある。検索してみると国内でもmixiやはてな等で広く使われているようだ。各種言語のクライアントライブラリも多い。 目次 libevent クライアント1万台問題 memcached Ruby-MemCache libketama libevent mem
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
repcachedについて repcachedとは、memcachedにデータのレプリケーション機能を追加実装したものです。 memcachedは、以下のようなところによく使われると思います。 一時的なデータの保存場所として キャッシュを保存する場所として RDBMSのデータのキャッシュ 生成したページデータのキャッシュ いずれの場合も消えていいデータなので、万が一memcachedがダウンしても問題はないはずです。 しかし、影響が全くないわけではありません。 例えば、MySQLのデータをmemcachedでキャッシュしている場合、memcachedがダウンしている間は直接MySQLにアクセスがいくことになりDBサーバの負荷が上がります。また、memcachedを再起動してキャッシュが失われた場合は、再びキャッシュが溜まるまではDBサーバに負荷がかかることになってしまいます。 このように
Photo by masuidrive76 Railsで高速化するためには、Memcachedによるキャッシュが欠かせないですが、もしmemcachedが落ちてしまうと、サービス全体でエラーが発生してしまうのが、気になるところでした。 Takiuchiさんと話をしていて、fiveruns-memcache-clientを使うことで、memcachedを再起動さえすれば自動で再接続されることはわかったのですが、やはりmemcachedが落ちている時はエラーになってしまうのが問題でした。 どうせ、キャッシュはキャッシュなのだから、memcachedが落ちている間はキャッシュを使わない様にするパッチをmemcache-clientに組み込もうと思って作業をしていたら、実はcache_fuにその機能があるのを発見しました。 config/memcached.ymlで、「raise_errors:
本稿の前提環境 memcached 1.2.5 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Core2Quad 9660 2.4GHz RAM：PC2-6400 8GBytes memcachedは、Danga Interactiveによって開発されたオープンソースのメモリキャッシュサーバです。 メモリ上にデータを保存するのでmemcachedを終了するとデータが失われますが、（OracleやMySQLといった）RDBMSと比較するとけた違いの高速レスポンス性能を有し、数千万件という大量のデータを扱ってもほとんど性能が劣化しないという特徴があります。 機能は限界まで切り詰められ、基本的にはキーとデータの組（以下、itemと呼びます）の保存と検索と削除しかできません。 にもかかわらず、me
Jump to navigation NP_cles() < 2025-12 > 12345678910111213141516171819202122232425262728293031 « allow_url_fopenの問題 :: ご無沙汰しております » Nucleusと負荷管理 投稿者：hsur 投稿日時：2007-07-29 - 21:39 カテゴリー：Nucleus Tips - memcached / cacti - トラックバック（0）- Views: 332 cactiが復活したのでサーバのCPU Usage ２年間分*1を貼ってみます。CPUはPentium4 3GHzで、大半の負荷はNucleusの関連プロセス(apache, mysql, memcached)によるものです。１日あたりのPVはロボットによるアクセスも含めて現在約４万強(1700PV/h)くらい*2
memcachedは便利なキャッシュ機能を持っているが、サービスが落ちるとデータが全て消失する点で使い勝手が悪い場合があった（良い場合もある）。基本的には消失しても良いデータだけしか入れられないという認識の元で利用するのだが、実際にサービスがダウンすると、負荷が急上昇しサービスのレベルが大幅に落ちてしまう。 起動した画面。レプリケーションの接続を待っている さらにmemcachedを多用すると、パフォーマンスが鈍ってくることもあるだろう。そこで、memcachedをさらに活用していくためにこれを使おう。 今回紹介するオープンソース・ソフトウェアはrepcached、レプリケーションに対応したmemcachedだ。 repcachedはKLab株式会社で開発されたソフトウェアで、memcachedをベースにレプリケーション機能を追加したものだ。これにより負荷を分散させる効果、冗長性を持たせる
自宅サーバで昔作ったゲームを動かしてみようかと、準備を整えるためにmemcachedをインストール。 DBに保存するほど重要では無いようなデータ(セッション)とか、頻繁にアクセスするデータとかをメモリに格納してディスクアクセスを減らして負荷対策するって感じのソフト。 効果はBlogPetで実証済み、DBの構成とかにもよるけど、うまく使えば最強の負荷対策になるよ。 で、後で再現する為の導入自分メモ。 以下導入ログ。(もし参考にする場合、勿論PATHとかは自分の環境に直して下さい) とりあえずlibeventが必要との事なので先にインストール (./configure make install だけなので省略) memcachedのインストール #wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz #ta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
