アンデルセンの事例を報告、Amazon/Hadoop/Asakusaで基幹バッチ処理の所要時間を1/12、運用コストを1/10に - ITジャーナリスト星暁雄の"情報論"ノート
アンデルセンサービスの基幹システムにHadoop/Asakusaフレームワーク/Hadoopを適用したシステムが稼働を開始していることを、システム構築を担当したノーチラス・テクノロジーズが発表しました。 ノーチラス・テクノロジーズが株式会社アンデルセンサービスの原価計算の基幹バッチ処理をAsakusa Framework™/Hadoopにて1/12の時間に短縮 アマゾン ウェブ サ―ビス®のAmazon® VPCを利用し、インフラ構築・運用コストを大幅削減 発表文で記述している概要は、次のようになります。 対象は、ベーカリー事業を営むアンデルセングループのシステム 従来システムでは、原材料原価を積み上げ製品原価を算出するバッチ処理をRDB上で行っていた 新システムでは、RDB上にPL/SQLで開発されていたバッチ処理を、ノーチラスが開発するAsakusaフレームワークを利用してHadoop
SaaS Revealed: Inside super-soaraway Pinterest's virtual data centre How to manage a cloud with 410TB of cupcake pictures It's every startup's dream: to be growing faster than Facebook without having to build a Facebook-sized server farm. Pinterest is an online picture pinboard for organising your favourite snaps and sharing them. It was founded by Ben Silbermann, Paul Sciarra, and Evan Sharp in M
先日BeanstalkのPHP＆gitでのdeploy対応が発表されたので、まずは普通の使い方を試してみた。 準備 以下を使えるようににしておく git AWS Elastic Beanstalk Command Line Tool 次にレポジトリの初期化と、AWSのレポジトリセットアップを行う。 ~/work $ mkdir php5 ~/work $ cd php5 ~/work/php5 $ git init Initialized empty Git repository in /Users/motomats/work/php5/.git/ ~/work/php5 $ AWSDevTools-RepositorySetup.sh ~/work/php5 $ git aws.config AWS Access Key: ACCESSKEY AWS Secret Key: SECRET
V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア
Post by @instagram-engineering
What Powers Instagram: Hundreds of Instances, Dozens of Technologies One of the questions we always get asked at meet-ups and conversations with other engineers is, “what’s your stack?” We thought it would be fun to give a sense of all the systems that power Instagram, at a high-level; you can look forward to more in-depth descriptions of some of these systems in the future. This is how our system
Before you can access this site, we need to verify you’re human.
どうも taka です。 新サービスが公開され楽しくドタバタしてます。 一緒にドタバタしたい人はこちら。 → 仲間募集 【今回、紹介するモノ】 さて、今回は3/6に無事公開された写真共有サービス slidrop で使っているAWSのサービスやソフトウェアを紹介しようと思います。 今回は、コードはいっさいありません！ うんうん だよね！ えっ！こっちの方がいいだろ！ 普通だなぁー とか思って頂ければ。 【そもそもslidropって何？】 slidrop(スライドロップ)は、写真を最大12枚までのslideという1つの塊として投稿できる写真共有サービスです。 iPhoneアプリでは、友人が投稿したslideが縦のタイムラインとして表示されます。 そして、同時に投稿した写真は横方向にスライドする事でみることができます。 という事なのですが、百聞は一見にしかず！ こちらからダウンロードしてみて下さ
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
The document discusses using Varnish to cache images on EC2 instances to improve performance for a tofu image processing and delivery system. It describes challenges with using the default memory-only storage for Varnish and switching to a file-based persistent storage model. Using Varnish helped improve performance by caching images, reducing load on application servers and S3. Scaling out to mul
AWS Simple Icons
AWS Simple Icons for Architecture Diagrams A diagram is worth a thousand words. Architecture diagrams are a great way to communicate about your design, deployment and topology. Here you will find official collection of AWS icons, tools and resources that will help you build great AWS Architecture diagrams. AWS Simple Icons are an official icon set that includes icons for several AWS products and
CEDEC 2011で、Amazon Web Servicesエバンジェリストの玉川が利用した資料です。
一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというのをやっています。前職ではなかなかこういう基盤システムを一人でイチから作って運用までするという体験はできなかったので、でかい仕事をできるチャンスに恵まれて大変充実した毎日です。 入社当初はサービス開発の担当だったんですが、開発に必要な基盤システムを作り始めたらどんどんエンジニアリングのレイヤーが下がってきて、気づけばインフラチームに所属していました。 まあそんな話はさておき、この画像配信関連の成果をいくつかの勉強会で発表したので、その資料を紹介します。 サイバーエージェントxクックパッド合同勉強会（amepad） 弊社オフィスで開催された、サイバーエージ
春ということで、Amazon Web Services（AWS）をはじめてみませんか。 AWS盛り上がっていますね。2011年3月に東京リージョンができたことで、そろそろ触ってみようかなというPHPユーザの方も多いかと思います。 そんなあなたへ、AWSをはじめる際に役立つ情報をご紹介です。 1. AWSアカウントを新規作成して、EC2の利用申し込みを行う まずAWSのアカウントを作成して、EC2の利用申し込みを行います。 手順については、AWSエバンジェリストの @KenTamagawa さんが書かれた以下の資料が参考になります。このとおりに進めていけば、おおよそ問題無いと思います。 進める中で自分が詰まった点は以下。 郵便番号、電話番号にはハイフンを 郵便番号、電話番号はハイフンが必要なので入力するようにして下さい。 書式は日本国内のもの、郵便番号8ケタ（ハイフン入り）、電話番号は12〜
Virtualization, Operating System, Storage, Cloud Computingストレージパフォーマンスを計測するには単純なddコマンドからiozoneといった複雑なベンチマークツールまで数多のツールが存在します。そん中、もしあなたが「DBのI/Oパターンに似た負荷で、猫でも扱えるような性能テストツールはないものだろうか？」と思い悩んでいたなら、Oracle ORIONをお勧めします。 Oracle ORIONは無償で使えるI/O性能測定ツールで、主要なOSで使用することができます。そしてOracle Databaseが行うようなI/Oパターンを簡単に発生させることができるのが特徴です。要はDatabaseをインストールしなくてもDatabase的なI/O負荷で性能測定ができるというツールです。ダウンロードはこちらから。 http://www.oracl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scaling Instagram
