詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
「SQLを使ったクエリー処理を低遅延で実行できる『Impala』を、2013年に『Hadoop』のディストリビューションに追加する」――。Hadoopのディストリビューションを販売する米クラウデラのアメル・アワダラーCTO（最高技術責任者、写真）は2012年11月7日、東京都内で開催した「Cloudera World Tokyo」で講演し、同社の製品ロードマップなどについて解説した。 Cloudera World Tokyoは、クラウデラが日本で初めて開催する自社カンファレンスである。米本社の共同創業者でありCTOを務めるアワダラー氏が基調講演に立った。クラウデラは2013年に、Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop（CDH）」の次期バージョン「CDH 5」をリリースする予定。CDH 5には、SQL
Oozieのワークフローはパラメータ化(ワークフロー定義の${inputDir}のような変数を使って)できます。ワークフローのジョブを実行する場合は、パラメータの値を提供する必要があります。適切にパラメータ化(例えば出力ディレクトリを別にする)できれば複数の独立したワークフロージョブを同時に実行できます。 要求に従って実行できるワークフローもありますが、ほとんどのワークフローは一定間隔で定期的に実行されます。また、データの利用可能性や外部イベントに従って実行されることもあります。Oozie Coordinatorを使えばユーザはこれらのパラメータに従ってワークフローの実行を定義できます。また、述語の形式でワークフロー実行トリガをモデル化することができます。この述語はデータや時間、外部イベントを参照できます。この述語が満たされた場合にワークフロージョブが実行されます。 また、定期的かつ不規則
I'm in the process of rolling out a feature which will let developers see some basic usage statistics on their games in our game engine. The first phase was to make it so data could be collected, the next phase is to build the reporting UI. Of course, there's a phase in the middle which is to transform our data from raw statistics to actual reportable information. Since we are using mongodb we are
db.runCommand({ mapreduce: "DenormAggCollection", query: { filter1: { '$in': [ 'A', 'B' ] }, filter2: 'C', filter3: { '$gt': 123 } }, map: function() { emit( { d1: this.Dim1, d2: this.Dim2 }, { msum: this.measure1, recs: 1, mmin: this.measure1, mmax: this.measure2 < 100 ? this.measure2 : 0 } );}, reduce: function(key, vals) { var ret = { msum: 0, recs: 0, mmin: 0, mmax: 0 }; for(var i = 0; i < val
I keep hearing people complaining that MapReduce is not as easy as SQL. But there are others saying SQL is not easy to grok. I’ll keep myself away from this possible flame war and just point you out to this ☞ SQL to MongoDB translation PDF put together by Rick Osborne and also his ☞ post providing some more details. As regards the SQL and MapReduce comparison, here’s what Rick has to say: It seems
以前（http://d.hatena.ne.jp/stog/20100531/1275317576）作成したコレクションをmap/reduceを使って"type"別に集計してみる。 コレクションの中身はこんな感じ。 $ mongo mytest MongoDB shell version: 1.4.4 url: mytest connecting to: mytest type "help" for help > > db.members2.find() { "_id" : ObjectId("4c03c632b4742d2998000000"), "birthday" : 342057600, "type" : "human", "name" : "おがわ", "sex" : "M" } { "_id" : ObjectId("4c03c632b4742d2998000001"), "b
MongoDBにはローカルでMapReduceを動かす機能がついていますので、発表を聞きながらちょっと試していたのですがエラーが出たので対策をここに書いておきます。MapReduce - Docs-Japanese - 10gen ConfluenceMongoDB Aggregation III: Map-Reduce Basics | Kyle Bankerドキュメントに従ってJavaScriptでMap関数とReduce関数を定義し、mapReduceメソッドを呼び出すとエラーになります。バージョンは1.8.1で、MacにHomeBrewでインストールしたものです。 > version() version: 1.8.1 > m function () { this.tags.forEach(function (z) {emit(z, {count:1});}); } > r func
昨日の丸山先生のMapReduceのレクチャーのメモを記す。自己中心的なまとめかたであることをご容赦願いたい。 MapReduceは以下の動作とほぼ同じ cat $* | woWord | sort | uniq -c Mapは分割可能性（≒どう分割しても並列処理できる）があるがReduceは条件付で分割可能性がある。reduceの分割可能性はキー境界をまたがないこと。Reduceに渡す結果の束ね方重要。 map部分の処理は、複数のマシン上で分割可能である。 同様に、reduce部分の処理も、URL_AやURL_Kのようなデータの繰り返しの境界を破らなければ、容易に分割可能である。 問題は、mapの出力を分割してsortして、reduceに渡す方法である。 このとき、mapの出力を、同じキーは同じグループに属するように分割すればいい。 それで、（reduceが分散可能なように）キー境界を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
