[B! hadoop] manholeのブックマーク

manhole id:manhole

hadoopに関するmanholeのブックマーク (10)

Inside of Asakusa DSL
Project Tungsten Bringing Spark Closer to Bare Meta （Hadoop / Spark Conferenc...
manhole 2013/06/12
Asakusa

hadoop
リンク
Hoop(httpfs)とwebhdfsの違い - たごもりすメモ
Hadoop 1.0.0がリリースされた。まあ中身のほとんどはただの 0.20.x 安定板リリースなので特別に言うことはないんだけど。詳しくは以下のblogを読むのがよろしい。 hadoopのバージョン表記について - 科学と非科学の迷宮ただしひとつだけびっくりしたのは、webhdfsなる機能が入ってきたこと。(このblogでよく話題にしている)Hoopと並んでそんなようなものがあること自体は知ってたけどあんまり興味なかったのだが、Apache Hadoopのパッケージに(Hoopより先に)入ったとなるとちょっと注目せざるをえない。が、httpfs(Hoop)とwebhdfsじゃ名前も似てて超まぎらわしい。いったい何がなんなの。なお自分はWebHDFSはAPIリファレンスを読んだだけで、実際にはカケラも触っていない。その状況での理解による内容なので、注意して読んでください。先に結論
manhole 2012/04/24
hadoop
リンク
Hadoop＆Asakusaを基幹業務で使い倒す--ノーチラス神林飛志氏
印刷するメールで送るテキスト HTML 電子書籍 PDF ダウンロードテキスト電子書籍 PDF クリップした記事をMyページから読むことができます日立ソリューションズは12月2日、東京・品川にて「Hadoopが導く分散処理における次世代のバッチ処理開発とは〜Asakusa FrameworkによるHadoopエンタープライズ適用セミナー〜」を開催した。本稿ではその中から、ノーチラス・テクノロジーズ代表取締役副社長神林飛志氏による講演「Hadoopによるバッチ処理の導入」を紹介する。
manhole 2011/12/09
「Hadoopの最大のメリットについて、神林氏は分散IOによるバッチ処理が高速化できることだと指摘する」「ディスクIOのボトルネックを解消する——これがHadoopであり、これ以上でも以下でもない」

hadoop

Asakusa
リンク
ビッグデータはないけどバッチ処理はある　そんな企業こそHadoopを
印刷するメールで送るテキスト HTML 電子書籍 PDF ダウンロードテキスト電子書籍 PDF クリップした記事をMyページから読むことができます日立ソリューションズは12月2日、東京・品川で「Hadoopが導く分散処理における次世代のバッチ処理開発とは〜Asakusa FrameworkによるHadoopエンタープライズ適用セミナー〜」を開催した。本稿ではそのうち、日立ソリューションズ技術統括本部技術開発本部オープンソース技術開発センタ担当部長吉田行男氏による講演「日立ソリューションズのHadoopへの取り組み〜Asakusa FrameworkとJP1/AJS連携について〜」の概要を紹介する。（関連記事：Hadoop＆Asakusaを基幹業務で使い倒す--ノーチラス神林飛志氏） Hadoopによる「業務バッチ処理」の高速化日立ソリューションズは前身の旧日立ソフ
manhole 2011/12/09
hadoop

Asakusa
リンク
ちょっとHadoopについて語ってみるか（仮題）
This document discusses Hadoop and MapReduce. It describes how Hadoop uses MapReduce and how it was inspired by Google's implementation. It provides details on the key components of Hadoop including HDFS, JobTracker, TaskTracker, NameNode and DataNode. It also provides examples of using Hadoop with different programming languages like Java, Python and C/C++ and discusses tuning Hadoop performance.
manhole 2011/11/17
hadoop
リンク
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップのエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
manhole 2011/11/17
hadoop
リンク
961万人の食卓を支えるデータ解析
This document discusses Hadoop and its ecosystem. It covers Hadoop distributions like Cloudera and Amazon's Elastic MapReduce service. It also discusses running SQL-like queries using MapReduce and moving data between MySQL and Hadoop. Key algorithms like map and reduce functions are explained through examples. Different Hadoop deployment options on EC2 like standalone, Cloudera, and EMR are also
manhole 2011/11/17
「group byをMapReduceで実現する」「joinをMapReduceで実現する」スケールさせるにはReducerの扱いがポイント

hadoop

EMR
リンク
Asakusa Enterprise Batch Processing Framework for Hadoop
Asakusa Enterprise Batch Processing Framework for Hadoop Hadoop Japan Conference 2011-2-22
manhole 2011/09/28
hadoop

Asakusa
リンク
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja) This is the Japanese translation of the presentation at Tokyo HBase Meetup (July 1, 2011) Author: Jonathan Gray Software Engineer / HBase Commiter at Facebook
manhole 2011/08/10
「HadoopとHBaseによるFacebookのリアルタイム・ビッグ・データ」

hadoop

scalability

cloud
リンク
Hadoopの解析資料
オープンソース分散システム「Hadoop」に関する解析資料を公開させて頂いております。この調査はNTTレゾナント株式会社様と共同で行いました(プレスリリース)。 Hadoop解析資料(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopの実際のインストール方法などにつきましては、弊社太田による以下の記事もご参考下さい。 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする
manhole 2008/08/30
hadoop

mapreduce

cloud
リンク
1