【大阪】Yahoo! JAPAN データ&サイエンスワークショップ+懇親会 (2016/01/30 13:00〜) ## イベントについて 東京で大好評いただいたデータ&サイエンスワークショップを大阪でも開催いたします！ ### 概要 Yahoo! JAPANにおけるマルチビッグデータへの取り組みをご紹介するデータサイエンスワークショップを開催いたします。 データ基盤を支えるインフラ、ディ ープラーニングなどの専門的アルゴリズムの話題、そして実サービスへの適用まで、リアルなデータサイエンスの今に触れるまたとない機会です。 講演後の懇親会には軽食＋お酒をご用意しておりますので、より専門的な議論を行ったり、交流を深める場に connpass
20年越しの大規模リニューアルが進行中。「わくわく時間100%」を目指すDMM通販モダナイズプロジェクトの全貌
以下の内容をより実用的・網羅的にまとめ、Kindle電子書籍としてリリースした。 Druidによる時系列データ解析入門 作者: 佐伯嘉康発売日: 2015/07/25メディア: Kindle版この商品を含むブログを見る 概要、参考資料 Druidは、リアルタイムに（ストリーミングな）時系列データを収集するコンポーネントと、収集したデータセットに対し集計クエリを受け付け処理結果を返すコンポーネントからなるデータベースシステムである。 Google技術でいうところのDremel (VLDB2010) とPowerDrill (VLDB2012) との中間に位置するらしく、つまりCloudera Impalaとも似ている。Druidが基準にしている性能指標は、6TBのデータを1桁秒で処理することであると挙げられているが、それを実現するためのシステム要件はそれほど高くない（メモリは特にあればあるだ
pro $24.99 per month access to all Manning books, MEAPs, liveVideos, liveProjects, and audiobooks! choose one free eBook per month to keep exclusive 50% discount on all purchases renews monthly, pause or cancel renewal anytime lite $19.99 per month access to all Manning books, including MEAPs! team 5, 10 or 20 seats+ for your team - learn more
"So, how much experience do you have with Big Data and Hadoop?" they asked me. I told them that I use Hadoop all the time, but rarely for jobs larger than a few TB. I'm basically a big data neophite - I know the concepts, I've written code, but never at scale. The next question they asked me. "Could you use Hadoop to do a simple group by and sum?" Of course I could, and I just told them I needed t
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309
This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBase and Storm. It also covers Kafka's scalability, perfor
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
外道父 | Noko @GedowFather Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測 2012-11-16 11:25:12 外道父 | Noko @GedowFather Impala検証利用データ：17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s 2012-11-16 11:28:33
概要 ここしばらく某社でデータの解析基盤を構築する仕事に携わっています。一からの構築になるので打てる手が多く楽しい一方で、適切な判断を下すのは難しいと実感しています。 解析基盤というのはもちろん解析を行うためのものですので、どう解析を行うかによってどういう基盤を構築していけばよいかが決まります。 ところで、データ（構造や収めているDBなども含めて）というのは寿命の長いもので、初期の設計を間違えてしまうと、その時点で戦略的な敗北は決まってしまいます。その後は運用しながら変更可能なところでゲリラ的に対応していくしか手を打てません。 そのため、実際に構築を行う前に、求められている解析がどのようなものかを十分に吟味した上で、適切なハードウェア、ミドルウェア、データ構造を選択し基盤を構築していくことが大変重要です。 着目すべき点 では解析のどのような点に着目すればよいかというと、私は次の5点を考えて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
