こんにちは。 以下論文を読んでみようの続きで、今回は第３章です。 「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf） 内容としては、「Discretized Streams (D-Streams)」ということで、 今回の肝である離散ストリームについて書かれた章となります。 3. Discretized Streams (D-Streams) 私たちのモデルは伝統的なストリーム処理が抱えている問題を メッセージの内部状態に関わらずオペレーションを完全に決定論的にすることで解消する。 伝統的なストリーム処理での常駐する状態を保持し、ストリーム間のメッセージ順に
こんにちは。 以下論文を読んでみようの続きで、今回は第２章です。 「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf） 内容としては、「 Goals and Background」ということで、 そもそもの背景とSpark Streamingが目指すもののゴールについて書かれた章・・・となります。 論文第１章を読んでみるとこれってバッチ処理とリアルタイム処理を融合して実現する 「ラムダアーキテクチャ」（http://www.databasetube.com/database/big-data-lambda-architecture/）を 実現するのに最適な基
Database Software Development Videos and Tutorials - MySQL, Oracle, SQL Server, NoSQL, MongoDB, PostgreSQL In order to meet the challenges of Big Data, you must rethink data systems from the ground up. You will discover that some of the most basic ways people manage data in traditional systems like the relational database management system (RDBMS) is too complex for Big Data systems. The simpler,
pro $24.99 per month access to all Manning books, MEAPs, liveVideos, liveProjects, and audiobooks! choose one free eBook per month to keep exclusive 50% discount on all purchases renews monthly, pause or cancel renewal anytime lite $19.99 per month access to all Manning books, including MEAPs! team 5, 10 or 20 seats+ for your team - learn more
こんにちは。 ここ何回かでApache Spark自体の機構は大体わかりました。 そのため、今度はApache Sparkを基にしたストリーム処理基盤であるApache Spark Streamingについても確認してみます。 読んだ論文は以下です。 「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf） こちらも内容が理解できればいいので、全文訳というわけではありません。 また、読むのも新規情報が主に出てくる実装方式までです。 評価については以前確認した資料とほとんど変わりませんでしたので。 では、入ります。 概要 多数のビッグデータアプリケーションがデータ
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
MySQLコミュニティマネージャのMorgan Tocker氏による、MySQL 5.6をインストールした後にデフォルト値から変更した方がよいパラメータの解説。 数々のデフォルト値の改善によって、過去のバージョンと比べてMySQL 5.6では設定しなくてはならない値がかなり減った。とは言え、変更すべきものについてここで書いておきたい。 InnoDBの設定 innodb_buffer_pool_size - デフォルトは128M。これは、メモリにロードされるデータとインデックスのためにInnoDBがどのくらいメモリを使うかを指定するものなので、設定すべき重要な値だ。MySQLの専用サーバなら、搭載されているメモリの50%から80%が推奨される設定値だ。例えば、64GBのRAMを搭載しているサーバなら、バッファプールは50GB程度にすべきだろう。 innodb_log_file_size -
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
MySQL Cluster Casual Talksで使った資料を公開しました。 #mysql_jp
昨夜、MySQL Cluster Casualにおいて、「カジュアルにMySQL Clusterを使おう」というタイトルで発表をした。その資料をスライドシェアにアップロードしたので、カジュアルにMySQL Clusterを使ってみたい人は参考にして頂きたい。 SlideShareではフォントが何やらおかしいので、資料をダウンロードして頂けると幸いである。 「 MySQL Cluster をカジュアルに使えるわけないじゃないですかｗｗｗ」 という声もあったようだが、自分がカジュアルだと思えばそれがカジュアルなのだ！！ 発表では、5分程度でMySQL Clusterのインスタンスをインストールするデモを見ていただいた。如何にカジュアルに使えるソフトウェアであるかということを、お分かり頂けたかと思う。カジュアルに使い始めてカジュアルにはまる・・・というオチはないと信じている。 転ばぬ先の杖という
Mesos is an open source project that helps developers manage server clusters more efficiently while providing resource isolation. It’s currently being used by the likes of Twitter and Airbnb, where much of the technology was developed. Google also runs a very similar system called “Borg” – which it developed independently long before Mesos came into existence – to keep its data centers humming. Me
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
