This work is supported by Anaconda Inc and the Data Driven Discovery Initiative from the Moore Foundation This post is about experimental software. This is not ready for public use. All code examples and API in this post are subject to change without warning. Summary This post describes a prototype project to handle continuous data sources of tabular data using Pandas and Streamz. Introduction Som
株式会社WACUL、CTOの包です。 会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。 ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。 これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。 ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。 この記事を読んでわかること Google Cloud Dataflow のだいたいの概要と目指している世界感 だいたいのコードの雰囲気 概要を知った上で次に読むべき参考資料 この記事を読んでもわからないこと Dataflow 上でコードを書いていくときの具体的な知見 運用上のの知見 まずは参考資料 これまでに読んだ Google Cloud
You will be able to read, track and discover many active issues very flexibly by using Jasper in GitHub. It is enabled by a powerful function called "Stream" of Jasper. example repo:nodejs/node is:issue label:bug You can use the GitHub Search query to create various criteria, such as issues I created, pull requests of nodejs/node, bug labeled issues, etc. to view issues and receive update notifica
Noze.io is an attempt to carry over the Node.js ideas into pure Swift. It uses libdispatch for event-driven, non-blocking I/O. Noze.io is built around type-safe back-pressure aware pull-streams (using Swift generics) operating on batches of items. Instead of working with just bytes, deal with batches of Unicode lines or database records or HTML responses or - you get the idea. Be efficient: Stream
その対処で全部に対応するのは無理なんじゃないの？ Watermark、Trigger、Accumulationの機構が導入されればストリーム処理は全て対応可能かというと、 そんなことはありません。 何故なら、下記のような問題が発生してくるからです。 Watermarkを実時刻からどれくらい遅らせて設定すればいいのか？ 遅れを大きくすれば正確性は増しますが、遅延時間は大きくなります。 Accumulationのためにウィンドウの集計結果をどれだけ保持すればいいのか？ 保持する時間が長いほど、ストリーム処理を行うシステムのリソースが必要となります。 データ処理システム（バッチ、ストリーム含む）には下記の３要素のトレードオフがあるとされています。 完全性(Completeness) 低遅延(Low Latency) 低コスト(Low Cost) この３要素を全てに満たすことは出来ず、全てのデータ
akka-stream 特有の単語や概念を分かりやすく説明します。
こんにちは。グループ情報部の池田（@mashiike）です。 今年も06/25・06/26にAWS Summitが開催されました。 現地に行ったのは06/25だけでした。06/26はライブ配信を視聴するのにとどめました。 AWS Summit 2026 は、何となくエンジニアリング観点では、以下のような共通課題をクリアした年なんだなと感じました。 LLM/Agentの管理自体はエンジニアがやるので良いのだけど、 効率化したいその業務に関するスペシャリストは他にいて、 スペシャリスト自身でプロンプトの管理を出来るようにしたい。 そのような管理をすることで、更新サイクルを早くしてAIのタスク精度を向上させて、AIの活用促進を進めたい。 というところに課題を感じている人が多いようでした。 それに対して、 そんな課題に対して、我々は次のように解決を試みました。 <<ここに具体的なアプローチ>> こ
The brightest minds in data and AI come together at the O'Reilly Strata Data & AI Conference to develop new skills, share best practices, and discover new tools and technologies. Join us. Nathan Marz wrote a popular blog post describing an idea he called the Lambda Architecture (“How to beat the CAP theorem“). The Lambda Architecture is an approach to building stream processing applications on top
Editor's note: This is the second post in a two-part series about the evolution of data processing, with a focus on streaming systems, unbounded data sets, and the future of big data. See part one. Also, check out "Streaming Systems," by Tyler Akidau, Slava Chernyak, and Reuven Lax. Check out the resource centers on O'Reilly online learning for more ways to expand your skillset. IntroductionWelcom
Editor's note: This is the first post in a two-part series about the evolution of data processing, with a focus on streaming systems, unbounded data sets, and the future of big data. See part two. Also, check out "Streaming Systems," by Tyler Akidau, Slava Chernyak, and Reuven Lax. Check out the resource centers on O'Reilly online learning for more ways to expand your skillset. Streaming data proc
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
最近 Fluentd の通信プロトコルまわりをアップデートするためにあれこれいじっている*1んだけど、これはおおむね fluent-plugin-secure-forward がサポートしていた内容を Fluentd 組込みの forward plugin でもサポートしますよ、というものになる。 んで問題なのが secure-forward は SSL/TLS での接続のみしかサポートしてなかったんだけど forward では生の TCP で通信する*2ので、本当に secure-forward と forward それぞれの実装間で互換性が保たれているのか、直接的には確認する手段がない、ということになってしまう。 TCP server の SSL/TLS 化 一方世の中には SSL/TLS ターミネータという機能があって、たとえばロードバランサなんかがこの機能を持っている。何をやるかと
djherbis/fscache Objective Our Web server needs to perform an “expensive” process to create downloads. We want to cache these files so they don’t have to be generated on every request. If two or more concurrent clients ask for the same file, don’t generate it twice. A naive cache design might look like this: Well the above code is pretty bad. We’re blocking all requests while the cache is being wr
xstream を開発する動機 xstream の開発者である Staltz さんは RxJS のコントリビューターでもあり、RxJS を使ったフレームワークである Cycle.js の作者です。Staltz さんは WHY WE BUILT XSTREAM の記事のなかで xstream を開発する動機を述べています。 ストリームとは何か、リアクティブプログラミングとは何かについては「あなたが求めていたリアクティブプログラミング入門」の記事が参考になります。「Everything is stream」(すべてがストリーム) がマントラです。 xstream の位置づけは RxJS を補うものであり、一般的なリアクティブプログラミングの用途では RxJS のほうがすぐれているとのことです。 xstream のオペレーターの数は RxJS と比べて少なく、初心者にわかりやすい直感的な名前にし
Stateful Extracting useful information from unstructured data often requires machine learning. SensorBee works well with online machine learning algorithms by storing machine learning models as user-defined states. It supports various machine learning toolkits, including Chainer and some components of Jubatus. In addition, SensorBee’s query language enables stateful temporal data handling. Express
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
