Distributed SQL. Sub-second Queries on Live Operational Data Aggregations and ad-hoc queries. No pre-aggregation. Flexible schema. CrateDB is a real-time analytics database for live operational data. Built for teams who work with high-volume, high-cardinality data and cannot wait for ETL to catch up. Real-time industrial analytics Ingest millions of events per second from sensors and telemetry str
NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入と その取り組みについて-
2013年6月 2日(日) 23時55分53秒 [Web関連] さくらインターネット上のデータベースをMySQL4.0から5.5へ移行する際の試行錯誤の結果(^_^;) さくらインターネットのレンタルサーバでは、データベースとしてMySQLサーバが用意されています。 今、データベースを新規作成する際に利用できるバージョンは、MySQL 5.5なんですけども、MySQL 4.0が提供されていた頃から利用しているユーザは、4.0も使えます。 ただ、MySQL4.0利用者がMySQL5.5を利用するためには、4.0で作成したデータベースを削除する必要があります。 私は、サーバを2つ契約しているので、MySQL4.0と5.5の両方を使えていたんですが。(^_^;) 昔々にMySQL4.0を使って構築したツールを5.5へ移行させるのも面倒だったので、そのまま4.0を使い続けていたんですけども、さすが
based on v26 (2011/02/07 更新) - オリジナル 「MongoとCouchってどう違うの？」という質問が、私たちのもとにはたくさん寄せられます。実によい質問です: いずれもJSONスタイルのオブジェクトデータストアを扱うドキュメント指向のデータベースであることには相違ありません。両プロダクトは棲み分けがなされています ― 私たちは各々のデータベースが専門化し、もはや「一種類あれば事足りる」的な考えかたは通用しないことを、強く信じるものです。 私たちはCouchDBの専門家ではありませんから、なにか誤った記述がありましたら フォーラム へお知らせください。 MVCC 大きな違いの一つには、CouchDBが MVCC ベースであるのに対し、MongoDBはむしろ伝統的な「その場でアップデート」するタイプのデータストアであることが挙げられます。MVCCは次に挙げるような
「PASTEBIN」というコンソールの出力やエラーログ、ソースコードなどを張り付けて共有するWebサイトがあり、そこに投稿された内容が議論を巻き起こしました。「Don't use MongoDB」というタイトルが付けられた文章には、ヘビーにMongoDBを利用しているユーザからの辛辣（しんらつ）な批判が綴（つづ）られていました。 告発者はプロジェクトにて数千万件ものユーザ管理にMongoDBを利用しており、これまで長い間10gen社（MongoDBの開発元）から最高レベルの）有償サポートを受けていたため黙っていたが、少しでも多くの人に警鐘を鳴らすべく立ち上がったそうです。MongoDBの扱いやすさやスキーマフリーなモデル、豊富な実績などに一定の評価をしつつも、大規模な環境で実際に動かさずに判断するのは時に重大な問題となり、MongoDBにはそれが向いていないと言い切っています。 具体的に
Google App Engineをお使いの方はご存知の通り、 Datastoreのデータの出し入れには、都度プログラムを書く必要があり非常に面倒です。 そこで、以下のようなものを作りました。 http://gobo-tools.googlecode.com/ Google SpreadsheetにDatastoreのデータを出力し、 そこからまたDatastoreに取り込む、というツールです。 デモはこちら。 http://gobo-tools.appspot.com/ Dumpをクリックして（AuthSubの認証があります）「Test2」を選択して実行するのがお勧めです。 GData APIのタイムアウトによく遭遇するため500エラーになるかもしれませんが、その時はリロードしてください。 うまくいった場合は、開いたSpreadsheetにもりもり書き込まれるのが面白いです。 Sprea
はじめにというか雑談 こんにちは。gumiの畠です。 先日GREEでスターフロンティアというゲームを公開しました。 ここ２か月くらいの忙しかった日々が報われたかと思うと感慨ひとしおです。 まぁ今も修正やら調整やらで忙しいのは変わらないのですが。。。 キャッシュを自動化しよう さて、本題です。 ソーシャルアプリのようなトラフィックが高いサービスを作るときはDBアクセスを減らすことが重要になります。 Djangoにはそのための機能であるdjango.core.cacheが存在していますので、DBアクセスの結果は積極的にキャッシュしたいところです。 ですが、各モデルにいちいちキャッシュの機構を組み込むのは面倒ですし、万が一消し忘れたりすると大変です。 そこで、スターフロンティアではキャッシュする抽象モデルクラス（AbstructCachedModel）を作って、ある程度のキャッシュを自動化してい
Python æ¦è¦ CGI ç°å¢ ãã¼ã¿ã®æ ¼ç´ æ¦è¦ ã¨ã³ãã£ãã£ã¨ã¢ãã« ãã¼ã¿ã®ä½æãåå¾ãåé¤ ãã¼ã¨ã¨ã³ãã£ã㣠ã°ã«ã¼ã ã¯ã¨ãªã¨ã¤ã³ããã¯ã¹ ãã©ã³ã¶ã¯ã·ã§ã³ åã¨ãããã㣠ã¯ã©ã¹ GQL ãªãã¡ã¬ã³ã¹ ãªãã¡ã¬ã³ã¹ Model Expando PolyModel Property Query GqlQuery ãã¼ é¢æ° ä¾å¤ ãµã¼ãã¹ Memcache æ¦è¦ Memcache ã®
Datastoreのパフォーマンス Datastoreのパフォーマンスは、エンティティの数とは無関係 保存されているエンティティが1件でも、1000件でも、1000万件でも、パフォーマンスに変化はない Datastore performance doesn't depend on how many entities you have 個々のエンティティに対する更新処理のスピードは、1〜10回／秒程度 個々のエンティティの更新処理は遅い アプリケーションのパフォーマンスを決めるのは、更新処理の実装方法。参照処理は桁違いに速い low-level APIを使えば少し速くなるが、ドキュメントがあまりない http://groups.google.com/group/google-appengine-java/browse_thread/thread/e717f7ba37749ea4/0b37a3
構造と仕組みをちゃんと理解する。いきなりJDOとかダメって。 http://songofcloud.gluegent.com/2009/11/slim3-datastore1.html 間違い、追加等ありましたらおしえてください。 1.概要 http://www.atmarkit.co.jp/fjava/index/index_bigtable.html 分散KeyValueストア:「巨大なハッシュ=datastore」に「小さなハッシュ=Entity」をたくさん詰め込む get/putの速度:データが無限に増えても遅くならない 全体図 2.スキーマレス Entity = Hashみたいなもの : Valueには全プロパティがシリアライズされて保存される Key / Kind プロパティの型 : int / string / date / list / ... 3.インデックス / クエリ
Google App EngineのDBサービスはジョインができないなどの制約があるので，パフォーマンスを高めるには工夫が必要だ。キーワードは「キャッシュ」「非正規化」「分散」「事前計算」など。そのほか，処理性能の予測やフレームワークの利用などに注意したい。 米Googleの「Google App Engine」（以下，GAE）は，Webアプリケーションの開発・実行環境を提供するサービスです。前回はGAEの概要編として，サービスの全体像や開発の流れ，データベース・サービスの概要などを説明しました。Java言語とPython言語で開発でき，各種ライブラリやアプリケーション・フレームワークがそろっている一方で，「データベースのジョインができない」といった制約があることを解説しました。 今回はGAEの設計編として，GAE上で動作するアプリケーションを設計する際のコツを，主にデータベース設計を中心
NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach
MySQL Workbench is a unified visual tool for database architects, developers, and DBAs. MySQL Workbench provides data modeling, SQL development, and comprehensive administration tools for server configuration, user administration, backup, and much more. MySQL Workbench is available on Windows, Linux and Mac OS X. Design MySQL Workbench enables a DBA, developer, or data architect to visually design
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
