こんにちは、いつも心に冪等性 sinmetalです。「Merpay & Mercoin Tech Openness Month 2026」の3日目の記事です。 本記事では、MySQLで動いていた「お客さまが所持するクーポン一覧取得」クエリをSpannerへ移行した際に直面したパフォーマンス問題と、その解決までの過程を紹介します。 DBごとのアーキテクチャの差 MySQLとSpannerはどちらもSQLを利用できますが、アーキテクチャが大きく異なるので、テーブルやクエリの設計は異なります。移行する時は差異があるSQLを修正するだけでなく、各DBのアーキテクチャまで意識して、実装を見直す必要があります。 MySQLのアーキテクチャ MySQLはPrimary InstanceがWriteを担当するのでWriteをスケールさせたいなら、Primary Instanceのマシンを強化します。 Re
はじめに 検索インテントとは AI.GENERATE 関数の概要と一般的な利用シーン AI.GENERATE 関数の利用に際した前提事項 検索クエリのインテント分類の検証 まとめ はじめに 久石譲のスタジオジブリフィルムコンサートが当選して嬉しい、ジブリ好き（特に、紅の豚）の松村です。 本ブログでは、Google Cloud Next 2025 で発表されたばかりの BigQuery の新しい関数「AI.GENERATE」（プレビュー版）を試した内容をまとめます。具体的には、WEB サイトの SEO（検索エンジン最適化）をサポートする無料ツール「Google Search Console」(※1) の BigQuery にエクスポートされたデータに対して、AI.GENERATE 関数を使用して、検索インテントごとに分類・分析する方法をご紹介します。 （※1）参考：About Search
はじめに こんにちは。かろっく@calloc134 です。 巷では NewSQL が流行りを見せていますが、皆さんこう思ったことはありませんか？ 我々は、RDBMS ですら、十分に理解していないのではないか？ 今回は、PostgreSQL の内部実装に焦点を当てて、RDBMS 実装の解像度を上げていきたいと思います。 PostgreSQL の内部実装については、 インデックスの実装、追記型アーキテクチャ、MVCC、トランザクション分離モデルなどが 断片的に語られることはありますが、横断的な解説はあまり見かけないように思います。 この記事では、PostgreSQL における MVCC を用いた読み取り整合性の実装 トランザクション分離モデル インデックスの実装について、横断的に解説していきます。 今回割愛したもの ブログ執筆にあたり、以下の内容は割愛しました。 トランザクションのステータス管
2025/11/15に開催されたJJUG CCC 2025 Fall( https://jjug.doorkeeper.jp/events/190868 )の登壇資料です。
Use the Data Analyst agent for fast database queries, data analysis, and visualizations The Data Analyst Agent, also known as DANA (Data ANAlyst), is a specialized version of Devin optimized for querying databases, analyzing data, and creating visualizations. It’s designed to be fast, concise, and tuned specifically for data analytics workflows. When to use the Data Analyst Agent The Data Analyst
この設計は、注文エンティティと発送エンティティの一部が混在してしまっている状態です。発送エンティティが混在しているのであとから発送に関する情報をもっと入れたいとなったときに、ここに追加し続けてしまうことになるでしょう。この場合も発送は別のテーブルとして切り出すのが適切です。 よくある失敗パターンとしては安直に日時(xxx_at / xxx_on)やフラグ(xxx_flag)やステータス(xxx_status)のカラムを追加することです。これらを追加したくなったときには他のエンティティではないかと疑いましょう。 変更のコストが大きい アプリケーションのリファクタリングと比べて、データベースのリファクタリングはコスト（時間・工数・リスク）が大きいです。影響範囲がどの程度あるか、既存データがどの程度あるか、ダウンタイムがどの程度許容されるか、などを考慮する必要があります。データベースのリファクタ
追記 npxコマンド一発で蔵書リストが取れるツール作ったので、結果だけが欲しい人はそっち使う方がいいです。 npx kindle-title-exporter > books.csv dominion525.hatenablog.jp 背景 Kindleの蔵書、主に漫画なんですが、現在ざっくり3500冊、600シリーズくらいあるんですよ。 なお、継続購入してるシリーズが100件くらい。 こうなるとあんまり上手く把握できなくなっちゃうからなんとかしたいなーと思ってたわけです。 しかもAmazonは公式なエクスポート機能を提供してくれないし…。 で、以前調べた時は下記くらいが挙がってたものの、ちょっとなんだかなあと思ってたんですよ。 蔵書ページをスクレイピングする方法 Kindleの蔵書を取得する - TypeScript入門 Kindle Cloud reader のWebDBを取得する方法
この記事は MySQL Casual Advent Calendar 2017 の23日目の記事です。 みなさんORマッパーは使っていますか？ 僕は仕事とか趣味でActiveRecordというORマッパーを使っているんですけど、こいつ例えば Team.preload(players: :high_score).to_a みたいなことをするとすぐ SELECT `scores`.* FROM `scores` FROM `scores`.`id` IN (a, b, c, ...数千個続く...) みたいなクエリを生成しよるんですけど、MySQL 5.7に上げたときに range_optimizer_max_mem_size の制限で実行計画がテーブルスキャンに落ちてえらい目にあったことがありました。MySQL側で range_optimizer_max_mem_size = 0 することで
Something went wrong! Hang in there while we get back on track A month ago, during a release to production, the feature I was working on failed to deploy due to a PostgreSQL restriction. It turned out to be a surprisingly fun and comprehensive learning moment. Backstory I have been working on a pretty huge release where we needed to: Add new functionality to our core feature. Remove all duplicated
巨大なSQLの出力が意図と違っていたり違っているかもしれないとき、どこから確認しようか頭を抱えてしまうことってありますよね。せめて多段階で作られているたくさんのCTE （WITH句）、これらが一つずつどんな表を出力しているのか簡単にのぞけたら手がかりもあるのだけれど⋯ 今回はそれをわりと現実的な手間でできるようにする小技です。エムスリーエンジニアリングループUnit1（製薬プロモーション）／Unit9（治験臨床研究支援）エンジニアの三浦[記事一覧 ]です。 魔法の一行 デバッグを実現する一行 We are hiring 魔法の一行 SQLの最後に -- */ という無意味なコメント行を付けておいてください。ひと目見て分かる通り、まったく無意味です。ところがこれがあるだけで、デバッグのときにこんなことができるようになります―― デバッグを実現する一行 次のようなCTEの大行列があるとします
All of Percona’s open source software products, in one place, to download as much or as little as you need.
Today, we’re releasing Instant SQL, a new way to write SQL that updates your result set as you type to expedite query building and debugging – all with zero-latency, no run button required. Instant SQL is now available in MotherDuck and the DuckDB Local UI. We built Instant SQL for a simple reason: writing SQL is still too tedious and slow. Not because of the language itself, but because the way w
DuckDB を利用してベクトル検索と日本語全文検索の両方を同時に利用できます。さらにこれらの結果をマージして Reranking を行うことでハイブリッド検索をサクサクっと実現する事ができます。 Rerankerどうやらベクトル検索した結果と日本語全文検索した結果をマージして、クエリーとマージ結果を再度ランキング付けする仕組みのようです。 ここでは参考にした記事を共有する程度にしておきます。 日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Lifeリランキング モデルによる RAG の日本語検索精度の向上 - NVIDIA 技術ブログ今回は Reranker に hotchpotch/japanese-reranker-cross-encoder-large-v1 を利用しました。 以下は参考コードです。 [projec
2025年4月13日追記： Xで共有されてご覧になっている方が増えているようなので追加で補足しておきます。この問題はRLSの設定ミスによって発生していたものであり、Supabase自体には問題ありません 。現時点での僕の考えでは フロントエンドだけで実装するのは「意外と使えるシーンが限られる」 です。ユーザー自身の管理画面などで使う程度に留めておくと良いでしょう。特に不特定多数のユーザーが閲覧するようなユーザー交流型サービスには全く向きません。これは実際にSupabaseを使って開発してみると理解できると思います。全てのユーザーが閲覧できるようにするにはRLSで無条件なtrue設定にする必要があり、publicスキーマにコピーしたユーザー情報も必然的に無条件なtrueにする必要があるため、適切なDB構造をしてなければメールアドレスも漏れてしまうのです。無条件なtrue設定にする = HTT
はじめに TypesScriptでDBを扱う際のライブラリ選定の基準には、次のようなものが挙げられます。 クエリ 書きやすさ 型安全性 エコシステム DSLの有無 Migrationのしやすさ これらの観点から、クエリの書きやすさと型安全性に優れたKyselyと、エコシステムが充実しているDrizzleを組み合わせることで、快適な開発体験を得ることができました。 弊社ではPrisma, TypeORMなどのORMも使っていた経緯がありますが、TypeORMは型安全性が低く、また、PrismaはSQLの書き方に慣れているエンジニアにとっては書きづらく、DSLのキャッチアップなども必要になるという問題がありました。 本記事では、公式ドキュメントのサンプルコードを元に、KyselyとDrizzleの特徴を比較し、それぞれの特徴を活かした開発方法を紹介します。 それぞれの特徴 Kysely Kys
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
