こんにちは、株式会社フェズのデータテクノロジー開発部でエンジニアをしています石原です。 普段は Urumo BI という、生成AIを活用した購買データ分析ソリューションの開発に携わっています。 はじめに （今、週1でAIエージェントの記事を書いていますが、今回は少し横道に逸れて、SQLの多対多フィルタについて整理します。） データを扱う組織にいながら、ずっとモヤモヤしていたことがあります。 「中間テーブルって絞り込みに使えるよ」 ※ 本記事では、結合テーブル（ジャンクションテーブル）のことを一般的に広く使われている「中間テーブル」と呼びます。 それが何を意味するのか、なんとなくわかるようで、腹落ちしていませんでした。テーブルを JOIN するのはわかる。でも「絞り込みに使う」ってどういうことなのか。 この記事は、そのモヤモヤを解消するために実際に検証した内容をまとめたものです。 検証 Po

はじめに 「論理削除？deleted_atカラム追加すればいいでしょ」この一言から始まる地獄を、何度見てきただろうか。 最初は簡単に見える。カラムを1つ追加するだけ。しかし、その「簡単さ」こそが罠だ。 論理削除は技術的負債の温床だ。WHERE句への条件追加忘れ、認知コストの増大、テストの複雑化、パフォーマンス劣化。すべては「最初にドメインを考えなかった」ツケである。 しかし現実として、サービスを運用していくと論理削除が必要になる場面は確実に訪れる。 論理削除の本質は、「このレコードは存在するが、存在しないことにしてほしい」という矛盾だ。この矛盾を解消するか、受け入れて安全に管理するか。本記事ではその両方のアプローチを解説する。 なお、私はDBのスペシャリストではないので、ここで紹介する方法が唯一の正解というわけではない。あくまで一つのアプローチとして参考にしてほしい。データベース設計は文脈

ComponentsIndependent, modular, TypeScript building blocks for your backend.

こちらの記事はReact Tokyo ミートアップ #8にて発表させていただいた内容をより深堀りした記事となっています。 登壇資料はこちらです。 TanStack DB ~状態管理の新しい考え方~ TanStack DBとは TanStack DBは、フロントエンドに 永続化層（DB） を設け、コンポーネントから直接クエリできる仕組みを提供します。 従来は、バックエンドのDBを正とし、フロントエンドはそれを定期的に問い合わせる形が一般的でした。 TanStack DBはこれを逆転させ、フロントエンドがデータの主導権を持つ 形にします。 つまり「DBをフロントエンドに持ってきた」感覚で使えるのが魅力です。 TanStack DBは何が嬉しいのか 楽観的更新の自動化 同じTanStackシリーズのTanStack QueryはデフォルトではUIの楽観的更新をしません。 つまり、失敗することを前

時雨堂では WebRTC の負荷試験を行うツールを C++ で開発して OSS (Apache-2.0) として提供している。負荷試験といえば可視化が重要だが、WebRTC の可視化は一筋縄ではいかない。基本的には 60 秒間隔で統計情報をサーバに送ってサーバ側で統計情報を集約してあとは、Grafana で頑張るといった仕組みが基本になる。 ただ、1 秒毎に統計情報取ってブラウザで見たい。さすがにそれをサーバーに送るわけには行かない。ということで DuckDB UI のマネをして、CLI ツールに DuckDB を組み込み、さらに HTTP リバプロを仕込み、静的サイトへ転送する仕組みを試してみた。 DuckDB UI モデルDuckDB UI というのがある。これは CLI ツールである DuckDB を起動する際に --ui を付けるとなんと、素敵な UI がブラウザから見られるという

const fs = require('fs') const path = require('path') /** * TwitterアーカイブのJSファイルをJSONに変換する関数 * @param {string} inputFile - 入力ファイル（.jsファイル）のパス * @param {string} outputFile - 出力JSONファイルのパス */ function convertTwitterArchiveToJson(inputFile, outputFile) { try { // ファイルを読み込む let fileContent = fs.readFileSync(inputFile, 'utf8') // window.YTD.tweet.part0 = [...] の形式から実際のJSONデータを抽出 // 正規表現を使用して [...] の部分を取

はじめに こんにちは！ エンジニア３年目のTKDSです！ 今回はメタデータ管理をPostgresqlやMySQLなどのSQLデータベースが担う新しいOSSのLakehouseフォーマット、Ducklakeについて試してみました！ 今回はPostgresql+s3(minio)+DuckDBで構築してます。 はじめに Ducklakeの概要 準備 1. composeでPostgresqlとminioを起動 2. minioでバケットを作成する 3. DuckDB側の準備と起動 試す まとめ Ducklakeの概要 Ducklakeは公式HPの一文によるとSQLデータベースをカタログ置き場に、データをparquetファイルに保存する形式のLakehouseフォーマットだそうです。 DuckLake delivers advanced data lake features without tr

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

こんにちは。ソフトウェアエンジニアの id:masutaka26 です。 ROUTE06 では全社ワークスペースに GitHub を利用しています。 note.route06.co.jp ストック情報としての社内ドキュメントは GitHub Pages で社内限定で公開されており、静的サイトジェネレーターとして Docusaurus を利用しています。 検索精度への課題 DuckDB Wasm で検索フォームを実装した DuckDB とは 検索フォームの実装概要 PoC で検討したこと まとめ 参考 検索精度への課題 今までは Docusaurus の Community plugins でも紹介されている @easyops-cn/docusaurus-search-local を使用していました。 フロントエンドだけで動作し、設定もお手軽なのは良いのですが、検索精度に難があり、一部ではリ

さがらです。 DuckDBの公式ブログにおいて、メタデータ管理をデータベースで担う新しいLakehouseフォーマット「DuckLake」が発表されました。 本記事では、DuckLakeがどういったものか簡単に紹介し、ローカルで軽く触ってみたのでその内容をまとめてみます。 DuckLakeとは まずDuckLakeですが、DuckDBの開発元が開発したOSSのLakehouseフォーマットとなっております。 昨今のIcebergやDelta Lakeではファイルベースでメタデータを管理するという複雑性があったことを課題認識し、そのメタデータ管理を担うレイヤーをIcebergでいうカタログレイヤーも含めて全てSQLデータベースで担う方向性で実装したプロダクトが、DuckLakeとなっております。 DuckLakeのメリットとして、以下4つが上述のリンク先のブログで言及されています。 Simp

DuckDB を利用してベクトル検索と日本語全文検索の両方を同時に利用できます。さらにこれらの結果をマージして Reranking を行うことでハイブリッド検索をサクサクっと実現する事が​できます。 Rerankerどうやらベクトル検索した結果と日本語全文検索した結果をマージして、クエリーとマージ結果を再度ランキング付けする仕組みのようです。 ここでは参考にした記事を共有する程度にしておきます。 日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Lifeリランキング モデルによる RAG の日本語検索精度の向上 - NVIDIA 技術ブログ今回は Reranker に hotchpotch/japanese-reranker-cross-encoder-large-v1 を利用しました。 以下は参考コードです。 [projec

Announcing Firestore with MongoDB compatibility, an enterprise-ready document database Today at Google Cloud Next, we’re thrilled to announce Firestore with MongoDB compatibility, built from the ground up by Google Cloud. It provides developers with an additional choice for their demanding document database workloads. MongoDB compatibility has been a highly-requested capability from Firestore’s ex

マイクロソフト、NoSQL標準の策定を目指し、Cosmos DBで使われている「DocumentDB」をオープンソースで公開。PostgreSQLをベースに マイクロソフトはNoSQLデータベースの実装として「DocumentDB」をオープンソースで公開したことを発表しました。 DocumentDBは、Microsoft Azure上のvCore-based Azure Cosmos DB for MongoDBとして提供されているNoSQLデータベースのオープンソース実装です（AWSもMongoDB互換の「Amazon DocumentDB」と呼ばれるサービスを提供していますが、別の実装です）（追記：当初、「Azure DocumentDB」のオープンソース実装と記述していましたが、間違いでしたので記述を改めました。お詫びして訂正します）。 Announcing DocumentDB,

普段、Cloud Firestoreを使っているけど、 リレーションが多くなってくると、やっぱりつらくなる。。。 RDBをつかいたいなと思い、いろいろ調べてみた備忘録(*´ω｀*) ドキュメントや関連記事ベースのみで、価格メインの調査 まとめ: Turso/TiDBがよさそう Turso(SQLite) 無料プラン: Total 9GiB storage / Point-In-Time Restore 1days / 3 Locations Hobby $8.25 Free + No Cold Starts / Point-In-Time Restore 10days / Audit Logs 3days / Databases Never Archived Scaler $24.92 Hobby + Support for Teams / Total 24GiB storage / Po

はじめに 鍵を閉め忘れたような気がして心配になるように、リソースを後始末していたか心配になることはありませんか。 「習慣的にdeferでCloseしてるからリークしないはずたけど。あれ？トランザクションはしてなかったかも。ん？Closeないの！？」 Goの標準ライブラリの database/sql で中心となる sql.DB ではデフォルトでコネクションプールが使われるようになっていて明示的な操作は不要です。 ではいったい、どのタイミングでプールに返却されているのか、パターンを整理してみました。 準備 挙動の確認でINSERTやSELECTを実行するため、PostgreSQLに簡易なテーブルを作成しました。 CREATE TABLE shop ( id serial PRIMARY KEY, name text NOT NULL, created_at timestamp with tim

Build database applications visuallyCreate professional databases, forms, sheets, and reports with drag-and-drop tools instead of custom code. From database to apps in minutesStop spending weeks building basic CRUD applications. Design professional forms, sheets, and reports effortlessly. Deploy in minutes, not weeks. Create professional data entry forms in minutes with AI assistance—no coding req

Visualize databases instantly in your browser. Best for ease of use and team accessibility. All without database access Get a diagram in just 15sec

はじめに Testcontainersとは Testcontainersのメリット ハンズオン 環境設定 goプロジェクトの作成 必要なパッケージのインストール テストコードの作成 コンテナリクエストの設定 コンテナの起動 コンテナのホストとポートの取得 結果の確認 まとめ はじめに こんにちは！ エンジニア２年目のTKDSです！ 前回はDaggerを紹介しました。 今回もコンテナ技術を活用して、テストを容易にするツールについて紹介します。 今回取り上げるのは、統合テストやエンドツーエンドテストのためにDockerコンテナを利用するライブラリ、Testcontainersです。 Testcontainersとは Testcontainersはさまざまなプログラミング言語（Java、Go、Python、Node.jsなど）向けに提供されており、Daggerと同様にテスト用のコンテナを簡単に作

結論 お手軽モノリスならAutoIncrementが効率的だしこれでいいよ アプリケーション側で主キーを生成したい場合はLUIDを作る必要があるよ。GUIDで大は小を兼ねよう 主キーでGUIDを使うならULIDよりもUUIDv7がおすすめだよ ただし分散されているエンジンによってはUUIDv4の方が効率的になる場合もあるよ 主キーは原則公開しない方がいいよ UUIDv7やULIDはユニーク性を持ったInstant(timestamp)としても使えるよ 分散されたシステムでは厳密な時系列性を担保することはできないよ、あきらめてロックをかけつつ連番を一か所で生成しよう RDBのPrimary Key(主キー)とは？ MySQL、PostgresQLなどのRDBでは各レコードを識別するために一意な値を必要とします。これをPrimary Key(主キー)と呼びます。別のカラムにUNIQUEなInd

切り替えを辞めた Cloudflare から別サービスへの移行をしており Cloudflare Workers を利用しないことに決めた HTTP リクエスト経由での DuckDB 処理をしたいので Node.js だと厳しい sqlc-gen-typescript のメンテナンスが怪しい 今のまま Go を継続することにした。