Introduction Solr is a search engine platform based on Apache Lucene. It is written in Java and uses the Lucene library to implement indexing. It can be accessed using a variety of REST APIs (e.g. XML and JSON). This is the feature list from their website: Advanced Full-Text Search Capabilities Optimized for High Volume Web Traffic Standards Based Open Interfaces - XML, JSON and HTTP Comprehensive
@nobu_k さんのつぶやきでこのエントリを知りました。Changing Bits: Lucene’s FuzzyQuery is 100 times faster in 4.0Luceneで曖昧検索を効率化した話です。 最初の実装では、転置インデックスを全探索して編集距離がN以下の単語を拾っていたレーベンシュタインオートマトンという、編集距離がN以下の単語のみをアクセプトするオートマトンを利用することにした 単語ごとに構築したレーベンシュタインオートマトンをマージするという操作が必要になるが、なかなかうまくいかなかった 難解な論文を見つけたが、実装は難しかった良いライブラリを見つけたので、PythonからJavaに移植した 最後に1つだけ残ったバグは、移植の失敗ではなく元ライブラリのバグだった。報告すると1日で直ってきた。この前のエントリでは、有限状態トランスデューサを使った辞書の圧縮
Solrで、もしかして検索(英語だとDid you mean?ってヤツ)をやりたいなと思って調べていくと、 SpellCheckComponentっていうのを使うと実現出来るようです。 ということで、Solr本を眺めながら、自分のノートパソコンでチョロっとやってみることにしました。 ＃概要だけなので諸々端折ります…。ガッツリ知りたい気合い入った人は↓のWiki(英語)で… ＃http://wiki.apache.org/solr/SpellCheckComponent ■ solrconfig.xml １．searchComponent “SpellCheckComponent使うぜ”っていうのと”スキーマのどのフィールドが対象なのか”を指定します。 <searchComponent name="spellcheck" class="solr.SpellCheckComponent"> <
概要 全文検索エンジンのSolrを使って、Wikipedia（日本語版）の記事を検索する機能をさらっと作ってみる。面倒なことはすっ飛ばして、できるだけ少ない手数を選択。あと、ソースコードはJava。 注意事項として、Solrはけっこうメモリ食う。特にoptimize時とか、大掛かりなソート時とか。 メモリが少ないマシンでは使うと不自由するので避けた方が良いかもしれない。とりあえず手元の4G積んだマシンでは快適に動いている。 @CretedDate 2011/09/04 @Env Solr3.5.0 / lucene-gosen1.2.1 @UpdateDate 2012/02/21 Solr3.5.0に変更したりクエリの誤りを直したり Solrの導入 まずSolrをダウンロードして解凍する。 ここからダウンロード http://lucene.apache.org/solr/#getstar
インターネットの膨大な情報の中から自分が求めるものを探すとき，誰しもまずGoogleなどの検索エンジンを使うだろう。この検索エンジンは，文書中のすべての文字列を検索対象にし，入力された検索語を含む文書を返す。これを全文検索という。 全文検索では，まず検索対象となる文書を短い文字列に区切る。そして，どの文書が区切った文字列を含んでいるかを対応付けた表（インデックス）を作成する。検索文が入力されると，こちらも同じように短く区切り，インデックスと比較する。つまり，両者が同じ文字列を含んでいても，その区切りが異なると正しく検索できない。 実はここに，長きにわたる論争があった。文字の区切り方に二つの有力な手法があるのだ。しかし2002年12月，この論争に決着がついたようだ。国立情報学研究所が主催する検索エンジンの評価型国際会議NTCIR（NII Test Collection for Informa
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
昨今のインターネットの普及、CGM（Consumer Generated Media）の普及によって私たちが接する情報量は爆発的に増大しています。 その中から私たちが探したい情報を見つけ出すこと、または情報を分析することが困難になっています。 また、情報を提供している側にとってもユーザーが情報を素早く見つけやすくする必要性があります。（ファインダビリティの向上） このような状況のなかで、超高速高性能な検索エンジンのニーズは高まっております。そこで私たちはオープンソース検索エンジンの【Lucene/Solr】をご紹介します。 Lucene/Solrの利用例 私たちがLucene/Solrに注目したのは、その圧倒的な検索パフォーマンスとスケーラビリティなのですが、ここではLucene/Solrが持っている機能を使ってどのようなことが出来るのかを具体的にご紹介したいと思います。 社内文書検索 毎
「deepin 25.2.0」リリース ─ Debianベースのデスクトップ向けディストリビューション 7月9日 0:51
There are many exciting improvements in Lucene's eventual 4.0 (trunk) release, but the awesome speedup to FuzzyQuery really stands out, not only from its incredible gains but also because of the amazing behind-the-scenes story of how it all came to be. FuzzyQuery matches terms "close" to a specified base term: you specify an allowed maximum edit distance, and any terms within that edit distance fr
Sematextのブログにて連載された"Solr vs ElasticSearch"の翻訳。 現在、Part 6まで存在し、その全てを翻訳した。 Part 1 – 概観 Part 2 – インデックス作成と言語の取扱 Part 3 – 検索 Part 4 – Faceting Part 5 - 管理APIの機能 Part 6 – ユーザと開発者のコミュニティ比較 なお、オリジナルの記事はこちらのPart1から全て辿ることができる。 http://blog.sematext.com/2012/08/23/solr-vs-elasticsearch-part-1-overview/ この連載はまだ続くはずだがPart 7がいつ出るのかはわからない。また出た時に翻訳を続けられるかもわからない。 なお、訳者はSolrもElasticSearchも大した知識を持っていない。誤訳等見つけられたらぜひコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
