気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント30件
- 注目コメント
- 新着コメント
monacal
人間だって「ランチどこの店にするー？」「思いつかない適当でー」「じゃあマックね！」「いやいや蕎麦とかにしようよ」みたいにアレな選択肢入れるとスッと考えが立ち上がったりするよねえ（無関係な文章）
yoiIT
このロジックだと、「曖昧な情報」と「正しくない情報」を入れておくと、曖昧な情報をさも正しい情報のように出力しそう。実際に使っていてそんな肌感はある。＞“正しい文章に対するLLMの注目度がより高くなります”
jintrick
"無関係な文書が混ざると、中間層が「正しい文書」をより強く認識する。" らしい。1.md～100.md まであったら、10～30個くらいは「ちくわ大明神」に関するmdにしておけばいいってことかな。
medihen
"ハルシネーションを引き起こしてしまうのは、中間層では正しい回答を見つけられるものの、深い層で内部の知識と混同して正しい回答ができなくなってしまうため" ゲシュタルト崩壊みたいなものということか？
irh_nishi
元の論文読んでないけど、こんなの場合によるとしか言えないのでは？精度向上する場合もあるだろうけど、むしろ無関係な文章を入れた方が性能低下する場合もあるだろうし。LLMのモデル構築にフィードバックすべき話。
monacal
人間だって「ランチどこの店にするー？」「思いつかない適当でー」「じゃあマックね！」「いやいや蕎麦とかにしようよ」みたいにアレな選択肢入れるとスッと考えが立ち上がったりするよねえ（無関係な文章）
medihen
"ハルシネーションを引き起こしてしまうのは、中間層では正しい回答を見つけられるものの、深い層で内部の知識と混同して正しい回答ができなくなってしまうため" ゲシュタルト崩壊みたいなものということか？
jintrick
"無関係な文書が混ざると、中間層が「正しい文書」をより強く認識する。" らしい。1.md～100.md まであったら、10～30個くらいは「ちくわ大明神」に関するmdにしておけばいいってことかな。
yoiIT
このロジックだと、「曖昧な情報」と「正しくない情報」を入れておくと、曖昧な情報をさも正しい情報のように出力しそう。実際に使っていてそんな肌感はある。＞“正しい文章に対するLLMの注目度がより高くなります”
yarumato
“RAGの認知の階層を分析して、ハルシネーションを防ぐ手法LFD。無関係な文書を渡すことでRAGの性能が向上する原因（正解の文章に対する注目度が高くなる）を突き止め、無関係な文書を渡すことなく、同等の性能”
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RAGで「無関係な」文書をいれると性能が向上する理由を解明
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの認知の階層を分析して、ハルシ... 導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの認知の階層を分析して、ハルシネーションを防ぐ手法「LFD」について紹介します。 サマリー 以前の我々のブログでLLMに無関係な文書を渡すことでRAGの性能が向上する、という突拍子もない論文を紹介したことがありました。 今回紹介する論文では、その無関係な文書がLLM内部でどのような役割を担っているのかを分析し、原因を突き止めました。さらにそこから一歩踏み込み、無関係な文書を渡すことなく、同等の性能を向上させる手法「LFD」を発見しました。 課題意識 RAGのハルシネーション RAGはユーザーの知りたい情報を検索して、検索結果をLLMに渡すことで、LLMの知らない情報も回答できるようにする為の技術です。しかし、LLMは自身の知る知識と検索結果を明確に区別できないために、たとえ正確に情報を検索できたとしても、正しい情報を回
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2025/09/03 リンク