5,000ドキュメントを人手で組む地獄 社内のRFP・契約書・議事録を全部ナレッジグラフ(KG)に載せたい、という相談を受けたことがあります。 ファイル数を数えたら5,200本ありました。1本あたり平均15分で読み、エンティティと関係を3組ずつ抽出する。電卓を叩くと1,300時間でした。私一人だと半年仕事です。レビューを足したら8ヶ月、年度内に間に合いません。 「人手抽出は無理。LLMに任せます」と即答したものの、3週間後に出来上がったKGはノードだけで12万、エッジは40万。重複と矛盾だらけで、Cypherクエリを投げるたびに違う答えが返ってきました。「Microsoft」のノードを数えたら7つあって、それぞれ違うエッジを持っていたときは天井を見上げました。 その失敗を踏まえて整理した「構築自動化の3パターン」と、どのパターンでも必ず踏む落とし穴をまとめます。私と同じ轍を踏まないでくださ
はじめに こんにちは。セキュリティエンジニアの@okazu_dmです。 この記事は、最近リリースされたLLMベースのセキュリティスキャンツールとしてclaude-security-scan を使ってみた所感の記事です。 先週、以下の記事を見つけました。 検出率100%という結果が紹介されており、Claude Codeに全部やらせる時代が来た、というタイトルから「楽な時代が来たな」と思ったのですが、実際のところどの程度やらせることができるのかを検証するため、より網羅的に脆弱性が仕込まれている OWASP Juice Shop で再評価してみました。本記事ではその結果と、LLMベースのセキュリティスキャンツールに対する考察をまとめます。 なお、claude-security-scan はClaude Codeのslash commandとして実装されており、ソースコード解析と依存関係チェックを
主要比較分析 OpenCode GO vs 阿里雲 Coding Plan 阿里雲Lite版は月額$5.80で、さらにQwen3.5が追加されており、価格がより低くなっています。しかし、阿里雲の制限はより厳格で、非対話型シーンでの使用が明確に禁止されています。OpenCode GOの優位性は、$60相当の月間クォータ（特にMiniMax M2.5の10万回制限）と、OpenCode自体の優れたTUI体験にあります。 OpenCode GO vs 汎用API コーディングツール内でのみ使用する場合、OpenCode GOの月額$10は従量課金よりもはるかに安価です。$60相当の使用量は市場価格で$30-60かかる可能性があります。しかし、複数のシーン（バックエンド、Dify、自動化など）でAPIを呼び出す必要がある場合は、汎用APIが正しい選択肢です。 💡 シナリオ判断: あなたがOpen
「AIの仕組みは、ITエンジニアだけがわかっていればいいか？」 「分厚い技術書を読める人だけのものであっていいのか？」 昔はそうでした。今、私はそうは思いません。 誰にでも簡単に ChatGPT や Gemini 、Claude Code といった強力なツールが使えるようになった今こそ、子どもから大人まですべての人が仕組みをわかった上で使う必要があると感じています。 AIを必要以上に肯定してしまったり、遠ざけてしまうのは、AIの中身をブラックボックスのままにして、そのほとんどを想像で補っていることが原因です。 仕組みを知れば、AIが得意なことは何か、逆に苦手なことは何かがわかります。 AIを否定しているわけではありません。 この漫画では「仕組みを知った上で適材適所で使おう」と言っています。 この漫画の登場人物のように、AIが出力した企画書を確認もなしに投げるのは、どういうことかというと 「
はじめに コーディングエージェントのデモは魔法のように見えます。しかし、実際のコードベースに向けると： コンテキストウィンドウがすぐに埋まる 古いコードに対してハルシネーションが起きる 処理が遅すぎて、grepした方が早い 大規模なRust/Python/TSリポジトリでAIワークフローを構築する中でこの壁にぶつかったので、自分のスタックに本当に欲しかったものを作りました：ASTベースの超軽量な組み込みMCPです。 cocoindex-codeというツールで、トークン消費を約70%削減し、待ち時間も大幅に短縮できます。 Claude、Codex、Cursor、その他MCP対応のコーディングエージェントを使っている方は、ぜひ読んでみてください。 コアアイデア：AST + インクリメンタルインデックス よくある「コードRAG」構成は、ベクトルDBの構築、ETLの作成、スキーマドリフトへの対応、
エンジニアの又川です。 皆さんは LLM (大規模言語モデル) の 「特殊トークン」 をご存知でしょうか？ ChatGPT や Claude などを使っていると意識することは少ないかもしれませんが、実はモデルの内部では 「ここからユーザの発話だよ」「ここで思考を始めるよ」 といった制御情報を伝えるための特別なトークンが使われています。 この記事では、 GPT-1 や BERT、GPT-2 といった黎明期の Transformer モデルから始まり、 T5 のようなテキスト補完から脱却した Transformer モデル、 GPT-3 のような初期の LLM、 InstructGPT のような指示追従型 LLM、 GPT-3.5 Turbo のようなチャット機能付き LLM、 GPT-4 のようなマルチモーダル LLM、そして GPT-5.2 のような思考機能付き LLM (Reasonin
株式会社ジェイテックジャパン CTOの高丘 @tomohisaです。 私は Railway Oriented Programming が好きで、C#で実現するために ResultBox というライブラリを作り、自社のイベントソーシングライブラリ Sekiban にも組み込んできました。自分がメインで作る小さなプロジェクトでは問題なく機能していましたが、チーム開発とLLM時代の到来により、方針転換を決断しました。 この記事は、自分の好みよりチームとLLMとの協働性を優先した、ライブラリ開発者の決断の記録です。 Railway Oriented Programmingの魅力 Railway Oriented Programming（ROP）は、Scott Wlaschin氏が提唱したエラーハンドリングのパターンです。F#などの関数型言語で一般的な Result<T, E> 型を使い、成功と失敗
YomiToku-Client¶ 概要¶ YomiToku-Clientは、AWS SageMaker上で提供されるYomiToku-Pro APIの出力を扱うためのPythonクライアントライブラリです。OCR解析結果を構造化データへ変換し、CSV・JSON・Markdown・PDFなどの形式での保存や可視化を容易にします。YomiToku-Proの高精度OCRと、業務アプリケーションを結びつける「橋渡し」役を担います。 flowchart LR subgraph Local["ユーザー環境"] A["解析対象データ"] B["YomiToku-Client<br/>(Pythonライブラリ / CLI)"] end subgraph AWS["AWS アカウント内"] C["Amazon SageMaker Endpoint<br/>YomiToku-Pro Document Anal
はじめに 近年、生成AIの活用が広がるなかで、社内文書やFAQなどの独自の情報を活用したRAG（Retrieval-Augmented Generation） の需要が高まっています。RAGは、大規模言語モデル（LLM） が持つ汎用的な知識に加え、最新情報や社内データといったLLMが学習していない外部知識を検索対象として組み合わせることで、より正確かつ最新の情報に基づいた回答生成を可能にします。 私は以前から生成AIやLLM、RAGといった技術に強い関心を持っていました。そこで今回は、その中でも特に注目を集めている「RAG」に焦点を当てました。本検証では、RAGの発展的な手法であるHyDEやハイブリッド検索を導入し、通常のRAG手法との比較を行っています。また、以前の検証でOCR技術に興味を持ったことから、ドキュメントの読み込みには日本語文書画像解析に特化したPythonパッケージである
前提 私が現在使っているLLMコーディングエージェントは下記です。 Codex（proプラン $200） Cursor（proプラン $20） Gemini（workspace Business） 1年前にclineを使いはじめ、今年の春ごろにmaxプラン($100)でClaude Codeが使えるようになったタイミングでClaude Codeに乗り換えました。 その後、gpt-5-codexが登場し、maxプランの残期間があったClaude Codeと併用していましたが、同じ不具合でもCodexはすんなり不具合を解決できるのに、Claude Codeだといつまでたっても解決しないということが何件かあり、またクラウドでも依頼できるという点に魅力を感じて、値段があがるもののCodexに乗り換えました。 HubspotというCRMを使ったRailsアプリを、TwentyというオープンソースのC
開発現場で急速に広がっているOpenAIのCodex（コーデックス）。本記事では、OpenAI Dev Dayで公開された実践的な活用事例を、具体的なプロンプトやノウハウとともに詳しく解説します。 ▼公式セッション動画 1. Codexとは？シニアエンジニア級のAIチームメイトCodexはOpenAIが開発したAIソフトウェアエンジニア。開発チームのTibo氏はこう表現します： 「Codexは人間のチームメイトのようなもの。一緒にペアプログラミングしたり、タスクを委任したり、明示的な指示なしに仕事を進めてもらえます」 2024年8月からわずか数ヶ月で利用者が10倍に増加。開発業界で「バイブシフト」と呼ばれる変化が起きています。 1-1. GPT-5 Codexの特徴最新のGPT-5 Codexがユーザーから「本物のシニアエンジニア」と評価される理由： 「褒め言葉が少なく、悪いアイデアには反
LLM の注意機構には色んな機能があることが分かっています。注意機構を分析することで、なぜ LLM は文脈内学習や思考の連鎖に成功し、ひいてはなぜ LLM が外挿に成功することがあるのかについての理解が得られます。本稿ではさまざまな種類の注意機構を観察することでこの問題をひも解きたいと思います。 目次 目次 基本的な考え方 文法ヘッド 注意の受け皿とレジスタトークン 逐次ヘッドと検索ヘッド 帰納ヘッド 関数ベクトル 反復ヘッド まとめ 基本的な考え方 LLM の多くは注意機構と多層パーセプトロン (MLP) を交互に積み上げたアーキテクチャを持ちます。各層は複数の注意機構をもち、それぞれの機構を注意ヘッドと呼びます。 注意機構の役割は 文脈内の検索 ルール・アルゴリズムの実現 です。文脈とはプロンプトと今までの出力のことで、これを踏まえて次トークン予測を行います。注意機構は文脈から次トーク
最近、コンテキスト・エンジニアリングという言葉が、プロンプト・エンジニアリングに代わるより良い選択肢として支持され始めている。 私は気に入っている。 これは定着力がありそうだ。 私はプロンプト エンジニアリングよりも「コンテキスト エンジニアリング」という用語が本当に好きです。 これは、コアとなるスキル、つまり、LLM によってタスクが妥当に解決可能となるようにすべてのコンテキストを提供する技術をより適切に説明しています。 「プロンプトエンジニアリング」よりも「コンテキストエンジニアリング」に +1。 プロンプトは、日常的に LLM に与える短いタスクの説明と関連付けられます。しかし、産業用 LLM アプリケーションでは、コンテキストエンジニアリングは、次のステップに最適な情報をコンテキストウィンドウに正確に記入する、繊細な技術と科学です。科学である理由は、これを適切に行うには、タスクの説
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
