ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。 現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に高性能なOSSも出てきています。LLMのservingは、コンピュータサイエンスの知見を総動員させて最適化されている奥深い世界ですが、一方で中身を理解するには多くの前提知識が必要です。 そこでこの記事ではTransformerモデルを中心に、LLMのserving system（多数のクライアントにLLM推論を提供するシステム）でどのようなテクニックが使われているのかについて体系的に解説していきます。 構成としては、LLM servingで最も重要な概念である
Docling simplifies document processing, parsing diverse formats — including advanced PDF understanding — and providing seamless integrations with the gen AI ecosystem. Getting started 🐣 Ready to kick off your Docling journey? Let's dive right into it! Features 🗂️ Parsing of multiple document formats incl. PDF, DOCX, PPTX, XLSX, HTML, WAV, MP3, VTT, images (PNG, TIFF, JPEG, ...), and more 📑 Adva
In the past, many of our blog posts have started with “Intercom is a product company, …” It set the context for the reader, explained some of our decisions and defined the layer we bring most value in. I started this piece with it, but a brief pause was enough to realise it’s wrong. Scratch it. Intercom is an AI company. In this post we’ll discuss how we built tools to make our scientists producti
実運用の強さ：少トークンでSOTA級に迫る OmniDocBenchで比較するとさ、 Small（100トークン） で既にGOT-OCR2.0（256トークン）を超えがちだし。 Large（400, 有効285トークン） でSOTAと肩並べる感じ。 Gundam（<800トークン）でMinerU2.0（約6790トークン） より優秀。コスパ良すぎでしょ。 カテゴリ別の肌感: スライドは64トークンで十分。 本・レポートは100トークンで良。 新聞はテキスト密度高すぎなのでGundam以上が欲しい。 なんでこんなに軽いの？ ウィンドウ注意＋16×圧縮＋グローバル注意の直列デザインがマジ効いてる。 前段で大量パッチを安く見て、中間でトークンをギュッと圧縮してから、後段でリッチに解釈。 GPUメモリのアクティベーション低め、トークン数少なめ、多解像度対応で、訓練も推論も扱いやすい。 具体的にでき
米Metaのマーク・ザッカーバーグCEOは1月24日（現地時間）、2025年中にAI推進のために600億～650億ドルの設備投資を計画していると発表した。 資金の多くは大規模データセンターの構築に充てられる。「マンハッタンの大部分をカバーするほどの規模の、2GW以上の電力を消費するデータセンターを建設している」と語り、昨年12月に発表したルイジアナ州に建設予定のAIデータセンターの広さをマンハッタン島に重ねる画像を添えた。 Metaは2024年第3四半期の業績発表で、2024年通年の設備投資額は約380億～400億ドルになるとし、2025年にはさらに大幅な増加が見込まれると予告していた。 この資金ではまた、AIのための「GPUを年末までに130万個以上購入」し、AIのためのチームを大幅に拡大する計画という。 こうした取り組みで、「2025年には、Meta AIが10億人以上の人々をサポート
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
