（表：各処理に必要なもの。従来型のGPUシステムでは推論のPrefillもDecodeも学習も従来型のGPUが行っていたが、Rubin CPXを追加することによってDRAM帯域がそんなに必要ない推論のPrefillはRubin CPXにやらせて従来型のGPUは残りを担当する） 上の発表リンク先を見るとDecodeに使う通常のRubin4つに対してPrefillに使うRubin CPXは8つ。通常のRubinはパッケージの中に2GPU入っているので実際には1:1の比率であるが、おそらくこの構成では通常のRubin側は随分遊ぶことになるだろうと思う。通常のRubinのカットダウン版でもDecode専用に出してくれれば良いが、圧倒的王者たるNVIDIAがわざわざ儲けを減らす行動に出るとは思えない。カットダウンした場合に同じノードを学習用には流用しづらくなるという問題もある。 Intelとの協業
NVIDIA、Rubin CPX を発表: 大規模コンテキスト推論向けに設計された新しいクラスの GPU NVIDIA Rubin CPX GPU は、数百万トークン単位のコーディングや生成ビデオ アプリケーションを処理するために特別に設計されています。 NVIDIA Vera Rubin NVL144 CPX プラットフォームは、8 エクサフロップスの AI パフォーマンスと 100TB の高速メモリを単一のラックに搭載しています。 Cursor、Runway、Magic などの AI イノベーターは、Rubin CPX を活用した自社アプリケーションの高速化を模索しています。 【プレス リリース】カリフォルニア州サンタクララ — AI Infra Summit — 2025 年 9 月 9 日— NVIDIA® は本日、大規模コンテキスト処理向けに設計された新しいクラスの GPU であ
NVIDIAは2025年9月9日（米国時間）、新GPU「Rubin CPX」を発表した。膨大な情報を一度に扱うAI（人工知能）処理に特化しており、開発プロジェクト全体で数百万トークンに及ぶコードを読み込んでコーディングをしたり、長時間の動画を生成したりといったタスクを高速化する。 Rubin CPXは、NVIDIAが発表した新システム「NVIDIA Vera Rubin NVL144 CPX」内で動作する。NVIDIA Vera Rubin NVL144 CPXは、大量のNVIDIA製CPUとGPUを1つのラックに集約し、大規模コンテキスト推論や長文処理に最適化されたAI特化型コンピューティングシステムだ。8E（エクサ）FLOPSの演算性能と100TBのメモリを搭載し、メモリ帯域幅は毎秒1.7P（ペタ）Bを実現するという。 Rubin CPX単体については、NVIDIAが開発した4bit量
GPUを使いたいこと、あると思います。 ただしご家庭に強いGPUはないこともあるでしょうし、かといってGPU搭載したインスタンスを立て続けているととてつもないお金がかかります。 そんなあなたにサーバレスGPU、使った秒数分だけ課金が発生するので、いきなりすごい金額がかかることにはならず手軽にGPUを使ったプログラミングが始められます。 私は今の所ModalとRunPodを試したのですが、ModalのDXが良すぎるため今回イントロ記事を書く筆を取りました。 始めにざっくりいいところを述べると 一つのファイルで完結する。 RunPodとの比較だと「RunPodではDockerのイメージを自前でビルドしてどこかしらのregistryにpush、都度タグを付け替えてRunPodの方にも反映」みたいなのが必要だったがModalでは全部要らない ローカルパッケージをちょろっとした関数で送れたり、テキス
Design and Strategy: How to Deal with People Who Don’t "Get" Design
概要最近、生成AIが流行っており、御多分に洩れず僕も色々弄っております。そんな中、GPUを使ったAPIを作りたいな〜と思ったので、本日の記事を書いてみます。GPUを使った推論の仕組みも最近では色々ありますが、少なくとも個人で使う分にはインスタンス立ち上げっぱなしみたいなのは避けたい。やはりサーバレスでやりたいところ。調べてみたら、今は結構サーバレスの仕組みもあるんですね。 ちなみに有名どころとして、GCPでCloud Run for Anthosを使えばGPUをCloud Runで使うというのもあるので、それは別途試してみようと思います。GKEクラスタを立ち上げる必要があるからクラスタ維持費とか掛かるんかね？・・・とか思ってあんまり調べてなかったけど、近々やってみようと思います。趣味で仕組み作って放置するとかありがちだから、クラスタ関連はそんなに触ってないんよね・・・。また、AWSのSag
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
