NVIDIA CUDA-X Libraries Built on the foundation of NVIDIA® CUDA®, NVIDIA CUDA-X™ is a powerful suite of libraries designed to deliver industry-leading GPU acceleration across AI and high-performance computing use cases—from generative AI and autonomous machines to climate modeling and financial forecasting. Whether you're deploying on resource-constrained IoT devices or the world's largest superco
最近、YouTubeで「予算別ローカルLLM思考実験」的な動画を見かけまして、これがなかなか面白い内容だったので、自分のこれまでの検証経験と照らし合わせながら同じことをやってみようと思っての記事となります😊 自分の環境は、RTX 4070 Ti（12GB VRAM）のデスクトップ、Ryzen 7 6850H + Radeon 680M のミニPC、M1 MacBook Air 16GB、Raspberry Pi 5など、わりと雑多に揃っているのですが、ローカルLLMのスペックからするとかなり微妙なものが多い🥲 そんな中で「予算別」というテーマは、ちょうど自分が ローカルLLM環境を予算をかけて強化していきたい と考えていたタイミングで、結構刺さりました。手持ち機材だけだと厳しい場面も増えてきたので、ここで一度「予算帯ごとに自分ならどう投資するか」を妄想しておきたい、というのが今回の動機
しぴぴぴ！ Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan)です。普段はゲーム配信しかしてませんが、たまにAIについて発信することがあります。今日はAIの記事の方。 現在はローカルAIモデルに関する連載をしています。 第一弾 本記事（DeepSeek R1をほぼ準備なしからローカルGPUで動かす） 第二弾 Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け） 最近話題のローカルで動くLLM、DeepSeek R1 をローカルGPU環境（NVIDIA）で動かしてみましょう。 多少のコマンドラインの操作ができれば、事前にローカルLLMを触ったことがなくてもインストールできるように書くつもりです。 サムネはDeepSeek R1くんに画像を生成してもらおうとしたところです（そんな機能はありません）。
CUDAのプログラムを書くための emacs の設定です cuda-mode まずcuda-modeをインストールします 設定はこれだけ (use-package cuda-mode :mode ("\\.cu\\'" "\\.cuh\\'") ) これでCUDA関連の予約語などがhighlight表示されます lsp 関連 clangd 経由でCUDAのコードでもlspが使えます 設定も簡単です 設定ファイル .clangd を用意 C/C++と同様に lspを使う これだけです .clangdはソースコードと同じディレクトリに配置します .clangd の内容は以下のとおり CompileFlags: Add: - --cuda-path=/usr/lib/cuda - -L/usr/lib/cuda/lib64 - -I/usr/lib/cuda/include これで clangd
NVIDIA CUDA-X Libraries NVIDIA CUDA-X™ Libraries, built on CUDA®, is a collection of libraries that deliver dramatically higher performance—compared to CPU-only alternatives—across application domains, including AI and high-performance computing. NVIDIA libraries run everywhere from resource-constrained IoT devices to self-driving cars to the largest supercomputers on the planet. As a result, user
よくわからなかったので、調べて整理しようとした試み。 Compute Capability GPU ハードウェアがサポートする機能を識別するためのもので、例えば RTX 3000 台であれば 8.6 であるなど、そのハードウェアに対応して一意に決まる。 アーキテクチャの世代が新しくなり、機能が増えるほど、この数字も上がっていく。 以下のリンク先に、Compute Capability と機能の対応表があるが、これを見ると（少なくとも執筆時点で） Compute Capability 7.x 以上でテンソルコアが使えるといったことがわかる。 それぞれの機種がどの値かは以下のサイトから確認できる。 NVIDIA Driver のバージョン Compute Capablity 一般向けの Compute Capability との関連性は見つからなかったが、データセンタ向けの資料には Maxwe
![[CUDA] NVIDIA GPUやCUDA周りの互換性を理解したかった](https://cdn-ak-scissors.b.st-hatena.com/image/square/899490765c6aca9fb3e82d576c70a4382ce9a476/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fproxy.goincop1.workers.dev%3A443%2Fhttps%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Zly7bMhc--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BCUDA%25255D%252520NVIDIA%252520GPU%2525E3%252582%252584CUDA%2525E5%252591%2525A8%2525E3%252582%25258A%2525E3%252581%2525AE%2525E4%2525BA%252592%2525E6%25258F%25259B%2525E6%252580%2525A7%2525E3%252582%252592%2525E7%252590%252586%2525E8%2525A7%2525A3%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aeduidl%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzJkNDMwMDk1NTYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
はじめに こんにちは、TC3 AIチームの@mumeco_mlです！弊社は2022/10からGCP Cloud Partnerとなっておりまして、現在GCP(Google Cloud Platform)のプロジェクトでの活用をより促進しております。今回は、このGCPの機能の1つであるCompute Engineを利用したAI開発環境の作り方をご紹介いたします。GCPのVMで開発環境を作る場合、大きく分けて事前にML用に用意された環境を利用する方法と、Dockerを使ってOS環境等も含めて作る方法があると思いますが、今回は前者を説明します。需要があれば、後者の解説も作ろうと思います。 クラウド開発環境の利点・欠点 利点 高額なGPUをオンデマンドで効率的に活用できる ローカルマシンの動作が重くならない 任意のマシンスペックを利用できる 欠点 使用時間に応じて課金される 実際に開発するまでに環
Getting Started Installation Tutorials Python API triton triton.language triton.testing Triton Semantics Gluon Overview Tutorials Examples API Reference Triton MLIR Dialects Triton MLIR Dialects and Ops Programming Guide Introduction Related Work Debugging Triton Floating-Point Sanitizer (FpSan) Welcome to Triton’s documentation! Triton is a language and compiler for parallel programming. It aims
LLMs in simple, pure C/CUDA with no need for 245MB of PyTorch or 107MB of cPython. Current focus is on pretraining, in particular reproducing the GPT-2 and GPT-3 miniseries, along with a parallel PyTorch reference implementation in train_gpt2.py. You'll recognize this file as a slightly tweaked nanoGPT, an earlier project of mine. Currently, llm.c is a bit faster than PyTorch Nightly (by about 7%)
Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools. guide : using the new WebUI of llama.cpp guide : running gpt-oss with llama.cpp [FEEDBACK] Better packaging for llama.cpp to support downstream consumers 🤗 Support for the gpt-oss model with native MXFP4 format has been added | PR | Collaborat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
