GPU Nvidia RTX 50xx - Linux - Redmine by JustNet.pl

Nvidia Blackwell 50xx¶

Grafiki z serii 50XX maja wsparcie dopiero od drzewa 580.xx.xx, na czas pisania postu(2026.05.21) aktualny sterownik dla RTX 5070 595.71.05-1.
Sterowniki w kernelu są w wersji open i binarnej, od 2022 roku Nvidia zaleca użycia wersji open
Grafiki z serii Blackwell nie mają nowych sterowników w repozytorium Debiana, należy użyć sterowników z repozytorium Nvidia, instalacja opisana poniżej.

Instalacja sterowników na HOST w Debian Trixie¶

Instalacja Pakietów Pokaż Ukryj

rdate -n ntp.task.gda.pl; \
wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \
dpkg -i cuda-keyring_1.1-1_all.deb; \
apt-get update; \
apt-get -y install cuda-toolkit-13-3;

Instalacja samych sterowników headless

apt install nvidia-driver-cuda nvidia-kernel-open-dkms

Linki do zasobów:

Instalacja NVIDIA Container Toolkit w kontenerze LXC¶

Instalacja pakietów Pokaż Ukryj

apt-get install -y ca-certificates curl gnupg2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg; \
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    tee /etc/apt/sources.list.d/nvidia-container-toolkit.list; \
apt-get update;

Wybór i instalacja Toolkit VERSION=1.19.0-1

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.19.0-1; \
apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}; \

Konfiguracja

nvidia-ctk runtime configure --runtime=docker; \
systemctl restart docker;

Konfigurację weryfikujemy wydając polecenie nvidia-container-cli info, jeśli zwrotnie dostaniemy error typu

nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory

Należy doinstalować brakujący pakiet, to obstawiam zostanie poprawione w repo Nvidia

wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \
dpkg -i cuda-keyring_1.1-1_all.deb; \
apt-get update; \
apt-get -y install libnvidia-ml1;

Linki zewnętrzne:

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Instalacja zależności dla ollama w docker w LXC Pokaż Ukryj

apt-get install cuda-drivers zstd;

W razie problemów można zainstalować lokalnie ollame sprawdzić czy działa w LXC, jeśli działa to sprawdzić czy zadziała w docker i porównać konfiguracje binarek.

curl -fsSL https://ollama.com/install.sh | sh

Linki zewnętrzne:

https://github.com/ollama/ollama/blob/main/docs/linux.mdx

laama.cpp + Nvidia CUDA¶

Instalacja zależności(cmake itd.) PokażUkryj
```
apt-get install -y cmake ccache libssl-dev;
```

Kompilacja llama.cpp Pokaż

git clone https://github.com/ggml-org/llama.cpp `date +%Y%m%d-cuda`; \
cd `date +%Y%m%d-cuda`; \
\
cmake -B build \
  -DGGML_CUDA_FA=ON \
  -DGGML_CUDA_USE_FLASH_ATTENTION=ON \
  -DGGML_CUDA_FA_QUANTS=all \
  -DGGML_CUDA_NCCL=ON \
  -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON \
  -DLLAMA_BUILD_UI=OFF -DLLAMA_USE_PREBUILT_UI=OFF \
  -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13.3/bin/nvcc \
  -DNCCL_LIBRARY=/usr/local/cuda-13.3/lib64/ \
  -DCMAKE_CUDA_ARCHITECTURES=120a; \
\
cmake --build build --config Release -j$(nproc);

Pobranie modeli i uruchomienie ¶

Pobranie modeli

Instalacja zależności Pokaż

apt-get install -y pipx; \
 \
pipx install huggingface_hub; \
pipx ensurepath; \
source ~/.bashrc; \
 \
export HF_XET_HIGH_PERFORMANCE=1;

Qwen3.8-27B + Vision Pokaż

# 32GB VRAM GPU z 8GB RAM Cache
hf download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-UD-Q4_K_XL.gguf \
  --cache-dir ./models/qwen38-27b

# 32GB VRAM GPU z 16GB RAM Cache
hf download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-UD-Q6_K_XL.gguf \
  --cache-dir ./models/qwen38-27b

# Model dla 2x32GB VRAM GPU
hf download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-UD-Q8_K_XL.gguf \
  --cache-dir ./models/qwen38-27b

# Vision mmproj 
hf download unsloth/Qwen3.8-27B-GGUF \
  mmproj-F16.gguf \
  --cache-dir ./models/qwen38-27b;

# DFlash2
hf download incoai/Qwen3.8-27B-DFlash2-GGUF \
  Qwen3.8-27B-DFlash2-Q8_0.gguf \
  --cache-dir ./models/qwen38-27b;

Qwen3.8-27B-Flash-Next Pokaż

# 96GB VRAM GPU z 64GB RAM Cache
hf download unsloth/Qwen3.8-Flash-Next-GGUF \
  --include "*UD-Q2_K_XL*" \
  --cache-dir ./models/qwen38-flash-next

VSCode FIM/NextLine/Embedding/ReRanker Auto Complete dla IDE Pokaż

# FIM/NextLine dla Auto Complete IDE
hf download unsloth/Qwen2.5-Coder-3B-Instruct-128K-GGUF \
  Qwen2.5-Coder-3B-Instruct-Q8_0.gguf \
  --cache-dir ./models/Qwen2.5-Coder-3B

# Embedding
hf download unsloth/embeddinggemma-300m-GGUF \
  embeddinggemma-300M-Q8_0.gguf \
  --cache-dir ./models/embeddinggemma-300M

# ReRanker
hf download sinjab/jina-reranker-v2-base-multilingual-Q4_K_M-GGUF \
  jina-reranker-v2-base-multilingual-Q4_K_M.gguf \
  --cache-dir ./models/jina-reranker-v2-base-multilingual

Vision Qwen3.5-9B Pokaż

Mały model kodujący z Vision który można uruchomić na osobnej karcie GPU i wykorzystywać do analizy przez zewnętrzne oprogramowanie

hf download unsloth/Qwen3.5-9B-GGUF \
  Qwen3.5-9B-UD-Q4_K_XL.gguf \
  --cache-dir ./models/Qwen3.5-9B;

# Vision mmproj 
hf download unsloth/Qwen3.5-9B-GGUF \
  mmproj-BF16.gguf \
  --cache-dir ./models/Qwen3.5-9B;

Audio STT Qwen3-ASR-1.7B Pokaż

Mały model STT który można uruchomić na starszym GPU aby obsługiwał STT i wykorzystywać do analizy przez zewnętrzne oprogramowanie

# Qwen3-ASR Audio
hf download unslothai/Qwen3-ASR-1.7B-GGUF \
  Qwen3-ASR-1.7B-Q8_0.gguf \
  --cache-dir ./models/Qwen3-ASR-1.7B;

# Qwen3-ASR Audio mmproj
hf download unslothai/Qwen3-ASR-1.7B-GGUF \
  mmproj-Qwen3-ASR-1.7B-Q8_0.gguf \
  --cache-dir ./models/Qwen3-ASR-1.7B;

Audio TTS llama-tts PokażUkryj
1. OuteAI/Llama-OuteTTS-1.0-1B-GGUF
  hf download Serveurperso/Qwen3-TTS-GGUF \
  qwen-talker-1.7b-customvoice-Q8_0.gguf \
  --cache-dir ./models/qwen3-tts;

Archiwum
Modele zastąpione nowszymi wersjami

Qwen3.6-27B-MTP Pokaż

hf download unsloth/Qwen3.6-27B-MTP-GGUF \
  Qwen3.6-27B-UD-Q4_K_XL.gguf \
  --cache-dir ./models/qwen36-27b-MTP;

# Model dla GPU z 16GB VRAM
hf download unsloth/Qwen3.6-27B-MTP-GGUF \
  Qwen3.6-27B-UD-IQ3_XXS.gguf \
  --cache-dir ./models/qwen36-27b-MTP;

Qwen2.5-Coder-7B-Ins by AceCoder PokażUkryj
Model ma mniejszy context tylko 32K, zjada więcej RAM niż modele unsloth/Qwen2.5-Coder-3B-Instruct-128K-GGUF Qwen2.5-Coder-3B-Instruct-Q8_0.gguf
```
hf download mradermacher/AceCoder-Qwen2.5-Coder-7B-Ins-V1.1-i1-GGUF \
  AceCoder-Qwen2.5-Coder-7B-Ins-V1.1.i1-Q4_K_M.gguf \
  --cache-dir ./models/Qwen2.5-Coder-7B
```

Uruchomienie

Model kodujacy Pokaż

TREE=20260723
MODEL=/home/storage/stripe/llm/models/Qwen2.5-Coder-3B/models--unsloth--Qwen2.5-Coder-3B-Instruct-128K-GGUF/snapshots/5326551926d06f7f9cab53c9b9b552e3bedfe8ba/Qwen2.5-Coder-3B-Instruct-Q8_0.gguf

CTX=131072
RAM=12288

IP=x.x.x.x
PORT=8081

./${TREE}/build/bin/llama-server \
    -m ${MODEL} \
    \
    -t 4 \
    -fa 1 \
    \
    --parallel 2 \
    \
    --ctx-size ${CTX} \
    --cache-ram ${RAM} \
    --cache-type-v q8_0 \
    --cache-type-k q8_0 \
    \
    --jinja \
    --reasoning off\
    \
    --temperature 0.6 \
    --top-k 20 \
    --top-p 0.95 \
    --min-p 0.0 \
    --repeat-penalty 1.0 \
    --presence-penalty 0.0 \
    \
    --batch-size 2048 \
    --ubatch-size 2048 \
    \
    --host ${IP} \
    --port ${PORT}

Model Embedding Pokaż

TREE=20260723
MODEL=/home/storage/stripe/llm/models/embeddinggemma-300M/models--unsloth--embeddinggemma-300m-GGUF/snapshots/6661a6504c30d8304af13455cb4a5d4f5bc6011f/embeddinggemma-300M-Q8_0.gguf

CTX=8192     # maksymalny rozmiar jaki był trenowany dla czterech wątków
RAM=2048

IP=x.x.x.x
PORT=8082

./${TREE}/build/bin/llama-server \
    --embedding \
    -m ${MODEL} \
    \
    -t 4 \
    -fa 1 \
    \
    --parallel 4 \
    \
    --ctx-size ${CTX} \
    --cache-ram ${RAM} \
    --cache-type-v q8_0 \
    --cache-type-k q8_0 \
    \
    --jinja \
    --reasoning off\
    \
    --batch-size 2048 \
    --ubatch-size 2048 \
    \
    --host ${IP} \
    --port ${PORT}

Model Embedding Pokaż

TREE=20260723
MODEL=/home/storage/stripe/llm/models/jina-reranker-v2-base-multilingual/models--sinjab--jina-reranker-v2-base-multilingual-Q4_K_M-GGUF/snapshots/c1b17df2ce6b810e31e2cae9491b98eecf05947b/jina-reranker-v2-base-multilingual-Q4_K_M.gguf

CTX=4096        # Maksymalny jaki był trenowany
RAM=2048

IP=x.x.x.x
PORT=8083

./${TREE}/build/bin/llama-server \
    --reranking \
    -m ${MODEL} \
    --alias jina-reranker-v2 \
    \
    -fa 1 \
    \
    --parallel 4 \
    \
    --ctx-size ${CTX} \
    --cache-ram ${RAM} \
    --cache-type-v q8_0 \
    --cache-type-k q8_0 \
    \
    --jinja \
    --reasoning off\
    \
    --batch-size 2048 \
    --ubatch-size 2048 \
    \
    --host ${IP} \
    --port ${PORT}

Monitoring wykorzystanych zasobów¶

Instalacja zależności Pokaż Ukryj

nvitop potrzebuje do działania libnvidia-ml1

wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \
dpkg -i cuda-keyring_1.1-1_all.deb; \
apt-get update; \
apt-get -y install libnvidia-ml1;

Instalacja nvitop {{collapse()

apt-get install pipx; \
pipx run nvitop;

Linki zewnętrzne:

https://github.com/XuehaiPan/nvitop#installation

Pliki (0)

Projekt

Ogólne

Profil

Public » Linux

Wiki

Nvidia Blackwell 50xx¶

Instalacja sterowników na HOST w Debian Trixie¶

Instalacja NVIDIA Container Toolkit w kontenerze LXC¶

laama.cpp + Nvidia CUDA¶

Pobranie modeli i uruchomienie ¶

Monitoring wykorzystanych zasobów¶

Projekt

Ogólne

Profil

Public » Linux

Wiki

Nvidia Blackwell 50xx¶

Instalacja sterowników na HOST w Debian Trixie¶

Instalacja NVIDIA Container Toolkit w kontenerze LXC¶

laama.cpp + Nvidia CUDA¶

Pobranie modeli i uruchomienie¶

Monitoring wykorzystanych zasobów¶

Pobranie modeli i uruchomienie ¶