Wiki » Konfiguracja serwerów » Hardware » GPU » GPU Nvidia »
GPU Nvidia RTX 40xx¶
Host - Instalacja sterowników na serwer LXC w Debian Trixie¶
Instalacja Pakietów PokażUkryj
rdate -n ntp.task.gda.pl; \ wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \ dpkg -i cuda-keyring_1.1-1_all.deb; \ apt-get update; \ apt-get -y install cuda-toolkit-13-3;
Instalacja samych sterowników headless
apt install nvidia-driver-cuda nvidia-kernel-open-dkmsLinki do zasobów:
- https://wiki.debian.org/NvidiaGraphicsDrivers#data-center
- https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Debian&target_version=13&target_type=deb_network
- https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/latest/debian.html#debian-installation-network
LXC - Instalacja NVIDIA Container Toolkit w kontenerze LXC¶
Instalacja pakietów PokażUkryj
apt-get install -y ca-certificates curl gnupg2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg; \
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
tee /etc/apt/sources.list.d/nvidia-container-toolkit.list; \
apt-get update;
Wybór i instalacja Toolkit VERSION=1.19.0-1
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.0-1; \
apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}; \
Konfiguracja
nvidia-ctk runtime configure --runtime=docker; \ systemctl restart docker;
Konfigurację weryfikujemy wydając polecenie nvidia-container-cli info, jeśli zwrotnie dostaniemy error typu
nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory
Należy doinstalować brakujący pakiet, to obstawiam zostanie poprawione w repo Nvidia
wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \ dpkg -i cuda-keyring_1.1-1_all.deb; \ apt-get update; \ apt-get -y install libnvidia-ml1;Linki zewnętrzne:
Instalacja zależności dla ollama w docker w LXC PokażUkryj
apt-get install cuda-drivers zstd;
W razie problemów można zainstalować lokalnie ollame sprawdzić czy działa w LXC, jeśli działa to sprawdzić czy zadziała w docker i porównać konfiguracje binarek.
curl -fsSL https://ollama.com/install.sh | shLinki zewnętrzne:
laama.cpp + Nvidia CUDA¶
- Instalacja zależności(cmake itd.) PokażUkryj
apt-get install -y cmake ccache libssl-dev;
- Kompilacja llama.cpp PokażUkryj
git clone https://github.com/ggml-org/llama.cpp `date +%Y%m%d-cuda`; \ cd `date +%Y%m%d-cuda`; \ \ CUDA=13.4; \ cmake -B build \ -DGGML_CCACHE=OFF \ -DGGML_CUDA=ON \ -DGGML_CUDA_FA=ON \ -DGGML_CUDA_USE_FLASH_ATTENTION=ON \ -DGGML_CUDA_FA_ALL_QUANTS=ON \ -DGGML_CUDA_FA_QUANTS=all \ -DGGML_CUDA_NCCL=ON \ -DBUILD_SHARED_LIBS=OFF \ -DLLAMA_BUILD_UI=OFF -DLLAMA_USE_PREBUILT_UI=OFF \ -DCMAKE_CUDA_COMPILER=/usr/local/cuda-${CUDA}/bin/nvcc \ -DNCCL_LIBRARY=/usr/local/cuda-${CUDA}/lib64/ \ -DCMAKE_CUDA_ARCHITECTURES=89; \ \ cmake --build build --config Release -j$(nproc);
Pobranie modeli i uruchomienie¶
Instalacja i konfiguracja HuggingFace¶
Instalacja zależności PokażUkryj
apt-get install -y pipx; \ \ pipx install huggingface_hub; \ pipx ensurepath; \ source ~/.bashrc; \ \ export HF_XET_HIGH_PERFORMANCE=1;
Aktualne modele¶
- Qwen3.8-27B-Flash-Next PokażUkryj
- DasLab ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF \ --include "*IQ3_S*" \ --cache-dir ./models/qwen38-flash-next
- DasLab ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
- Qwen3.5-4B model dla Laptopa PokażUkryj
- unsloth/Qwen3.5-4B-GGUF
hf download unsloth/Qwen3.5-4B-GGUF \ Qwen3.5-4B-UD-Q4_K_XL.gguf \ --cache-dir ./models/Qwen3.5-4B-GGUF
- unsloth/Qwen3.5-4B-GGUF
- VSCode
- FIM/Embedding/ReRanker Auto Complete dla IDE PokażUkryj
- Embedding 2
hf download unsloth/embeddinggemma-2-GGUF \ embeddinggemma-2-Q8_0.gguf \ --cache-dir ./models/embeddinggemma-2
- ReRanker jina-reranker-v3.5
hf download jinaai/jina-reranker-v3.5-GGUF \ jina-reranker-v3.5-Q4_K_M.gguf \ --cache-dir ./models/jina-reranker-v3.5
- Embedding 2
- FIM/NextLine Vision Qwen3.5-9B PokażUkryj
Mały model kodujący z Vision który można uruchomić na osobnej karcie GPU i wykorzystywać do analizy przez zewnętrzne oprogramowanie
hf download unsloth/Qwen3.5-9B-GGUF \ Qwen3.5-9B-UD-Q4_K_XL.gguf \ --cache-dir ./models/Qwen3.5-9B; # Vision mmproj hf download unsloth/Qwen3.5-9B-GGUF \ mmproj-BF16.gguf \ --cache-dir ./models/Qwen3.5-9B;
- FIM/Embedding/ReRanker Auto Complete dla IDE PokażUkryj
- Audio STT Qwen3-ASR-1.7B PokażUkryj
Mały model STT który można uruchomić na starszym GPU aby obsługiwał STT i wykorzystywać do analizy przez zewnętrzne oprogramowanie
# Qwen3-ASR Audio hf download unslothai/Qwen3-ASR-1.7B-GGUF \ Qwen3-ASR-1.7B-Q8_0.gguf \ --cache-dir ./models/Qwen3-ASR-1.7B; # Qwen3-ASR Audio mmproj hf download unslothai/Qwen3-ASR-1.7B-GGUF \ mmproj-Qwen3-ASR-1.7B-Q8_0.gguf \ --cache-dir ./models/Qwen3-ASR-1.7B;
Archiwalne modele(już nie używane)¶
- Qwen3.8-27B + Vision PokażUkryj
- 32GB VRAM GPU z 8GB RAM Cache
hf download unsloth/Qwen3.8-27B-GGUF \ Qwen3.8-27B-UD-Q4_K_XL.gguf \ --cache-dir ./models/qwen38-27b
- 32GB VRAM GPU z 16GB RAM Cache
hf download unsloth/Qwen3.8-27B-GGUF \ Qwen3.8-27B-UD-Q6_K_XL.gguf \ --cache-dir ./models/qwen38-27b
- Model dla 2x32GB VRAM GPU
hf download unsloth/Qwen3.8-27B-GGUF \ Qwen3.8-27B-UD-Q8_K_XL.gguf \ --cache-dir ./models/qwen38-27b
- Model dla 1x32GB VRAM GPU, może nawet dla 16GB
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF \ Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf \ --cache-dir ./models/qwen38-27b
- Vision mmproj
hf download unsloth/Qwen3.8-27B-GGUF \ mmproj-F16.gguf \ --cache-dir ./models/qwen38-27b;
- DFlash2
hf download incoai/Qwen3.8-27B-DFlash2-GGUF \ Qwen3.8-27B-DFlash2-Q8_0.gguf \ --cache-dir ./models/qwen38-27b;
- 32GB VRAM GPU z 8GB RAM Cache
- Qwen3.8-27B-Flash-Next PokażUkryj
hf download unsloth/Qwen3.8-Flash-Next-GGUF \ --include "*UD-Q2_K_XL*" \ --cache-dir ./models/qwen38-flash-next
# 96GB VRAM GPU z 64GB RAM Cache hf download unsloth/Qwen3.8-Flash-Next-GGUF \ --include "*UD-IQ3_XXS*" \ --cache-dir ./models/qwen38-flash-next
# 96GB VRAM GPU z 64GB RAM Cache hf download unsloth/Qwen3.8-Flash-Next-GGUF \ --include "MTP/mtp-Qwen3.8-Flash-Next-shared-Q4_K_M.gguf" \ --cache-dir ./models/qwen38-flash-next
- DeepSeek-V4.1-Flash-1017 PokażUkryj
# ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF: IQ2_XXS hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF \ --include "*IQ2_XXS*" \ --cache-dir ./models/ISTA-DASLab; # ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF: Engram hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF \ --include "*Engram*" \ --cache-dir ./models/ISTA-DASLab;
- Qwen3.6-35B-A3B-MTP PokażUkryj
# 32GB VRAM GPU z 64GB RAM Cache hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF \ Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf \ --cache-dir ./models/qwen3.6-35B-A3B
- VSCode FIM/NextLine/Embedding/ReRanker Auto Complete dla IDE PokażUkryj
- FIM/NextLine dla Auto Complete IDE
hf download unsloth/Qwen2.5-Coder-3B-Instruct-128K-GGUF \ Qwen2.5-Coder-3B-Instruct-Q8_0.gguf \ --cache-dir ./models/Qwen2.5-Coder-3B
- Embedding
hf download unsloth/embeddinggemma-300m-GGUF \ embeddinggemma-300M-Q8_0.gguf \ --cache-dir ./models/embeddinggemma-300M
- ReRanker jina-reranker-v2
hf download sinjab/jina-reranker-v2-base-multilingual-Q4_K_M-GGUF \ jina-reranker-v2-base-multilingual-Q4_K_M.gguf \ --cache-dir ./models/jina-reranker-v2-base-multilingual
- FIM/NextLine dla Auto Complete IDE
- DeepSeek-V4.1-Flash-1017 PokażUkryj
- Audio TTS llama-tts PokażUkryj
- OuteAI/Llama-OuteTTS-1.0-1B-GGUF
hf download Serveurperso/Qwen3-TTS-GGUF \
qwen-talker-1.7b-customvoice-Q8_0.gguf \
--cache-dir ./models/qwen3-tts;
- OuteAI/Llama-OuteTTS-1.0-1B-GGUF
- Qwen3.6-27B-MTP PokażUkryj
hf download unsloth/Qwen3.6-27B-MTP-GGUF \ Qwen3.6-27B-UD-Q4_K_XL.gguf \ --cache-dir ./models/qwen36-27b-MTP; # Model dla GPU z 16GB VRAM hf download unsloth/Qwen3.6-27B-MTP-GGUF \ Qwen3.6-27B-UD-IQ3_XXS.gguf \ --cache-dir ./models/qwen36-27b-MTP;
- Qwen2.5-Coder-7B-Ins by AceCoder PokażUkryj
Model ma mniejszy context tylko 32K, zjada więcej RAM niż modele unsloth/Qwen2.5-Coder-3B-Instruct-128K-GGUF Qwen2.5-Coder-3B-Instruct-Q8_0.gguf
hf download mradermacher/AceCoder-Qwen2.5-Coder-7B-Ins-V1.1-i1-GGUF \ AceCoder-Qwen2.5-Coder-7B-Ins-V1.1.i1-Q4_K_M.gguf \ --cache-dir ./models/Qwen2.5-Coder-7B
Uruchomienie¶
- Model kodujacy PokażUkryj
TREE=20260723 MODEL=/home/storage/stripe/llm/models/Qwen2.5-Coder-3B/models--unsloth--Qwen2.5-Coder-3B-Instruct-128K-GGUF/snapshots/5326551926d06f7f9cab53c9b9b552e3bedfe8ba/Qwen2.5-Coder-3B-Instruct-Q8_0.gguf CTX=131072 RAM=12288 IP=x.x.x.x PORT=8081 ./${TREE}/build/bin/llama-server \ -m ${MODEL} \ -t 4 -fa 1 \ --parallel 2 \ --ctx-size ${CTX} --cache-ram ${RAM} \ --cache-type-v q8_0 --cache-type-k q8_0 \ --jinja --reasoning off\ --temperature 0.6 --top-k 20 --top-p 0.95 --min-p 0.0 \ --repeat-penalty 1.0 --presence-penalty 0.0 \ --batch-size 2048 --ubatch-size 2048 \ --host ${IP} --port ${PORT} - Model Embedding PokażUkryj
TREE=20260723 MODEL=/home/storage/stripe/llm/models/embeddinggemma-300M/models--unsloth--embeddinggemma-300m-GGUF/snapshots/6661a6504c30d8304af13455cb4a5d4f5bc6011f/embeddinggemma-300M-Q8_0.gguf CTX=8192 # maksymalny rozmiar jaki był trenowany dla czterech wątków RAM=2048 IP=x.x.x.x PORT=8082 ./${TREE}/build/bin/llama-server \ --embedding -m ${MODEL} \ -t 4 -fa 1 \ --parallel 4 \ --ctx-size ${CTX} --cache-ram ${RAM} \ --cache-type-v q8_0 --cache-type-k q8_0 \ --jinja --reasoning off\ --batch-size 2048 --ubatch-size 2048 \ --host ${IP} --port ${PORT}- Model Embedding PokażUkryj
TREE=20260723 MODEL=/home/storage/stripe/llm/models/jina-reranker-v2-base-multilingual/models--sinjab--jina-reranker-v2-base-multilingual-Q4_K_M-GGUF/snapshots/c1b17df2ce6b810e31e2cae9491b98eecf05947b/jina-reranker-v2-base-multilingual-Q4_K_M.gguf CTX=4096 # Maksymalny jaki był trenowany RAM=2048 IP=x.x.x.x PORT=8083 ./${TREE}/build/bin/llama-server \ --reranking -m ${MODEL} --alias jina-reranker-v2 \ -fa 1 --parallel 4 \ --ctx-size ${CTX} --cache-ram ${RAM} \ --cache-type-v q8_0 --cache-type-k q8_0 \ --jinja --reasoning off\ --batch-size 2048 --ubatch-size 2048 \ --host ${IP} --port ${PORT}
- Model Embedding PokażUkryj