Public » Linux

wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \
dpkg -i cuda-keyring_1.1-1_all.deb; \
apt-get update; \
apt-get -y install cuda-toolkit-13-2;

Instalacja samych sterowników headless

apt install nvidia-driver-cuda nvidia-kernel-open-dkms

• https://wiki.debian.org/NvidiaGraphicsDrivers#data-center
• https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Debian&target_version=13&target_type=deb_network
• https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/latest/debian.html#debian-installation-network

apt-get install -y ca-certificates curl gnupg2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg; \
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list \
; \
apt-get update;

Wybór i instalacja Toolkit VERSION=1.19.0-1

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.19.0-1; \
apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}; \

Konfiguracja

nvidia-ctk runtime configure --runtime=docker; \
systemctl restart docker; 

Konfigurację weryfikujemy wydając polecenie nvidia-container-cli info, jeśli zwrotnie dostaniemy error typu

nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory

Należy doinstalować brakujący pakiet, to obstawiam zostanie poprawione w repo Nvidia

wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb; \
dpkg -i cuda-keyring_1.1-1_all.deb; \
apt-get update; \
apt-get -y install libnvidia-ml1;

• https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

apt-get install cuda-drivers;

W razie problemów można zainstalować lokalnie ollame sprawdzić czy działa w LXC, jeśli działa to sprawdzić czy zadziała w docker i porównać konfiguracje binarek.

curl -fsSL https://ollama.com/install.sh | sh

• https://github.com/ollama/ollama/blob/main/docs/linux.mdx

apt-get install pipx; \
pipx run nvitop;

• https://github.com/XuehaiPan/nvitop#installation