Public » Linux

GPU Intel¶

1. w kernelu nie dodajemy nomodeseting*
2. dummy plug / virtual display aby karta była aktywna PokażUkryj
   Porty na karcie to Display Port *konieczna przejsciówka lub kabel DP->HDMI):

   1. port 1 HDMI DP dummy plug
   2. port 2 Kabel DP->HDMI i monitor(u nas KVM)

   Kolejność jest ważna ponieważ port 1 stale jest włączony i karta się nie dezaktywuje, a port 2 aktywuje się w momencie włączenia KVM. Przy odwrotnym podłączeniu portów urządzenie sie dezaktywuje gdy przełączamy KVM na inny port

Monitoring wykorzystania¶

Opisać

apt-get install -y ???;

llama.cpp + Vulkan¶

1. Instalacja zależności(cmake itd.) PokażUkryj

   apt-get install -y cmake glslc libvulkan-dev;
   

2. Kompilacja llama.cpp PokażUkryj

   git clone https://github.com/ggml-org/llama.cpp `date +%Y%m%d`; \
   cd `date +%Y%m%d`; \
   \
   cmake -B build \
     -DGGML_VULKAN=ON; \
   \
   cmake --build build --config Release -j$(nproc);
   

Pobranie modeli i uruchomienie¶

1. Pobranie modeli PokażUkryj

   apt-get install -y pipx; \
    \
   pipx install huggingface_hub; \
   pipx ensurepath; \
   source ~/.bashrc; \
    \
   export HF_XET_HIGH_PERFORMANCE=1;
   
   hf download unsloth/Qwen3.6-27B-GGUF \
     Qwen3.6-27B-Q4_K_M.gguf \
     --cache-dir ./models/qwen36-27b
   
   hf download unsloth/Qwen3.6-27B-MTP-GGUF \
     Qwen3.6-27B-UD-Q4_K_XL.gguf \
     --cache-dir ./models/qwen36-27b-MTP;
   
   hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
    --cache-dir ./models/Qwen3.6-35B-A3B-MTP-GGUF/
   
   

2. Uruchomienie PokażUkryj

   screen -S llm-b70 source /opt/intel/oneapi/setvars.sh; ONEAPI_DEVICE_SELECTOR="level_zero:0"; ./build/bin/llama-server \ 
     -m ./models/qwen36-27b/Qwen3.6-27B-Q4_K_M.gguf \
     --device SYCL0 -ngl 999   --ctx-size 196608   --jinja   --reasoning off   --host x.x.x.x --port 8080