Ollama-Anpassung läuft auf der GPU

Windows (Computer)

Im Folgenden finden Sie ein Beispiel dafür, wie Sie Ollama so anpassen können, dass es auf der GPU eines Windows-Systems läuft.

Ollama Standardmäßig wird die CPU für die Inferenz verwendet. In dieser Anleitung erfahren Sie, wie Sie die Umgebungsvariable setzen, um die GPU-Beschleunigung auf Windows-Systemen zu aktivieren.

Vorbedingungen

• Der Computer ist mit einer NVIDIA-Grafikkarte ausgestattet.
• NVIDIA-Grafiktreiber sind installiert und können mit dem Befehl nvidia-smi um zu prüfen, ob der Treiber installiert ist.
• Das CUDA-Toolkit ist installiert und kann mit dem Befehl nvcc --version um zu prüfen, ob CUDA installiert ist.

Tipp

Für die Installation der NVIDIA-Grafiktreiber und des CUDA-Toolkits können Sie selbst nach entsprechenden Anleitungen suchen, daher werde ich sie in diesem Artikel nicht wiederholen. Wenn Ihr Computer die oben genannten Voraussetzungen erfüllt, ist Ollama standardmäßig GPU-beschleunigt. Wenn Sie einen bestimmten Grafikprozessor angeben möchten, können Sie die folgenden Schritte befolgen, um ihn einzurichten.

Umgebungsvariablen konfigurieren

1. Öffnen Sie die Einstellungen der Systemumgebungsvariablen
   • 在 Windows 搜索栏中输入 “环境变量”，然后选择 “编辑系统环境变量”。
   • 在弹出的 “系统属性” 窗口中，点击 “高级” 选项卡，然后点击 “环境变量” 按钮。
2. Erstellen der Variable OLLAMA_GPU_LAYER
   • 在 “系统变量” 区域，点击 “新建” 按钮。
   • 在 “新建系统变量” 对话框中，输入以下信息：
     • Name der Variablen: OLLAMA_GPU_LAYER
     • Variable Werte: cuda (Damit wird Ollama angewiesen, CUDA für die GPU-Beschleunigung zu verwenden)
   • 点击 “确定” 保存变量。

   

3. (Optional) Geben Sie die zu verwendende GPU an.
   • Wenn Ihr System über mehr als einen Grafikprozessor verfügt und Sie festlegen möchten, dass Ollama einen bestimmten Grafikprozessor verwendet, können Sie die Option CUDA_VISIBLE_DEVICES Umgebungsvariablen.
   • Ermittelt die UUID der GPU: Es wird dringend empfohlen, die UUID anstelle der Nummer zu verwenden, da sich die Nummer aufgrund von Treiberaktualisierungen oder Systemneustarts ändern kann.
     • Öffnen Sie eine Eingabeaufforderung oder PowerShell.
     • Befehl ausführen:nvidia-smi -L
     • 在输出中，找到想要使用的 GPU 的 “UUID” 值。 例如：GPU 00000000:01:00.0 unter UUID : GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx.

     

   • Erstellen Sie die Variable CUDA_VISIBLE_DEVICES:
     • 在 “系统变量” 区域，点击 “新建” 按钮。
     • 在 “新建系统变量” 对话框中，输入以下信息：
       • Name der Variablen: CUDA_VISIBLE_DEVICES
       • Variable Werte: Die UUID der gefundenen GPU, zum Beispiel:GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
     • 点击 “确定” 保存变量。

Das ist wichtig: Damit die Umgebungsvariable wirksam wird, muss die Starten Sie das Terminal oder die Anwendung, auf der Ollama läuft, neu .

Überprüfen Sie, ob die GPU-Beschleunigung aktiviert ist:

1. Öffnen Sie eine Eingabeaufforderung.
2. Führen Sie zum Beispiel Ollama aus: ollama run deepseek-r1:1.5b
3. Öffnen Sie ein neues Fenster der Eingabeaufforderung und verwenden Sie den Befehl ollama ps um die in Ollama laufenden Prozesse anzuzeigen.

Linux

Im Folgenden finden Sie ein Beispiel dafür, wie Sie Ollama so anpassen, dass es auf der GPU eines Linux-Systems läuft.

1. einrichten. ollama_gpu_selector.sh Skriptdatei mit dem folgenden Inhalt:

#!/bin/bash

# Validate input
validate_input(){
if[[! $1 =~^[0-4](,[0-4])*$ ]];then
echo "Error: Invalid input. Please enter numbers between 0 and 4, separated by commas."
exit1
fi
}

# Update the service file with CUDA_VISIBLE_DEVICES values
update_service(){
# Check if CUDA_VISIBLE_DEVICES environment variable exists in the service file
if grep -q '^Environment="CUDA_VISIBLE_DEVICES='/etc/systemd/system/ollama.service;then
# Update the existing CUDA_VISIBLE_DEVICES values
sudo sed -i 's/^Environment="CUDA_VISIBLE_DEVICES=.*/Environment="CUDA_VISIBLE_DEVICES='"$1"'"/'/etc/systemd/system/ollama.service
else
# Add a new CUDA_VISIBLE_DEVICES environment variable
sudo sed -i '/\[Service\]/a Environment="CUDA_VISIBLE_DEVICES='"$1"'"'/etc/systemd/system/ollama.service
fi

# Reload and restart the systemd service
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
echo "Service updated and restarted with CUDA_VISIBLE_DEVICES=$1"
}

# Check if arguments are passed
if["$#"-eq 0];then
# Prompt user for CUDA_VISIBLE_DEVICES values if no arguments are passed
read -p "Enter CUDA_VISIBLE_DEVICES values (0-4, comma-separated): " cuda_values
validate_input "$cuda_values"
update_service "$cuda_values"
else
# Use arguments as CUDA_VISIBLE_DEVICES values
cuda_values="$1"
validate_input "$cuda_values"
update_service "$cuda_values"
fi

2. Hinzufügen von Ausführungsberechtigungen zu Skriptdateien

chmod +x ollama_gpu_selector.sh
sudo ./ollama_gpu_selector.sh

Nachdem Sie das Skript ausgeführt haben, befolgen Sie die Aufforderungen zur Eingabe der GPU-Nummer, um die von Ollama verwendete GPU anzugeben. Sie können z. B. mehrere GPU-Nummern durch Kommas trennen:0,1,2.

3. Neustart des Ollama-Dienstes

cat /etc/systemd/system/ollama.service

Nachdem Sie den Befehl ausgeführt haben, sehen Sie sich die Ollama-Dienstdatei an und bestätigen Sie, dass die CUDA_VISIBLE_DEVICES Die Umgebungsvariablen wurden aktualisiert.

Wenn sie aktualisiert wurde, fügt sie zum Beispiel Folgendes hinzu Environment="CUDA_VISIBLE_DEVICES=0,1,2" Umgebungsvariablen.