Personalização do Ollama em execução na GPU

Windows (computador)

A seguir, um exemplo de como personalizar o Ollama para ser executado na GPU em um sistema Windows.

Ollama Por padrão, a CPU é usada para inferência. Para obter uma inferência mais rápida, você pode configurar a GPU usada pelo Ollama. Este tutorial o orientará sobre como definir a variável de ambiente para ativar a aceleração da GPU em sistemas Windows.

pré-condições

• O computador tem uma placa de vídeo NVIDIA.
• Os drivers gráficos NVIDIA estão instalados e podem ser usados com o comando nvidia-smi para verificar se o driver está instalado.
• O kit de ferramentas CUDA está instalado e pode ser usado com o comando nvcc --version para verificar se o CUDA está instalado.

Dica

Para a instalação dos drivers gráficos NVIDIA e do kit de ferramentas CUDA, você pode procurar tutoriais relacionados por conta própria, portanto não os repetirei neste artigo. Se o seu computador atender aos pré-requisitos acima, o Ollama será acelerado por GPU por padrão. Se quiser especificar uma GPU específica, você pode seguir as etapas abaixo para configurá-la.

Configuração de variáveis de ambiente

1. Abra as configurações da variável de ambiente do sistema
   • 在 Windows 搜索栏中输入 “环境变量”，然后选择 “编辑系统环境变量”。
   • 在弹出的 “系统属性” 窗口中，点击 “高级” 选项卡，然后点击 “环境变量” 按钮。
2. Criação da variável OLLAMA_GPU_LAYER
   • 在 “系统变量” 区域，点击 “新建” 按钮。
   • 在 “新建系统变量” 对话框中，输入以下信息：
     • Nome da variável: OLLAMA_GPU_LAYER
     • Valores variáveis: cuda (Isso dirá ao Ollama para usar CUDA para aceleração de GPU)
   • 点击 “确定” 保存变量。

   

3. (Opcional) Especifique a GPU a ser usada
   • Se o seu sistema tiver mais de uma GPU e você quiser especificar que o Ollama use uma GPU específica, poderá definir a opção CUDA_VISIBLE_DEVICES Variáveis de ambiente.
   • Encontra o UUID da GPU: É altamente recomendável usar o UUID em vez do número, pois o número pode mudar devido a atualizações de driver ou reinicializações do sistema.
     • Abra um prompt de comando ou o PowerShell.
     • Executar comando:nvidia-smi -L
     • 在输出中，找到想要使用的 GPU 的 “UUID” 值。 例如：GPU 00000000:01:00.0 inferior UUID : GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx.

     

   • Crie a variável CUDA_VISIBLE_DEVICES:
     • 在 “系统变量” 区域，点击 “新建” 按钮。
     • 在 “新建系统变量” 对话框中，输入以下信息：
       • Nome da variável: CUDA_VISIBLE_DEVICES
       • Valores variáveis: O UUID da GPU encontrada, por exemplo:GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
     • 点击 “确定” 保存变量。

Importante: Para que a variável de ambiente seja efetiva, a variável Reinicie o terminal ou o aplicativo em que o Ollama está sendo executado .

Verifique se a aceleração da GPU está em vigor:

1. Abra um prompt de comando.
2. Execute o Ollama, por exemplo: ollama run deepseek-r1:1.5b
3. Abra uma nova janela do prompt de comando e use o comando ollama ps para visualizar os processos em execução no Ollama.

Linux

A seguir, um exemplo de como personalizar o Ollama para ser executado na GPU em um sistema Linux.

1. estabelecer ollama_gpu_selector.sh com o seguinte conteúdo:

#!/bin/bash

# Validate input
validate_input(){
if[[! $1 =~^[0-4](,[0-4])*$ ]];then
echo "Error: Invalid input. Please enter numbers between 0 and 4, separated by commas."
exit1
fi
}

# Update the service file with CUDA_VISIBLE_DEVICES values
update_service(){
# Check if CUDA_VISIBLE_DEVICES environment variable exists in the service file
if grep -q '^Environment="CUDA_VISIBLE_DEVICES='/etc/systemd/system/ollama.service;then
# Update the existing CUDA_VISIBLE_DEVICES values
sudo sed -i 's/^Environment="CUDA_VISIBLE_DEVICES=.*/Environment="CUDA_VISIBLE_DEVICES='"$1"'"/'/etc/systemd/system/ollama.service
else
# Add a new CUDA_VISIBLE_DEVICES environment variable
sudo sed -i '/\[Service\]/a Environment="CUDA_VISIBLE_DEVICES='"$1"'"'/etc/systemd/system/ollama.service
fi

# Reload and restart the systemd service
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
echo "Service updated and restarted with CUDA_VISIBLE_DEVICES=$1"
}

# Check if arguments are passed
if["$#"-eq 0];then
# Prompt user for CUDA_VISIBLE_DEVICES values if no arguments are passed
read -p "Enter CUDA_VISIBLE_DEVICES values (0-4, comma-separated): " cuda_values
validate_input "$cuda_values"
update_service "$cuda_values"
else
# Use arguments as CUDA_VISIBLE_DEVICES values
cuda_values="$1"
validate_input "$cuda_values"
update_service "$cuda_values"
fi

2. Adição de permissões de execução a arquivos de script

chmod +x ollama_gpu_selector.sh
sudo ./ollama_gpu_selector.sh

Depois de executar o script, siga as solicitações do número da GPU para especificar a GPU usada pelo Ollama. Você pode usar vírgulas para separar vários números de GPU, por exemplo:0,1,2.

3. Reiniciar o serviço Ollama

cat /etc/systemd/system/ollama.service

Depois de executar o comando, examine o arquivo de serviço do Ollama e confirme que a opção CUDA_VISIBLE_DEVICES As variáveis de ambiente foram atualizadas.

Se tiver sido atualizado, ele adicionará, por exemplo Environment="CUDA_VISIBLE_DEVICES=0,1,2" variáveis de ambiente.