跳转至

nvidia-container-toolkit 国内镜像源安装

  • "docker加速"
  • "nvidia-container-toolkit"
  • "nvidia"

在使用大模型的时候，很多情况需要经常更新模型或者使用平台，所以时常更新代码或环境。 但是若在实体机更新导致环境混乱，维护不便，所以使用 docker 环境进行更新。 使用 docker 运行模型的时候要让其支持 GPU 需要使用 nvidia-container-toolkit 工具。

安装 nvidia-container-toolkit 官网

确认支持平台（之前本人使用的 ubuntu23.04导致安装不上） alt text

官方安装流程[text]

国内(2024-12-27无法访问，导致安装不了)

国内镜像源安装流程

国内 USTC 镜像源地址感谢镜像源！

先下载镜像 gpgkey

Bash
1
curl -fsSL https://mirrors.ustc.edu.cn/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

配置中科大镜像APT源

Bash
1
2
3
curl -s -L https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://nvidia.github.io#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://mirrors.ustc.edu.cn#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

更新APT包列表

Bash
1
sudo apt-get update

安装NVIDIA Container Toolkit

Bash
1
sudo apt-get install -y nvidia-container-toolkit

验证安装

Bash
1
nvidia-container-cli --version

测试

在 docker-compose.yml 中添加支持 GPU

Bash
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
services:
  ollama:
    image: ollama/ollama:0.5.4
    container_name: ${CONTAINER_NAME}
    restart: unless-stopped
    ports:
      - ${PANEL_APP_PORT_HTTP}:11434
    networks:
      - 1panel-network
    tty: true
    volumes:
      - ./data:/root/.ollama
    labels:
      createdBy: "Apps"
    # 添加 GPU 支持
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
    # 如果使用 NVIDIA Container Toolkit，可以添加以下环境变量
    environment:
      NVIDIA_VISIBLE_DEVICES: all
      NVIDIA_DRIVER_CAPABILITIES: "compute,utility"

networks:
  1panel-network:
    external: true