کانفیگ لوکال بنده :

services:
  ollama:
    volumes:
      - ~/.ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    ports:
      - 11434:11434
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    deploy:
      resources:
        reservations:
          devices:
            - driver: ${OLLAMA_GPU_DRIVER-nvidia}
              count: ${OLLAMA_GPU_COUNT-2}
              capabilities:
                - gpu

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: "/ollama"
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

  qdrant:
    volumes:
      - qdrant_db:/qdrant/storage:z
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - 6333:6333
      - 6334:6334

volumes:
  open-webui: {}
  qdrant_db: {}

${OLLAMA_GPU_COUNT-2}

for model in devstral gemma3:27b deepseek-r1:32b qwen3:32b nomic-embed-text; do                                                                                              
    docker exec -it ollama ollama pull "$model"
done

embedding provider: Ollama
Model: nomic-embed-text
ollama url: http://localhost:11434
Qdrant url: http://localhost:6333

دستاوردهای یادگیری عمیق(InTec)

کانفیگ لوکال بنده :

services:
  ollama:
    volumes:
      - ~/.ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    ports:
      - 11434:11434
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    deploy:
      resources:
        reservations:
          devices:
            - driver: ${OLLAMA_GPU_DRIVER-nvidia}
              count: ${OLLAMA_GPU_COUNT-2}
              capabilities:
                - gpu

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: "/ollama"
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

  qdrant:
    volumes:
      - qdrant_db:/qdrant/storage:z
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - 6333:6333
      - 6334:6334

volumes:
  open-webui: {}
  qdrant_db: {}

فقط این دیفالت رو از ۲ به تعداد کارت گرافیک تغییر بدید :

${OLLAMA_GPU_COUNT-2}

و از داکیومنت ollama موارد لازم برای راه‌اندازی docker-nvidia رو نصب کنید.

بعد از این مرحله مدل‌های مورد نظرتون رو دانلود کنید:

for model in devstral gemma3:27b deepseek-r1:32b qwen3:32b nomic-embed-text; do                                                                                              
    docker exec -it ollama ollama pull "$model"
done

وقتی این موارد تموم شد roocode رو روی vscode نصب کنید (پیشنهاد می‌کنم از بخش تنظیمات experimental قابلیت codebase indexing رو فعال کنید)

embedding provider: Ollama
Model: nomic-embed-text
ollama url: http://localhost:11434
Qdrant url: http://localhost:6333

علاوه بر این از طریق http://localhost:3000 می‌تونید openweb-ui رو هم داشته باشید.

hottg.com/pytens/1747

4.1K viewsJun 11 at 12:50