Afbeeldingen genereren in Open WebUI chat sessies

Open WebUI biedt naast gewone chats ook extra tools zoals image generation en een eigen Workspace. In deze aanvullende handleiding laten we zien hoe je afbeeldingen genereert en hoe je de vijf Workspace-tabbladen gebruikt om modellen, kennis, prompts, skills en tools centraal te beheren.

Afbeeldingen genereren in Open WebUI

Open WebUI kan niet alleen tekst genereren, maar ook afbeeldingen aanmaken en bewerken. Daarvoor moet een administrator eerst een image provider configureren. Pas daarna kunnen gebruikers vanuit een chat een prompt sturen waarmee Open WebUI een afbeelding laat genereren.

In de admin-instellingen van Open WebUI worden standaard meerdere image engines aangeboden, waaronder Default (Open AI), ComfyUI, Automatic1111 en Gemini.

Stap 1

Open als administrator het gebruikersmenu links onderin en klik op ‘Admin Panel’.

Stap 2

Open het tabblad ‘Settings’ en klik links op ‘Images’.
Schakel daarna bovenaan de optie ‘Image Generation’ in. Zonder deze instelling blijft afbeeldingsgeneratie uitgeschakeld voor de hele omgeving.
Kies onder ‘Create Image’ welke engine je wilt gebruiken en vul daarna de gevraagde gegevens in. Bij een OpenAI-compatible endpoint zijn dat bijvoorbeeld:
1. Image Generation Engine: bijvoorbeeld Default (Open AI).
2. OpenAI API Base URL: bijvoorbeeld https://api.openai.com/v1 of het adres van je eigen OpenAI-compatible endpoint.
3. OpenAI API Key: de API-sleutel van je provider.
4. OpenAI API Version: alleen als je provider dit vereist.
5. Additional Parameters: optioneel, voor aanvullende JSON-instellingen.
  
  Let op: Gebruik je ComfyUI of Automatic1111, dan verwijs je hier naar het adres van die image-server in plaats van naar een OpenAI-compatible endpoint. Deze opties vallen op dit moment buiten de scope van deze handleiding.
Klik op ‘Save’ om de instellingen op te slaan.

Stap 3

Open nu ‘Workspace’ > ‘Models’ en maak desgewenst een eigen modelpreset aan via ‘New Model’, of bewerk een bestaand model. Kies onder ‘Base Model (From)’ het taalmodel dat de chat afhandelt en schakel vervolgens bij ‘Capabilities’ de optie ‘Image Generation’ in.

Wil je dat dit model standaard met afbeeldingsgeneratie werkt, schakel dan onder ‘Default Features’ ook ‘Image Generation’ in.

De modelpreset in Open WebUI bepaalt niet welk beeldmodel er op de achtergrond gebruikt wordt. Je koppelt hier vooral welke chatagent toegang krijgt tot de image tool en welke extra kennis, prompts, skills en tools standaard actief zijn.

Stap 6

Start een nieuwe chat en selecteer het model of de modelpreset die afbeeldingsgeneratie mag gebruiken. Geef daarna in natuurlijke taal aan wat je wilt laten maken, bijvoorbeeld:

Genereer een realistische productfoto van een blauwe waterfles op een witte achtergrond.

In moderne configuraties met native tool calling roept het model de image tool daarna automatisch aan. Je gebruikt dus gewoon een normale prompt en klikt op ‘Send’.

Stap 7

Wil je een bestaande afbeelding laten aanpassen? Schakel dan onder ‘Edit Image’ eerst ‘Image Edit’ in en configureer daar ook de juiste engine. Daarna upload je in een chat een afbeelding en beschrijf je welke wijziging je wilt laten uitvoeren.

Lokale image generation met ComfyUI op Ubuntu 24.04

Wil je geen externe image provider gebruiken, dan kun je Open WebUI koppelen aan een lokale ComfyUI-server. In deze opzet verzorgt ComfyUI de daadwerkelijke afbeeldingsgeneratie.

Deze opzet werkt zowel met een GPU als met een CPU-only server. Heb je geen GPU, dan kun je ComfyUI in CPU mode draaien. Houd er wel rekening mee dat met CPU dit erg lang kan duren (256x256 pixels duurt +- 20 minuten met de beschreven instellingen).

Stap 1

Installeer eerst de basiscomponenten op je Ubuntu 24.04-server en download ComfyUI.

sudo apt -y update
sudo apt install -y git python3-venv python3-pip

cd /opt
sudo git clone https://github.com/Comfy-Org/ComfyUI.git
sudo chown -R $USER:$USER /opt/ComfyUI

cd /opt/ComfyUI
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

Stap 2

Installeer vervolgens de juiste PyTorch-installatie voor jouw server (PyTorch is een open source machine learning framework):

CPU-only server (geen GPU):

BladeVPS, PerformanceVPS en de reguliere VPS komen zonder GPU.

pip install torch torchvision
pip install -r requirements.txt

Server met GPU:
Installeer de PyTorch-build die past bij jouw hardware (bijvoorbeeld CUDA of ROCm). Gebruik hiervoor simpelweg de tabel op deze pagina. Kopieer en plak het commando dat de tabel je toont op je server. Installeer daarna de overige ComfyUI-dependencies:

pip install -r requirements.txt

Stap 3

Download een checkpoint voor ComfyUI. Binnen ComfyUI is een checkpoint het basismodel dat gebruikt wordt om afbeeldingen te genereren.

Hieronder laten we een voorbeeld zien van een lichtere checkpoint voor CPU-only, een zwaardere voor GPU, en hoe je optioneel daar bovenop een Lora download (een Lora past de stijl aan van gegenereerde afbeeldingen).

CPU-only checkpoint

Voor een eenvoudige CPU-only setup kun je beginnen met één basis-checkpoint en dat in models/checkpoints/ zetten:

cd /opt/ComfyUI/models/checkpoints

curl -L -o v2-1_512-ema-pruned.safetensors \
  https://huggingface.co/sd2-community/stable-diffusion-2-1-base/resolve/main/v2-1_512-ema-pruned.safetensors

GPU-checkpoint

cd /opt/ComfyUI/models/checkpoints

curl -L -o sd_xl_base_1.0.safetensors \
  https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors

Een Lora downloaden

Gebruik je een workflow die ook een LoRA ondersteunt, plaats dat bestand dan in models/loras/:

cd /opt/ComfyUI/models/loras

curl -L -o sd_xl_offset_example-lora_1.0.safetensors \
  https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors

Een LoRA vervangt het hoofdmodel niet, maar werkt als aanvulling bovenop een compatibel checkpoint.

Stap 4

Maak een systemd-service aan voor ComfyUI die automatisch opstart. Zo blijft je image-server ook na een reboot beschikbaar.

Vervang in beide voorbeelden User=ubuntu door de Linux-gebruiker waaronder je ComfyUI wilt draaien.

CPU-only server:

sudo tee /etc/systemd/system/comfyui.service > /dev/null <<'EOF'
[Unit]
Description=ComfyUI
After=network.target

[Service]
Type=simple
User=ubuntu
WorkingDirectory=/opt/ComfyUI
ExecStart=/opt/ComfyUI/.venv/bin/python /opt/ComfyUI/main.py --listen 0.0.0.0 --cpu --preview-method none
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

GPU-server

sudo tee /etc/systemd/system/comfyui.service > /dev/null <<'EOF'
[Unit]
Description=ComfyUI
After=network.target

[Service]
Type=simple
User=ubuntu
WorkingDirectory=/opt/ComfyUI
ExecStart=/opt/ComfyUI/.venv/bin/python /opt/ComfyUI/main.py --listen 0.0.0.0
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

Activeer de service vervolgens:

sudo systemctl daemon-reload
sudo systemctl enable --now comfyui

Stap 5

Open poort 8188/tcp in je firewall (UFW bij onze Open WebUI installatie):

sudo ufw allow 8188/tcp

Na het starten is ComfyUI doorgaans bereikbaar op:

http://<jouw-server-ip>:8188

Stap 6

Draait Open WebUI in Docker (aanbevolen) op dezelfde server als ComfyUI, zorg dan dat de container de server kan bereiken via host.docker.internal. Op Linux voeg je daarvoor expliciet een host-gateway mapping toe.

Docker Compose

Gebruik je Docker Compose (dit is het geval voor onze Open WebUI installatie), voeg dan minimaal dit toe aan de Open WebUI-service:

extra_hosts:
  - "host.docker.internal:host-gateway"
environment:
  - ENABLE_IMAGE_GENERATION=True
  - COMFYUI_BASE_URL=http://host.docker.internal:8188/

Docker run

Gebruik je docker run, dan ziet dat het commando er bijvoorbeeld als volgt uit:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e ENABLE_IMAGE_GENERATION=True \
  -e COMFYUI_BASE_URL=http://host.docker.internal:8188/ \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Draait Open WebUI niet in Docker maar rechtstreeks op dezelfde server, dan kun je meestal gewoon http://127.0.0.1:8188/ of het lokale serveradres gebruiken.

Stap 7

Schakel nu ComfyUI in voor gebruik met Open WebUI. Klik links onderin op het icoontje met de letters van je voor- en achternaam en selecteer ‘Admin Panel’.

Stap 8

Gebruik je een VPS zonder GPU? Dan duurt het genereren van een afbeelding van 512x512 pixels met 20 steps al snel een minuut of 5 (exclusief de tijd die je LLM nodig heeft om de instructie te verwerken en voor het genereren van antwoord tekst bij de afbeelding).

Open vervolgens het tab-blad ‘Settings’ (1) bovenaan en klik in het linkermenu op ‘Images’ (2).

3. Image Generation: schakel in om afbeeldingen te kunnen gerereren.
4. Image Generation Engine: selecteer ComfyUI en klik achter ‘ComfyUI Base URL’ (5) op het herlaad-icoon om de verbinding te testen.
6. Model: Klik één keer met de linkermuisknop om de beschikbare modellen te zien en selecteer de naam van de checkpoint die je eerder hebt gedownload.
7. Image Size: pas de maximale resolutie naar wens aan.
8. Steps: pas naar wens de hoeveelheid steps aan. 50 is een goede richtlijn voor servers met GPU, tussen de 10-20 steps voor een server zonder GPU. In het algemeen geldt, hoe meer steps, hoe accurater de afbeelding en hoe langer het model ervoor nodig heeft.
9. ComfyUI Workflow: met ComfyUI maak je workflows waarin je definieert hoe afbeeldingen (of videos/muziek) gegenereerd worden. Voor de scope van deze handleiding gaan we uit van een eenvoudige workflow voor het genereren van afbeeldingen. Kopieer de code in het element hieronder, klik vervolgens op ‘Edit’ (9) en plak de gekopieerde code over de bestaande code heen. Sluit vervolgens het venster.

ComfyUI Workflow code

Gebruik je een ander checkpoint dan v2-1_512-ema-pruned.safetensors? Pas dan de naam aan in de code, of breid de beschikbare opties uit als volgt:

    "inputs": {
      "ckpt_name": "v2-1_256-ema-pruned.safetensors",
      "ckpt_name": "v2-1_512-ema-pruned.safetensors",
      "ckpt_name": "v2-1_1024-ema-pruned.safetensors"
    },

{
  "3": {
    "inputs": {
      "seed": 0,
      "steps": 12,
      "cfg": 8,
      "sampler_name": "euler",
      "scheduler": "normal",
      "denoise": 1,
      "model": [
        "4",
        0
      ],
      "positive": [
        "6",
        0
      ],
      "negative": [
        "7",
        0
      ],
      "latent_image": [
        "5",
        0
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "KSampler"
    }
  },
  "4": {
    "inputs": {
      "ckpt_name": "v2-1_512-ema-pruned.safetensors"
    },
    "class_type": "CheckpointLoaderSimple",
    "_meta": {
      "title": "Load Checkpoint"
    }
  },
  "5": {
    "inputs": {
      "width": 256,
      "height": 256,
      "batch_size": 1
    },
    "class_type": "EmptyLatentImage",
    "_meta": {
      "title": "Empty Latent Image"
    }
  },
  "6": {
    "inputs": {
      "text": "Prompt",
      "clip": [
        "4",
        1
      ]
    },
    "class_type": "CLIPTextEncode",
    "_meta": {
      "title": "CLIP Text Encode (Prompt)"
    }
  },
  "7": {
    "inputs": {
      "text": "",
      "clip": [
        "4",
        1
      ]
    },
    "class_type": "CLIPTextEncode",
    "_meta": {
      "title": "CLIP Text Encode (Negative Prompt)"
    }
  },
  "8": {
    "inputs": {
      "samples": [
        "3",
        0
      ],
      "vae": [
        "4",
        2
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE Decode"
    }
  },
  "9": {
    "inputs": {
      "filename_prefix": "ComfyUI",
      "images": [
        "8",
        0
      ]
    },
    "class_type": "SaveImage",
    "_meta": {
      "title": "Save Image"
    }
  }
}

Geef in stap 10 t/m 15 aan in welke node van de in stap 9 toegevoegde ComfyUI workflow zich verschillende onderdelen bevinden.

10. text: 6
11. ckpt_name: 4
12. width: 5
13. height: 5
14. steps: 3
15. seed: 3
16. Save: sla de wijzigingen op.

Stap 9

Klik nog steeds in de ‘Settings’-tab in het linkermenu op ‘Models’. Klik vervolgens op het potlood achter het model waar je image generation capaciteiten aan wil meegeven.

Scroll naar onderen en vink onder ‘Default Features’ de optie ‘Image Generation’ aan en klik op ‘Save & Update’.

Herhaal deze stap voor ieder LLM waar je image generation voor wil inschakelen. Je kunt nu gebruik maken van image generation in een chat-sessie!

ComfyUI gebruiken buiten de context van Open WebUI

Voor deze handleiding gaan we ervan uit dat je ComfyUI op een VPS zonder desktopomgeving gebruikt. Je kunt dan niet op de VPS zelf een browser openen om ComfyUI te beheren. Er is een relatief eenvoudige en veilige manier om toch bij het ComfyUI-dashboard te kunnen komen; door een SSH-tunnel op te zetten. Dit doe je eenvoudig vanuit de terminal/powershell/WSL vanaf je eigen computer of laptop met één commando:

ssh -N -L 8188:127.0.0.1:8188 -p 12345 username@123.123.123.123

Vervang in dit commando:

12345 door het poortnummer dat je gebruikt voor SSH-verbindingen. Heb je het poortnummer niet aangepast? Dan gebruik je -p 22 (of laat je het weg).
username door de gebruikersnaam waarmee je verbonden bent met je VPS.
123.123.123.123 door het IP-adres of een (sub)domeinnaam die naar jouw VPS verwijst (e.g. claw.voorbeeld.nl).

Open je browser op de computer/laptop waarop je de SSH-tunnel hebt opgezet en ga naar 127.0.0.1:8188 in je browser. Je komt nu in het ComfyUI-dashboard terecht.

Problemen met lokale image generation via ComfyUI

Open WebUI kan ComfyUI niet bereiken: controleer of ComfyUI draait met --listen 0.0.0.0 en of poort 8188 bereikbaar is.
De test van de Base URL faalt in Docker: controleer of je Open WebUI-container gestart is met --add-host=host.docker.internal:host-gateway of de equivalente Compose-instelling.
CPU-only generatie duurt erg lang: dat is normaal in --cpu-modus. Verlaag de resolutie, gebruik minder steps en begin met een eenvoudige workflow.
Je krijgt een workflowfout of JSON-fout: exporteer de workflow opnieuw via Export (API) en niet via een gewone save.
Er verschijnt geen afbeelding: controleer of het gekozen model echt beschikbaar is in ComfyUI en of de workflow naar de juiste modelnaam verwijst.
Image editing werkt niet: gebruik voor image-to-image of inpainting een workflow die ook een image-input verwacht; een pure text-to-image workflow is daarvoor niet genoeg.

Sorry, we konden geen resultaten vinden voor jouw zoekopdracht.

Account

Bestellingen & Facturatie

Overige vragen

Domeinen & DNS

Webhosting & E-mail

STACK

VPS

OpenStack

Kubernetes

Overige producten