ComfyUI: Aprenda a usar IAs multimodais de forma ilimitada e local

O panorama da Inteligência Artificial Generativa, particularmente no domínio visual, foi fundamentalmente transformado pela emergência de modelos abertos e acessíveis. O Stable Diffusion (SD), desenvolvido primariamente pela Stability AI, é o expoente dessa mudança, oferecendo não apenas modelos de alta qualidade, como o SDXL e SDXL Turbo, mas também uma arquitetura que incentiva a experimentação e a personalização. Esta abertura permitiu que a comunidade desenvolvesse técnicas avançadas, como o LoRA (Low-Rank Adaptation), que, utilizando um pequeno número de parâmetros treináveis, permite aos criadores adaptar modelos base a estilos específicos com notável eficiência.

A capacidade de customização, que inclui o uso de ControlNet para guiar a composição e a estrutura da imagem, confere aos usuários do Stable Diffusion um nível de controle extenso sobre o processo criativo. No entanto, interfaces de usuário mais simples e lineares lutam para expor e gerenciar essa complexidade inerente. É neste ponto que o ComfyUI se estabelece como uma ferramenta indispensável. Ao contrário das interfaces tradicionais, o ComfyUI expõe o processo de geração como um workflow modular baseado em nodos (Nodes). Cada componente do pipeline – desde o carregamento do modelo e dos ajustes LoRA até a amostragem (Sampler) – torna-se um bloco interconectado, formando um grafo de execução. Essa abordagem gráfica é crucial para otimizar o uso da VRAM e criar pipelines de processamento não lineares, oferecendo o máximo de controle e eficiência de hardware.

Requisitos de sistema para executar o ComfyUI

Antes de mais nada, é importante salientar que o Comfy não é um sistema que será executado de forma fluida em todo tipo de configuração. Sabemos que, para rodar qualquer tipo de IA de forma local, precisamos ter uma GPU dedicada ou um bom processador. No entanto, para modelos generativos de imagens e vídeos, os requisitos dobram. É estritamente necessário ter GPU com uma boa quantidade de memória de vídeo (VRAM).

Embora o ComfyUI seja conhecido por sua eficiência e otimização de recursos, a execução de modelos avançados de difusão de imagem (como o Flux e HiDream) e workflows complexos exige hardware dedicado. Os requisitos de sistema devem ser estritamente observados para garantir uma experiência fluida.

Neste tutorial, estou usando um sistema com uma RTX 3060 de 12 GB VRAM, 32 RAM e um Ryzen 5600 de seis núcleos.

A imagem abaixo mostra o servidor do ComfyUI em execução, exibindo os logs de inicialização e métricas gerais.

Foco na GPU NVIDIA (VRAM)

A performance de geração está intrinsecamente ligada à Placa de Vídeo (GPU). Uma GPU dedicada da NVIDIA, que suporte a tecnologia CUDA, é essencial para o processamento rápido. A métrica mais crítica é a VRAM (Memória de Vídeo). A razão para essa exigência é clara: workflows avançados que encadeiam múltiplos ativos (como um modelo base Checkpoint, um VAE, um LoRA e um ControlNet simultaneamente) consomem VRAM rapidamente. Utilizar um sistema com menos de 8 GB de VRAM pode levar a falhas no carregamento de modelos ou a uma lentidão significativa no processo de amostragem.

RAM e processamento

Em complemento à GPU, a memória do sistema (RAM) e o processador (CPU) desempenham papéis secundários, mas vitais. O requisito padrão é de 16 GB de RAM ou mais. A RAM é utilizada para carregar os dados temporários e os ativos necessários para a arquitetura de nodos do ComfyUI. Um processador moderno, como um Intel i5 ou um Ryzen 5 ou superior, é suficiente para a coordenação e pré-processamento de dados.

O armazenamento também merece atenção. É altamente recomendado que tanto a instalação do ComfyUI quanto, principalmente, a pasta de modelos estejam em um SSD. A velocidade de leitura e escrita do SSD impacta diretamente o tempo de carregamento dos grandes arquivos .safetensors e o tempo de startup da aplicação.

Instalação descomplicada

Para usuários de Windows, o método de instalação mais robusto e menos propenso a problemas de dependência é a versão ComfyUI Portable. A vantagem principal é que ela é standalone, pois vem com um ambiente Python embutido e isolado (python_embeded). Este isolamento elimina os conflitos comuns de dependências que podem surgir ao tentar integrar o ComfyUI com ambientes Python já existentes no sistema, garantindo estabilidade e permitindo até mesmo múltiplas instalações independentes.

1. Acesse a página de instalação da doc do ComfyUI: https://docs.comfy.org/installation/comfyui_portable_windows#download-comfyui-portable

2. Clique no botão Download ComfyUI Portable para baixar o arquivo compactado

3. Extraia os arquivos usando um programa como o 7-ZIP

Inicialização e Acesso à Interface

Após a conclusão da instalação, a pasta estará populada com os scripts de launch. O usuário deve dar um clique duplo em run_nvidia_gpu.bat (recomendado), ou run_cpu.bat se não tiver GPU NVIDIA ou se quiser evitar usá-la. Uma janela de comando (CMD) será aberta, indicando o progresso do carregamento do serviço.

Quando o processo for concluído, o sistema exibirá o endereço de acesso. O ComfyUI tentará abrir automaticamente no navegador padrão no endereço http://127.0.0.1:8188. É importante não fechar a janela do CMD enquanto estiver usando o ComfyUI, pois ela é o servidor de execução. O sistema é completamente portátil, o que significa que a pasta pode ser movida ou renomeada após a instalação sem causar problemas de funcionamento.

Ao acessar a URL http://127.0.0.1:8188 em seu navegador, você verá a página inicial do Comfy com um workflow que você usou anteriormente (o meu caso). Como está executando pela primeira vez, um workflow padrão é mostrado. 

Estrutura de diretórios

Compreender a estrutura de diretórios do ComfyUI Portable é fundamental para gerenciar modelos e extensões de forma eficiente. A pasta principal contém o ComfyUI_windows_portable e, dentro dela, as pastas ComfyUI/ (onde está o código principal) e python_embeded/ (o ambiente Python isolado).

Mapeamento dos Ativos Essenciais

O núcleo de todos os ativos de IA (Checkpoints, LoRAs, ControlNets, VAEs) reside no subdiretório ComfyUI/models/. Dentro dele, existem subpastas específicas para cada tipo de ativo.

A imagem abaixo mostra a estrutura de subpastas dentro da pasta /models, onde todos os tipos de modelos generativos e dependências são armazenados.

ComfyUI Manager: expansão, resolução de conflitos e controle

A interface gráfica do ComfyUI, embora poderosa, é inerentemente limitada ao seu core funcional. Para expandir o sistema e gerenciar a complexa modularidade, o ComfyUI Manager (ou Node Manager) é uma ferramenta indispensável. Após a instalação, um botão "Manager" é visível na barra superior da interface.

A instalação desta extensão é bem simples e direto ao ponto. Basta seguir o tutorial descrito pelos desenvolvedores em: https://github.com/Comfy-Org/ComfyUI-Manager?tab=readme-ov-file#installation

Funcionalidades do Manager

O Manager fornece uma interface gráfica para várias tarefas essenciais de manutenção e expansão:

1. Instalação/Desinstalação de Custom Nodes: Permite navegar por uma lista de extensões da comunidade e instalá-las com um clique, cuidando automaticamente da instalação das dependências.

2. Gestão de Modelos: Oferece uma interface para buscar e baixar modelos como checkpoints, upscalers, VAEs e LoRAs, garantindo que sejam colocados nos diretórios corretos.

3. Atualização do Sistema: Usado para manter tanto o código core do ComfyUI quanto todos os Custom Nodes instalados em suas versões mais recentes.

A Função Mais Crítica: Instalar Nodes Ausentes

A função mais vital do Manager para a comunidade é o botão "Install missing nodes in the current workflow". Os workflows complexos frequentemente dependem de Custom Nodes criados por terceiros. Quando um usuário importa um arquivo de workflow (JSON ou PNG) da internet, o sistema pode falhar se não tiver as extensões necessárias.

O Manager resolve este problema: ele analisa o workflow importado, identifica os nodes ausentes e automatiza a instalação desses Custom Nodes. Sem esta ferramenta, o usuário teria que identificar manualmente o repositório Git de cada dependência e instalá-lo manualmente via linha de comando, um processo complexo. Ao automatizar a resolução de dependências, o Manager garante que os workflows compartilhados pela comunidade sejam portáteis e funcionem de imediato, facilitando a aprendizagem e a replicação de resultados.

Workflows: criação, exportação e importação

O workflow é a espinha dorsal do ComfyUI, representando o pipeline de geração de imagem como um gráfico de execução.

Criação e Estrutura

Um workflow é construído conectando Nodes, começando com os carregadores de dados (como Load Checkpoint ou Load VAE) e passando por etapas lógicas (Sampler, ControlNet) até o Node de saída (Save Image). A flexibilidade do ComfyUI permite que os usuários criem pipelines de processamento não lineares, como usar a saída de uma etapa de geração como entrada para um upscaler ou um inpaint na mesma tela.

Estratégias para Salvar (Exportar) Workflows

Existem duas formas principais de salvar um workflow, cada uma com sua aplicação ideal:

1. Salvamento como Arquivo JSON: Através do menu principal, é possível exportar o workflow como um arquivo .json. Este arquivo contém todas as configurações detalhadas dos nodos e suas conexões. É o formato ideal para guardar workflows genéricos ou bases que serão frequentemente modificadas. No entanto, é importante notar que arquivos JSON de versões muito antigas podem não funcionar perfeitamente em versões mais recentes do ComfyUI.
   
   

2. Salvamento via Metadados PNG (Método de Preservação Completa): Esta é a maneira mais robusta de salvar e compartilhar um workflow. Quando uma imagem é gerada e salva usando o Node Save Image, o ComfyUI automaticamente incorpora o workflow completo – incluindo todos os prompts, seeds e configurações dos nodes – como metadados ocultos no arquivo PNG. O arquivo de imagem gerado atua como um "contêiner" de dados completo, garantindo que o resultado exato possa ser reproduzido fielmente. Para fins de compartilhamento na comunidade, o PNG com metadados é o formato mais utilizado, pois é o mais completo e autossuficiente.

Carregamento e Compartilhamento

A importação de workflows no ComfyUI é extremamente simples: basta arrastar e soltar o arquivo (seja o PNG contendo metadados ou o arquivo JSON) diretamente na interface. O sistema reconhecerá o tipo de arquivo e reconstruirá o gráfico de nodos na tela instantaneamente.

Manutenção e atualização do sistema

Manter o ComfyUI atualizado é crucial, especialmente para o usuário da versão Portable, que geralmente busca acesso rápido aos novos recursos e otimizações. O processo envolve dois componentes principais: a atualização do Core Code (novos nodes e funcionalidades) e a atualização das Core Dependencies (pacotes Python e funcionalidades de frontend).

Atualização otimizada via manager

O método mais eficiente para gerenciar ambas as atualizações é através do ComfyUI Manager. O Manager oferece opções específicas para:

1. Atualizar o ComfyUI Core: Atualiza o código-fonte principal do ComfyUI.

2. Atualizar Extensões: Garante que todos os Custom Nodes instalados estejam sincronizados com suas últimas versões, corrigindo bugs e mantendo a compatibilidade.

A versão Portable do ComfyUI tem a vantagem de ser construída com base nos commits mais recentes do Github, garantindo que o usuário tenha acesso imediato a novos recursos, ao contrário da versão Desktop que pode ter um pequeno atraso. Ao realizar a atualização, você precisa saber que, embora o ComfyUI geralmente mantenha a compatibilidade, workflows JSON muito antigos que dependem de configurações de frontend ou de nodes que foram drasticamente alterados podem exigir ajustes manuais.

Encerramento

E é isso, pessoal. O ComfyUI é uma ferramenta bem complexa, mas muito poderosa. Pense nele como um n8n para IAs multimodais open source rodando localmente. Podemos definir todo tipo de workflow e usar variados modelos disponíveis pela comunidade, bem como realizar treinamentos de LoRas, usar a Comfy API para desenvolver aplicações de IA para criação de conteúdo multimídia… as possibilidades são inúmeras!

Quer mais dicas sobre como usar essa ferramenta? Fique ligado no blog da Loomi que, em breve, trarei mais tutoriais detalhando funcionalidades de geração de áudio e vídeo no ComfyUI!