Modelos, runtimes e aceleradores

A Aptabit Platform usa modelos externos e locais lado a lado. Os modelos são cadastrados uma vez na instalação e habilitados por workspace; agentes e fluxos escolhem o modelo que cada tarefa usa.

Provedores externos

Em Configurações > Modelos, cadastre um provedor externo:

Tipo	Uso
OpenAI	API da OpenAI.
Azure OpenAI	Implantações no Azure da sua organização.
Anthropic	API da Anthropic.
Compatível com OpenAI	Qualquer endpoint com a API OpenAI: gateways corporativos, servidores de inferência remotos e outros fornecedores que ofereçam essa compatibilidade.

As chaves de API ficam cifradas no banco e nunca chegam ao navegador. Cada provedor tem um teste de conexão.

Com um provedor externo, as solicitações ao modelo seguem para esse provedor. Para conteúdo que não pode sair do ambiente da organização, use modelos locais.

Modelos locais gerenciados

A plataforma implanta e opera modelos locais como containers, em seis runtimes:

Runtime	Requisito de hardware
llama.cpp	Qualquer CPU; runtime padrão.
OpenVINO Model Server	CPU ou GPU da Intel.
IPEX-LLM	CPU ou GPU da Intel.
vLLM	GPU NVIDIA com CUDA.
SGLang	GPU NVIDIA com CUDA.
TensorRT-LLM	GPU NVIDIA com CUDA.

Pela interface, cada modelo local pode ser instalado, iniciado, parado, reiniciado ou removido, com um histórico de eventos. Os containers são criados pelo serviço docker-guard, que permite apenas imagens de runtime conhecidas e nunca containers privilegiados. Veja Segurança da instalação.

Verificação antes da implantação

Antes de implantar, a plataforma confere o hardware. Ela recusa vLLM, TensorRT-LLM ou SGLang sem GPU com CUDA visível para o Docker e recusa OpenVINO sem hardware Intel. Quando a estimativa de memória do modelo ultrapassa a memória disponível, ela alerta e sugere um modelo menor ou quantizado.

Formatos e quantização

Formato	Runtimes compatíveis
GGUF	llama.cpp
OpenVINO IR	OpenVINO Model Server
Hugging Face safetensors	vLLM, SGLang, TensorRT-LLM, IPEX-LLM e OpenVINO

A plataforma oferece apenas os runtimes capazes de servir cada formato. Perfis de quantização: Q4_K_M, Q5_K_M, Q8_0, FP16, INT8 e INT4.

Os runtimes gerenciados baixam os pesos do modelo do Hugging Face antes de iniciar. Em uma instalação isolada, prepare as imagens de runtime e os pesos com a Aptabit, ou use um servidor de inferência já disponível na rede local.

Servidores de inferência existentes

A plataforma detecta servidores Ollama, vLLM e LM Studio em execução e conecta seus modelos como endpoints compatíveis com OpenAI. Endereços internos precisam estar liberados na proteção contra SSRF (APTABIT_SSRF_ALLOWED_HOSTS).

Catálogo de modelos

A plataforma trabalha com mais de 1.000 modelos abertos. O catálogo curado os organiza em dez modalidades: texto, código, raciocínio, embeddings, visão, imagem, áudio, rerank, vídeo e voz. Ele pode ser filtrado por modalidade, família, quantização e runtime, e indica se cada modelo cabe na máquina.

Os recursos da plataforma usam modelos de texto, código, raciocínio, visão, embeddings, rerank e transcrição de áudio.

Habilitação por workspace e modelos padrão

Um modelo é cadastrado para a instalação, mas só aparece no chat dos workspaces em que foi habilitado.
A instalação define modelos padrão para embeddings, rerank, leitura de imagens e transcrição de áudio e vídeo.
Os embeddings e o rerank usam modelos servidos localmente.

Aceleradores

A aba Configurações > Sistema mostra CPU, memória, discos e GPUs da máquina, com a memória de vídeo de cada uma. A plataforma usa:

CPU, sem acelerador.
GPUs NVIDIA, por CUDA, com o NVIDIA Container Toolkit.
GPUs Intel, nos runtimes OpenVINO e IPEX-LLM.
NPUs, com execução de modelos disponível.

Veja Requisitos e dimensionamento.