Modelos, runtimes y aceleradores

La Aptabit Platform utiliza modelos externos y locales lado a lado. Los modelos se registran una vez en la instalación y se habilitan por workspace; los agentes y los flujos eligen el modelo que utiliza cada tarea.

Proveedores externos

En Configuración > Modelos, registre un proveedor externo:

Tipo	Uso
OpenAI	API de OpenAI.
Azure OpenAI	Implementaciones en Azure de su organización.
Anthropic	API de Anthropic.
Compatible con OpenAI	Cualquier endpoint con la API de OpenAI: gateways corporativos, servidores de inferencia remotos y otros proveedores que ofrezcan esa compatibilidad.

Las claves de API se guardan cifradas en la base de datos y nunca llegan al navegador. Cada proveedor tiene una prueba de conexión.

Con un proveedor externo, las solicitudes al modelo se envían a ese proveedor. Para contenido que no puede salir del entorno de la organización, utilice modelos locales.

Modelos locales gestionados

La plataforma despliega y opera modelos locales como contenedores, en seis runtimes:

Runtime	Requisito de hardware
llama.cpp	Cualquier CPU; runtime predeterminado.
OpenVINO Model Server	CPU o GPU de Intel.
IPEX-LLM	CPU o GPU de Intel.
vLLM	GPU NVIDIA con CUDA.
SGLang	GPU NVIDIA con CUDA.
TensorRT-LLM	GPU NVIDIA con CUDA.

Desde la interfaz, cada modelo local puede instalarse, iniciarse, detenerse, reiniciarse o eliminarse, con un historial de eventos. Los contenedores los crea el servicio docker-guard, que solo permite imágenes de runtime conocidas y nunca contenedores privilegiados. Consulte Seguridad de la instalación.

Verificación antes del despliegue

Antes de desplegar, la plataforma verifica el hardware. Rechaza vLLM, TensorRT-LLM o SGLang sin una GPU con CUDA visible para Docker y rechaza OpenVINO sin hardware de Intel. Cuando la estimación de memoria del modelo supera la memoria disponible, emite una alerta y sugiere un modelo más pequeño o cuantizado.

Formatos y cuantización

Formato	Runtimes compatibles
GGUF	llama.cpp
OpenVINO IR	OpenVINO Model Server
Hugging Face safetensors	vLLM, SGLang, TensorRT-LLM, IPEX-LLM y OpenVINO

La plataforma ofrece solo los runtimes capaces de servir cada formato. Perfiles de cuantización: Q4_K_M, Q5_K_M, Q8_0, FP16, INT8 e INT4.

Los runtimes gestionados descargan los pesos del modelo desde Hugging Face antes de iniciarse. En una instalación aislada, prepare las imágenes de runtime y los pesos con Aptabit, o utilice un servidor de inferencia ya disponible en la red local.

Servidores de inferencia existentes

La plataforma detecta servidores Ollama, vLLM y LM Studio en ejecución y conecta sus modelos como endpoints compatibles con OpenAI. Las direcciones internas deben estar habilitadas en la protección contra SSRF (APTABIT_SSRF_ALLOWED_HOSTS).

Catálogo de modelos

La plataforma trabaja con más de 1.000 modelos abiertos. El catálogo curado los organiza en diez modalidades: texto, código, razonamiento, embeddings, visión, imagen, audio, rerank, video y voz. Puede filtrarse por modalidad, familia, cuantización y runtime, e indica si cada modelo cabe en la máquina.

Las funciones de la plataforma utilizan modelos de texto, código, razonamiento, visión, embeddings, rerank y transcripción de audio.

Habilitación por workspace y modelos predeterminados

Un modelo se registra para la instalación, pero solo aparece en el chat de los workspaces en los que se habilitó.
La instalación define modelos predeterminados para embeddings, rerank, lectura de imágenes y transcripción de audio y video.
Los embeddings y el rerank utilizan modelos servidos localmente.

Aceleradores

La pestaña Configuración > Sistema muestra la CPU, la memoria, los discos y las GPU de la máquina, con la memoria de video de cada una. La plataforma utiliza:

CPU, sin acelerador.
GPU NVIDIA, mediante CUDA, con el NVIDIA Container Toolkit.
GPU Intel, en los runtimes OpenVINO e IPEX-LLM.
NPU, con ejecución de modelos disponible.

Consulte Requisitos y dimensionamiento.