AnythingLLM
Asistente de IA privado todo en uno y plataforma RAG para documentos y bases de conocimiento
Introducción
AnythingLLM es una plataforma de IA privada todo en uno que soporta RAG, agentes y espacios de trabajo multiusuario. Su proveedor LLM Generic OpenAI permite conectarse a cualquier endpoint compatible con OpenAI — incluyendo TokenMix — para usar Claude, GPT-5 o Qwen sin salir de tu infraestructura privada. También configurarás un Embedder Generic OpenAI para que AnythingLLM pueda indexar documentos para RAG.
Requisitos previos
Auto-hospeda AnythingLLM con Docker:
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
-v anythingllm_storage:/app/server/storage \
--name anythingllm \
mintplexlabs/anythingllm
Accede a AnythingLLM en http://localhost:3001 y completa el asistente de configuración.
También necesitas una clave API de TokenMix: tokenmix.ai → Consola → API Keys.
Pasos de configuración
Paso 1 — Abrir configuración de LLM
En AnythingLLM, haz clic en el ícono Configuración (engranaje, abajo a la izquierda) → AI Providers → LLM.
Paso 2 — Seleccionar Generic OpenAI como proveedor LLM
En la lista de proveedores, elige Generic OpenAI.
Paso 3 — Completar los datos de conexión LLM
| Campo | Valor |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API Key | Tu clave TokenMix (sk-tm-…) |
| Model Name | ej. claude-sonnet-4.6 |
| Ventana de contexto | Según el modelo (200000 para Claude Sonnet) |
Haz clic en Guardar cambios.
Paso 4 — Configurar el proveedor de Embedding
Aún en Configuración → AI Providers, haz clic en Embedder.
Selecciona Generic OpenAI como embedder y completa:
| Campo | Valor |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API Key | Tu clave TokenMix (sk-tm-…) |
| Model Name | ej. text-embedding-3-large |
Haz clic en Guardar cambios.
Paso 5 — Crear un espacio de trabajo y subir documentos
Vuelve a la pantalla principal, crea un nuevo Workspace y sube tus documentos (PDF, Word, TXT, etc.). AnythingLLM los indexará con el modelo de embedding configurado en el Paso 4.
Una vez completada la indexación, chatea con tus documentos usando el LLM configurado en el Paso 3.
Verificación
Envía un mensaje en tu workspace. Una respuesta válida que haga referencia al contenido de tus documentos confirma que LLM y embedder funcionan correctamente a través de TokenMix.
Verifica en Consola TokenMix → Uso que las solicitudes de chat e embedding estén registradas.
Preguntas frecuentes
P: Después de guardar, AnythingLLM muestra "No se puede conectar al proveedor LLM".
R: Verifica que la Base URL sea exactamente https://api.tokenmix.ai/v1 (sin barra final) y que la clave comience con sk-tm-. Confirma también que tu saldo en TokenMix sea positivo.
P: ¿Qué modelos de embedding ofrece TokenMix?
R: Ve a tokenmix.ai → Modelos, filtra por tipo Embedding, y copia el short_id (ej. text-embedding-3-large) en el campo Model Name del Embedder. El modelo de embedding debe ser distinto del modelo de chat.
P: ¿Puedo usar un modelo LLM diferente por workspace? R: La configuración global de LLM se aplica a todos los workspaces por defecto. AnythingLLM Pro/Cloud ofrece anulaciones por workspace; en la versión open-source, cambia la configuración global para cambiar de modelo.