Cómo autoalojar un LLM en un servidor GPU privado

Ejecutar un modelo de lenguaje en hardware que alquilas es la única forma de tener la certeza de que tus prompts no se registran, no se conservan ni los lee nadie más que tú. Cualquier API alojada por terceros —por buena que sea su política de privacidad— recibe cada token que envías, y esa política puede cambiar sin que tú puedas hacer nada al respecto. Autoalojar desplaza esa frontera: los pesos residen en un disco que tú controlas, la inferencia ocurre en VRAM que alquilaste por horas, y nada sale de la máquina a menos que tú lo envíes a alguna parte. La parte del software se ha vuelto genuinamente sencilla. Lo que todavía sorprende a la gente es dimensionar la tarjeta antes de contratarla, y recordar que un puerto de inferencia abierto es un puerto de inferencia abierto.

Lo que el autoalojamiento realmente te da — y lo que no

Sé preciso sobre el beneficio, porque la «IA privada» se vende de forma laxa. Un modelo en tu propia GPU cambia algunas cosas por completo, y otras no cambia nada.

• Tus prompts y las respuestas se quedan en la máquina — sin registro por parte del proveedor, sin ventana de retención, sin ningún dataset construido a partir de lo que preguntaste.
• Sin cuenta, sin límite de tasa por clave, y sin ninguna capa de políticas entre tú y los pesos. El modelo que desplegaste es el modelo que obtienes.
• Coste predecible a volumen. Pasados unos pocos millones de tokens al día, una tarjeta alquilada sale más barata que el precio por token, y ese precio no cambia cuando un proveedor revisa su lista.
• No convierte un modelo débil en uno fuerte. Un modelo de pesos abiertos en tu propio hardware sigue siendo ese modelo — autoalojar compra control, no capacidad de frontera.
• No oculta nada al host. Cualquiera con acceso físico a una máquina en marcha puede en principio leer su memoria, lo cual es una cuestión sobre el host, no sobre el modelo.

La VRAM lo es todo: dimensionar un modelo a una tarjeta

Casi todos los primeros intentos fallidos son un error de aritmética de VRAM. Los pesos, la KV cache y el margen operativo tienen que caber todos en la tarjeta a la vez, y no hay degradación elegante — obtienes un error de memoria insuficiente a los pocos segundos de empezar a cargar. La regla general es sencilla de aplicar: a precisión de 16 bits un modelo necesita aproximadamente 2 GB de VRAM por cada mil millones de parámetros, cerca de 1 GB en 8-bit, y aproximadamente 0,6 GB en 4-bit. Después suma la KV cache, que crece con la longitud del contexto y con las solicitudes concurrentes, y que es lo que realmente te muerde en producción y no en las pruebas.

• Un modelo de 7B a 8B: unos 16 GB en FP16, o cómodamente menos de 8 GB en 4-bit. Es la clase que encaja en una RTX A4000 16 GB con margen de sobra.
• Un modelo de 13B a 14B: unos 28 GB en FP16, en torno a 9 GB en 4-bit. Una RTX 4090 24 GB lo ejecuta cuantizado con contexto de sobra.
• Un modelo de 30B a 34B: unos 68 GB en FP16, cerca de 20 GB en 4-bit — el hogar natural para una RTX 5090 32 GB.
• Un modelo de 70B: unos 140 GB en FP16, aproximadamente 40 GB en 4-bit. Eso significa una A100 o una H100 80 GB, y a precisión completa significa más de una tarjeta.
• Un contexto largo multiplica la KV cache, no los pesos. Una ventana de 128k tokens en un modelo grande puede necesitar por sí sola decenas de gigabytes — cuenta con ello antes de contratar, no después.

Elegir la GPU: de una A4000 a una H100, y cuándo la facturación por horas gana a la mensual

Todos los planes de la gama de servidores GPU son una tarjeta física completa con toda su VRAM —sin particionado MIG, sin compartición en el tiempo— así que la cifra de la hoja de especificaciones es la que realmente puedes llenar. Ajusta la tarjeta al modelo que piensas servir, no al modelo que quizá pruebes algún día.

• RTX A4000 16 GB a $89/mo — 8 vCPU y 64 GB de RAM. Suficiente para un asistente cuantizado de 7B a 13B, un servicio de embeddings o un pipeline de clasificación que se ejecuta todo el día.
• RTX 4090 24 GB a $189/mo — 16 vCPU, 128 GB y 2 TB de NVMe. La mejor relación precio-token para modelos de 13B a 34B en 4-bit, y la opción habitual para un endpoint de producción pequeño.
• RTX 5090 32 GB a $279/mo — 24 vCPU y 192 GB. Esos 8 GB adicionales suelen marcar la diferencia entre un modelo de 34B que cabe con contexto real y uno que no.
• A100 80 GB a $690/mo — 32 vCPU, 256 GB y 4 TB de NVMe. Ancho de banda HBM2e y memoria suficiente para una 70B en 4-bit con una ventana larga, o para servicio con batching intensivo.
• H100 80 GB a $1190/mo — 48 vCPU, 384 GB, 8 TB de NVMe y un puerto de 10 Gbps. El soporte de FP8 y el ancho de banda HBM3 la convierten en la única opción sensata para un rendimiento serio o para entrenamiento.

La facturación es por horas o mensual desde el mismo saldo prepago, y eso cambia la aritmética más de lo que la gente espera. Una evaluación que ocupa dos tardes en una H100 cuesta las horas que estuvo en marcha, no un mes. Un endpoint de chat que tiene que responder a las tres de la madrugada necesita una máquina mensual. Si necesitas varias tarjetas en una misma máquina, o una GPU junto a mucho almacenamiento local, un servidor dedicado es la forma más adecuada — y el caso general de pagar en criptomonedas está cubierto en alquilar un servidor GPU con criptomonedas.

Paso a paso: de una recarga en cripto a un endpoint en marcha

1. 01Crea una cuenta con un correo desechableUn correo y una contraseña. Sin nombre, teléfono ni identificación, de modo que nada por nuestra parte vincula el modelo que ejecutas contigo.
2. 02Recarga tu saldo en criptoFinancia un saldo prepago con Bitcoin, Monero o cualquiera de las 8 criptomonedas disponibles. Nunca caduca ni se congela.
3. 03Despliega una instancia GPU con una imagen CUDAElige la tarjeta, una región y una imagen lista para CUDA con controladores recientes y PyTorch. La máquina está lista en minutos.
4. 04Confirma que la tarjeta es visible antes de descargar nadaUna sola llamada a nvidia-smi indica la GPU, la versión del controlador y la VRAM libre. Es una comprobación de diez segundos que ahorra una hora de confusión.
5. 05Descarga los pesos al NVMe localTrae el modelo al propio disco de la instancia en lugar de a una unidad de red montada. Los pesos llegan a decenas de gigabytes y los cargarás más de una vez.
6. 06Inicia el servidor enlazado a localhostLanza vLLM u Ollama en 127.0.0.1, confirma una completion en local, y solo entonces decide cómo lo alcanzarás desde fuera.

vLLM, Ollama o llama.cpp: elegir el stack de servicio

Tres stacks cubren casi todos los casos, y el adecuado depende de cuántas solicitudes vaya a recibir el endpoint, no de cuál sea técnicamente más impresionante.

• Ollama — el camino más corto de la nada a un endpoint funcionando. Un solo comando descarga un modelo cuantizado y lo sirve detrás de una API compatible con OpenAI. Ideal para un solo usuario, un prototipo o un asistente privado.
• vLLM — la respuesta de producción. El batching continuo y el paged attention permiten que una sola tarjeta sirva muchas solicitudes concurrentes a varias veces el rendimiento de un bucle ingenuo. Esa es la diferencia entre un endpoint para ti y un endpoint para una aplicación.
• llama.cpp — el pragmático. Cuantizaciones GGUF hasta 4-bit e incluso por debajo, descarga a la CPU para las capas que no caben, y el consumo mínimo de memoria más bajo de los tres. Es lo que hace que un modelo sobredimensionado llegue a funcionar en una tarjeta con memoria insuficiente.
• TGI, SGLang y TensorRT-LLM son todavía más rápidos en configuraciones específicas. Recurre a ellos una vez que hayas medido un cuello de botella, no antes.

Los tres exponen una ruta de chat completions compatible con OpenAI, así que el código de una aplicación escrito contra una API comercial normalmente solo necesita cambiar la URL base, y nada más. Esa compatibilidad es la razón práctica por la que autoalojar ha dejado de ser un proyecto para convertirse en una decisión de configuración.

Mantener el endpoint privado: nunca expongas el puerto de inferencia

Un servidor de inferencia sin autenticación es el equivalente moderno de una base de datos abierta. Los escáneres encuentran las IP nuevas en cuestión de horas, y un endpoint expuesto significa que otra persona está gastando tus horas de GPU — o leyendo todo lo que tu aplicación envía a través de él.

Si el endpoint realmente tiene que ser público —un producto y no un asistente privado— termina el TLS en un proxy inverso, exige un token Bearer que rotes, y limita la tasa por clave. Poner ese proxy en un VPS pequeño y aparte, dejando la máquina GPU accesible solo a través del túnel, es el planteamiento más limpio. Es el mismo razonamiento que alojar un sitio web sin KYC: la máquina que da la cara a internet debe contener lo mínimo posible.

Fine-tuning: cuando una tarde en una tarjeta alquilada gana a una factura mensual

El fine-tuning es el argumento más sólido para alquilar en lugar de suscribirse. Una ejecución de LoRA o QLoRA sobre un modelo de 7B a 13B —unos pocos miles de ejemplos, un puñado de épocas— termina en horas en una 4090 y cuesta exactamente las horas que estuvo en marcha. El adaptador resultante ocupa unos pocos cientos de megabytes, así que puedes guardar el checkpoint, destruir la instancia, y más adelante cargar ese adaptador en una tarjeta más pequeña para servirlo. Los fine-tunes completos de un modelo de 70B son un presupuesto distinto y necesitan una A100 o una H100 con margen para el estado del optimizador, pero aun así se miden en días y no en un contrato.

El flujo de trabajo que permite la facturación por horas es simple: despliega, entrena, copia el adaptador fuera de la máquina, destrúyela. Pagas por el cómputo que usaste y no queda ninguna tarjeta inactiva de por medio. Mantén el dataset en el NVMe de la instancia mientras trabajas y sácalo de vuelta cuando termines — nada de lo que dejes en una máquina alquilada debería ser nunca la única copia.

La contrapartida honesta de privacidad de una GPU que no posees

Autoalojar elimina la fuga más grande y más concreta: un tercero que recibe cada prompt, lo conserva durante algún periodo de retención, y decide por su cuenta qué hacer con él. En una tarjeta alquilada, el modelo y tus datos viven dentro de una máquina que solo responde a tu clave. Lo que alquilar no puede eliminar es el propio host. Cualquiera con acceso físico a un servidor en marcha puede en principio leer su memoria, y el cifrado de disco completo en una máquina remota te protege frente a una unidad robada, no frente a una que está en marcha.

Así que la pregunta útil no es «¿puede verlo el host?» sino «¿sabe el host quién soy?». El hosting sin KYC responde a esa: un correo y una contraseña, sin verificación, nada registrado que filtrar ni que entregar ante una citación judicial. Pagar desde un saldo en cripto elimina al banco. Hasta dónde llevas el lado del pago es una cuestión de modelo de amenaza — Bitcoin es pseudónimo, no anónimo, así que las monedas rastreadas hasta un exchange verificado igualmente llevan a alguna parte, mientras que recargar en Monero cierra esa brecha a nivel de protocolo.

Errores que desperdician horas de GPU en silencio

• Dimensionar solo por los pesos y olvidar la KV cache, de modo que el modelo carga sin problemas y luego muere en la primera solicitud larga.
• Servir en FP16 en una tarjeta que ejecutaría el mismo modelo en 4-bit con el triple de contexto, por una preocupación de calidad que nadie llegó a medir realmente.
• Descargar cuarenta gigabytes de pesos en una unidad de red montada, y luego preguntarse por qué cada reinicio tarda veinte minutos.
• Dejar el servidor enlazado a 0.0.0.0 «solo para probar desde mi portátil», algo que en una IP pública se descubre el mismo día.
• Pagar mensualmente por una tarjeta que está inactiva veinte horas al día, cuando la carga de trabajo siempre fue un trabajo por lotes.
• Hacer benchmarking con una solicitud a la vez, concluir que vLLM no vale la pena, y pasar por alto que toda su ventaja aparece bajo concurrencia.

Ninguno de estos son fallos exóticos. Son lo que ocurre cuando la tarjeta se elige antes que el modelo. Decide primero el modelo y la cuantización, haz la aritmética de VRAM con honestidad, mantén el puerto cerrado, y un LLM autoalojado es una de las cosas menos exigentes que puedes dejar funcionando.