Contenido

"Volver a entrenar desde cero un modelo de IA gigantesco es demasiado caro, pero quiero ajustarlo solo para mí." La técnica que cumple este deseo es LoRA (Low-Rank Adaptation). Al congelar el modelo original y entrenar únicamente una pequeña "pieza añadida (adaptador)", reduce los parámetros entrenables a menos del 1% del modelo original (unas 10.000 veces menos en el experimento con GPT-3 del artículo original).

LoRA abarata y acelera enormemente el ajuste fino (fine-tuning), y también es muy popular en la generación de imágenes como Stable Diffusion como "un archivo pequeño que añade un personaje o un estilo". Este artículo explica el mecanismo con la analogía del "parche", además de las ventajas, los adaptadores intercambiables, QLoRA y en qué se diferencia del fine-tuning completo, todo pensado para principiantes.

LoRA · AJUSTA CON INTELIGENCIA CON UN ADAPTADOR PEQUEÑO

Congela la base, entrena solo una parte pequeña

— parámetros entrenables: menos del 1% del original

🔒 Frozen
Modelo base enorme
sin cambios · no se entrena
+
🧩 LoRA
adaptador
pequeño · solo esto se entrena
Parámetros entrenables: menos del 1% del original Archivos pequeños, intercambiables Sin latencia adicional en la inferencia

* Las cifras corresponden a las condiciones experimentales de el artículo original de LoRA (Hu et al., 2021), el artículo de QLoRA (Dettmers et al., 2023) y Biderman et al. (2024) (comprobadas en los textos originales el 10 de octubre de 2026). Las tasas de reducción y los efectos varían según el modelo y la configuración; tómalos como referencia orientativa.

1. ¿Qué es LoRA? Congela la base y entrena solo un adaptador

LoRA es el referente del "ajuste fino eficiente en parámetros (PEFT)". El mecanismo central es sencillo: deja los enormes pesos originales completamente intactos (congelados), inserta una "pequeña matriz añadida" en cada capa y entrena únicamente eso.

Piénsalo como un "parche en la ropa": reconfeccionar una prenda cara (un modelo enorme) es difícil, pero coser un pequeño parche es barato y rápido. LoRA es igual: mantén la base tal cual y añade un adaptador pequeño para "ajustar" su comportamiento. En términos de fórmula, W = W₀ + BA (W₀ = pesos originales congelados, BA = la pequeña parte añadida). Se apoya en la hipótesis de que adaptar una IA "en realidad no requiere grandes cambios" (basta con un rango bajo), y los experimentos del artículo original la respaldaron. Aun así, hay estudios según los cuales, en entrenamientos que cambian mucho el modelo, como la programación o las matemáticas, un rango bajo no basta y el resultado queda por debajo del entrenamiento completo (Biderman et al., 2024).

Dicho de otro modo, en vez de "repintar por completo", "sobrescribes un poquito". Solo con eso se reducen drásticamente el coste y el riesgo del entrenamiento. Leerlo junto con los fundamentos del ajuste fino (fine-tuning) deja claro su lugar.

2. ¿Por qué es tan eficiente?

La eficiencia de LoRA es espectacular. Al limitar el entrenamiento a un "adaptador pequeño", se obtienen estas ventajas.

📉 Muchos menos parámetros entrenables

Los pesos que se entrenan son menos del 1% del original. En el artículo original, frente a entrenar todo GPT-3 175B, son unas 10.000 veces menos (de unos 175.300 millones a entre 4,7 y 37,7 millones).

💾 Menos memoria, más rápido, más barato

La memoria de GPU durante el entrenamiento disminuye. Con GPT-3 175B, en el artículo original pasó de 1,2 TB a 350 GB (aproximadamente un tercio), y el entrenamiento fue alrededor de un 25% más rápido (en comparación con entrenar todos los pesos con Adam). La proporción varía según el tamaño del modelo y la configuración.

⚡ Sin pérdida de velocidad en la inferencia

Tras el entrenamiento, fusiona el adaptador con la base y no hay latencia añadida (otra cosa es mezclar varios adaptadores sin fusionar en un mismo procesamiento).

🛡️ Olvida menos lo que ya sabía

Con menos grados de libertad, hay estudios según los cuales pierde menos las capacidades del modelo original (Biderman et al., 2024). Aun así, no garantiza que no haya sobreajuste.

En resumen, LoRA "se acerca al efecto del fine-tuning completo con un coste mínimo". Justo por eso, personas y equipos pequeños pueden hacer que los grandes modelos sean "suyos".

3. Su mayor fortaleza: adaptadores intercambiables

Otro atractivo de LoRA es que "puedes guardar, compartir e intercambiar solo el adaptador". El modelo base se mantiene común mientras cambias un pequeño archivo LoRA (órdenes de magnitud más pequeño que la base) según el caso de uso, y eso transforma la operativa.

Para un único modelo base gigantesco, prepara muchos LoRA — "para atención al cliente", "para el tono de tu empresa", "para un personaje concreto" — y cámbialos al instante según la situación. No hace falta mantener varias bases completas; el almacenamiento y la distribución se mantienen ligeros. Conserva la base en una sola GPU y solo intercambia adaptadores para múltiples usos.

4. LoRA en la generación de imágenes (el ejemplo más cercano)

Mucha gente conoce LoRA por primera vez en la generación de imágenes. Con Stable Diffusion se comparten incontables archivos LoRA pequeños que han aprendido un personaje, un estilo o un sujeto concreto.

🎨 Añadir un estilo

Acopla a posteriori un estilo concreto —anime, acuarela— al modelo base.

👤 Enseñar un personaje

Con desde unas pocas hasta unas docenas de imágenes, crea un LoRA que reproduzca un personaje o una persona concreta.

📦 Ligero y fácil de compartir

Los archivos son órdenes de magnitud más pequeños que el modelo base, así que distribuirlos e intercambiarlos es sencillo (unos pocos MB para Stable Diffusion 1.5; para SDXL, muchos superan los 100 MB).

El esquema de "una base gigantesca compartida, con el sabor añadido por LoRA" es exactamente el mismo para texto e imágenes. Para quienes usan herramientas de generación de imágenes, LoRA es una "puerta de entrada a la personalización" muy cercana.

5. QLoRA: combinarlo con la cuantización

QLoRA hace que LoRA sea aún más ligero. Combinado con la cuantización, entrena los adaptadores LoRA sobre un modelo base comprimido a 4-bit.

El artículo de QLoRA logró hacer fine-tuning, con una sola GPU de 48 GB, de un modelo de 65.000 millones de parámetros (65B) que, entrenado por completo en 16 bits, necesitaría más de 780 GB de memoria de GPU. Un modelo de 33B se puede entrenar en una GPU de consumo de 24 GB, y el artículo señala que para ello es imprescindible un mecanismo que traslada a la memoria de la CPU lo que no cabe (optimizadores paginados). En calidad, igualó al entrenamiento completo en 16 bits con modelos de entre 125 millones y 3.000 millones de parámetros. Sin embargo, el propio artículo reconoce que no ha comprobado si iguala al entrenamiento completo en 33B y 65B. "Cuantiza la base para aligerarla, entrena en pequeño con LoRA": una combinación de técnicas de eficiencia.

QLoRA es una pieza clave de la eficiencia de modelos junto con la cuantización (aligerar el mismo modelo) y la destilación (pasar a un modelo más pequeño). Entiende las tres y verás el panorama completo de "usar IA grande a un coste realista".

6. vs. el fine-tuning completo

Aclaremos la diferencia entre el fine-tuning completo ("reentrenar todos los pesos") y LoRA.

Aspecto Fine-tuning completo LoRA
Pesos entrenados Todos los parámetros Solo un adaptador pequeño (menos del 1% del original)
Coste / memoria Muy alto Mucho menor
Resultado Un modelo gigantesco completo Un adaptador pequeño (intercambiable)
Ideal para Reconstrucciones a gran escala y de fondo Específico por tarea, bajo coste, intercambio multiuso

Para la mayoría del trabajo del mundo real, LoRA suele bastar. Plantéate el fine-tuning completo solo cuando necesites cambiar de raíz el carácter del modelo.

Resumen

LoRA es una técnica de referencia de la era de la eficiencia que personaliza una IA gigantesca de forma barata y rápida con un "adaptador pequeño". Recapitulemos.

Puntos clave

  • 🧩 Congela la base, entrena solo un adaptador pequeño (W = W₀ + BA). Como un parche.
  • 📉 Parámetros entrenables: menos del 1% del original. Menos memoria, más rápido, más barato, olvida menos lo que ya sabía.
  • 🔄 Los adaptadores se intercambian libremente. Cambia un LoRA pequeño según el caso de uso.
  • 🎨 Muy popular en la generación de imágenes (Stable Diffusion). Archivos pequeños que añaden un estilo o personaje.
  • ⚙️ QLoRA = cuantización × LoRA. En las condiciones del artículo, fine-tuning de modelos de hasta unos 33B en una GPU de consumo de 24 GB.

"Conserva la base, sazónala en pequeño." LoRA es la puerta de entrada más sencilla para hacer tuya la IA grande. Para los fundamentos, consulta el ajuste fino (fine-tuning); para sus contrapartes de compresión, la cuantización y la destilación.

Preguntas frecuentes

P. ¿LoRA y el fine-tuning son cosas distintas?

R. LoRA es un tipo de fine-tuning (un método eficiente). Frente al "FT completo" que entrena todos los parámetros, LoRA entrena solo un adaptador pequeño. Para muchos usos, LoRA basta.

P. ¿El LoRA de generación de imágenes es lo mismo que el LoRA de un LLM?

R. El principio básico es el mismo: congelar la base y entrenar solo un adaptador pequeño. Solo difiere el objetivo: un modelo de texto o un modelo de imagen (de difusión). El LoRA de Stable Diffusion es su aplicación más cercana.

P. ¿LoRA o QLoRA? ¿Cuál debería usar?

R. Con VRAM de sobra, LoRA normal; si la memoria está justa o quieres lo más barato posible, QLoRA (base de 4-bit + LoRA). En las comparaciones del artículo, QLoRA obtuvo resultados equivalentes a los de los métodos de 16 bits y permitió hacer fine-tuning de modelos de hasta unos 33B en una GPU de consumo de 24 GB (con condiciones).

P. ¿LoRA perjudica la precisión?

R. En los experimentos del artículo original (RoBERTa, DeBERTa, GPT-2, GPT-3), la calidad fue igual o superior a la del FT completo. En cambio, hay estudios según los cuales queda por debajo del FT completo en entrenamientos a gran escala de programación y matemáticas (Biderman et al., 2024). Cuando necesitas reconstruir de raíz la capacidad del modelo, el FT completo puede encajar mejor. En última instancia, confírmalo con la evaluación.