Si eres como yo —y en mucho nos parecemos— seguramente ya instalaste LM Studio u Ollama y tuviste la valentía de probar tantos modelos locales como tu RAM lo permitiera. Después de decenas de horas haciendo ajustes —nada de fine-tuning— llegaste a la conclusión de que simplemente no se puede.
Yo probé con modelos de 2, 4, 6, 8, 16 billones de parámetros. Y aquí marco mi límite. Porque en una ocasión, solo por curiosidad, me cargué uno de 31B —el Gemma 31B— y fue para morir de la desesperación: 1 token por segundo cuando iba rápido.
Con mi Mac Mini M4 de 16 GB fue suficiente para decir: es una locura darle vueltas al mismo experimento con cada vez peores resultados.
El espejismo de la cuantización
Probé con modelos cuantizados a 4 bits y a 2 bits. Eso fue de risa. Sobre todo porque si lo analizas a fondo, el sistema operativo ocupa 4 GB, lo que te deja 11 o 12 gigas para el modelo y la memoria de contexto.
Total failure.
La fantasía del rig local
Entonces me puse a soñar: 2 tarjetas NVIDIA GeForce RTX 5090, una tarjeta madre ASUS, un Intel Xeon w9-3475X con 72 hilos. ¡Sí!
Pero esa decisión se estrelló contra el costo del equipo: más de 8 mil dólares. Porque para correr modelos en serio necesitas mínimo 128 GB de RAM, y esa bestia es un agujero negro de consumo eléctrico.
La matemática que lo cambia todo
Me puse a calcular: ¿cuánto tiempo podría pagar 3 licencias de API con esos 8 mil dólares?
$60/mes ÷ $8,000 = 133 meses = 11 años.
Y eso asumiendo que los precios no bajan —y van a bajar— y que los límites no se relajan —y se van a relajar.
Pero hay más: súmale 12 mil pesos al año de electricidad. Con eso me alcanza para 24 años de APIs. A mis 61 años ya recuperé la inversión y estaré escribiendo código en el éter.
Hasta con mi Mac M1 viejita corrí los modelos de frontera sin quejas. Ahora con la M4 ni se diga: es un lujo que no me puedo negar. Y las APIs se pagan solas con lo que no gasté en un rig.
¿Tú qué opinas?
Autor: Samuel Ramsan