La semana pasada Meta celebró un evento en el que nos habló de sus gafas Orion de realidad aumentada o de las Meta Quest 3S. Pero también aprovechó para presentar Llama 3.2, la nueva versión de su LLM que ahora también está muy enfocada a conquistar nuestros móviles. En una entrevista comentando estos lanzamientos, Mark Zuckerberg hablaba de un tema importante: por qué están invirtiendo dinero en IA como si no hubiera mañana.
La IA tenía límite. En una entrevista reciente con la youtuber Cleo Abram, Mark Zuckerberg explicaba cómo en arquitecturas IA anteriormente exploradas podías alimentar el sistema con cierta cantidad de datos pero en algún momento daba igual que lo alimentaras con más datos o usaras más recursos para entrenarlo: llegabas a un punto muerto y aquello no avanzaba más.
Pero ahora no parece tenerlo. Sin embargo, con los sistemas basados en la arquitectura "Transformer" ese punto muerto no parece alcanzarse nunca. En los últimos años no han parado de alimentarse estos sistemas con más y más datos y las infraestructuras de entrenamiento e inferencia no paran de crecer, pero da igual: los modelos siguen mejorando. Como dice Zuckerberg, "aún no hemos encontrado el límite".
Llama seguirá creciendo. El CEO de Meta destacaba que debido a esto "eso nos lleva a esa dinámica en la que podríamos entrenar Llama 3 con entre 10 y 20.000 GPUs, luego entrenar Llama 4 con más de 100.000 y con Llama 5 podríamos escalar aún más, y ahí se plantea una interesante pregunta, que es hasta dónde podemos llegar".
Pero pueden estar equivocados. Zuckerberg, eso sí, es consciente de que podrían equivocarse. "Es totalmente posible que en algún momento alcancemos el límite" pero cree que no llegaremos a ese límite a corto plazo. Están apostando claramente por ello, pero reconoce que no está seguro de lo que puede pasar. Eso sí, por el momento está claro: seguirán invirtiendo dinero sin parar.
Es lo que hacen todas. El discurso de Zuckerberg respalda la situación actual. No ya la de Meta, sino la de todas las grandes tecnológicas, que han invertido sumas de dinero absolutamente descomunales confiando en que efectivamente los modelos de IA son el futuro.
Matizaciones. Yann LeCun, máximo responsable de IA en Meta, también compartía ese framento en X. Un usuario le preguntaba qué opinaba al respecto y LeCunn aclaraba que los grandes modelos de lenguaje (LLM) "puros y auto-regresivos" son "un callejón sin salida" si buscamos una IA de nivel humano, pero "siguen siendo muy útiles a corto plazo". Para él toda esa infraestructura puede ir más allá de simplemente exprimir los modelos de IA generativa actuales.
Zuck dice esto porque tiene que decirlo. Las palabras de Mark Zuckerberg no son en absoluto sorprendentes: tiene que defender su apuesta en IA como antes lo hizo con la apuesta del metaverso. Con aquella perdió y sigue perdiendo una verdadera fortuna, pero en aquella oscasión Meta fue la única que confió en el concepto. Ahora han virado y han dejado el metaverso en segundo plano —pero siguen trabajando en el concepto—, pero la diferencia es que su clara apuesta por la IA no es solo de ellos: es de toda una industria. Eso no quiere decir que toda la industria no pueda estar equivocada, por supuesto: el propio Zuckerberg lo apunta en esos comentarios.
En Xataka | OpenAI está quemando el dinero como si no hubiera mañana. La pregunta es cuánto podrá aguantar así
Ver 5 comentarios