Transformers en IA: ¿más escala o nuevas arquitecturas?

Los transformers han impulsado avances importantes en el procesamiento del lenguaje y la visión por computador. Una de las razones de su éxito ha sido que, en muchos casos, aumentar los datos de entrenamiento y la capacidad del modelo mejora el rendimiento. Sin embargo, esa tendencia no implica que añadir parámetros vaya a producir mejoras indefinidamente.

El crecimiento de los modelos tiene costes: más capacidad de cálculo, energía, memoria y datos de calidad. Además, los resultados pueden presentar rendimientos decrecientes, y un modelo más grande no es necesariamente más robusto ni generaliza mejor a situaciones nuevas. La evaluación debe tener en cuenta la fiabilidad, el coste de uso y la capacidad para resolver tareas concretas, no solo una puntuación en una prueba.

La investigación puede avanzar por varias vías: mejorar los datos, optimizar el entrenamiento, diseñar componentes más eficientes y explorar arquitecturas distintas. También importan los métodos que permiten razonar mejor, reducir errores y utilizar recursos de manera más económica. Si una línea de progreso se estanca, no significa que la IA se haya detenido, sino que quizá hacen falta ideas nuevas además de más escala.

El futuro de los transformers dependerá de la combinación de avances algorítmicos, mejores sistemas de evaluación y eficiencia computacional. Aumentar los parámetros seguirá siendo útil en ciertos casos, pero no debería convertirse en la única estrategia para mejorar las capacidades de los modelos.