Grandes Modelos del Lenguaje (LLMs) Revolucionan la Predicción de Series Temporales

Una nueva investigación propone una metodología para adaptar los Grandes Modelos del Lenguaje, conocidos como un tipo de Modelo Fundacional, a la tarea de predicción de series temporales aprovechando su amplio conocimiento y alineando la dimensión temporal de estas secuencias con los datos textuales.

Los Modelos Fundacionales se han convertido en una técnica emergente y ampliamente utilizada dentro de la Inteligencia Artificial Generativa. Destacan por su escalabilidad y por la facilidad con la que pueden adaptarse a nuevas tareas, gracias al uso del Aprendizaje por Transferencia. El desarrollo de estos modelos ha sido impulsado por la disponibilidad de una elevada potencia computacional gracias a los avances actuales y a los diversos conjuntos de datos existentes, lo que les permite alcanzar una gran capacidad de generalización debido a la enorme y heterogénea cantidad de datos utilizada en su entrenamiento inicial.

Estas características proporcionan una base sólida que puede ajustarse a una amplia gama de tareas, ampliando su aplicabilidad. En este contexto, un reciente estudio ha propuesto la metodología LLIAM, una adaptación directa aplicada a Grandes Modelos del Lenguaje (LLM, por sus siglas en Inglés) para la tarea de Predicción de Series Temporales.

LLIAM alínea la estructura secuencial de los datos numéricos con el formato textual que emplean los LLMs aplicando un esquema de “prompting”, que permite al modelo conocer cuándo se está enfrentando a la tarea de predicción. Además, se han empleado Adaptaciones de Rango Bajo (Low-Rank Adaptations) para reforzar las capacidades predictivas del modelo con distintos conjuntos de datos de series temporales, en lo que se conoce como la fase de "fine-tuning".

Inicialmente, se comparó el rendimiento de LLIAM y diferentes algoritmos de Aprendizaje Profundo utilizados en la literatura, incluyendo Redes Neuronales Recurrentes y Redes Neuronales Convolucionales Temporales, así como un método basado en LLMs conocido como TimeLLM. Posteriormente, se presentó un estudio de "zero-shot" para evaluar la capacidad de generalización de la metodología propuesta con conjuntos de datos de series temporales de dominios desconocidos, no utilizados en su entrenamiento.

Los resultados de esta investigación demuestran la eficacia de LLIAM, resaltando que este enfoque directo y generalista puede alcanzar resultados competentes sin la necesidad de aplicar modificaciones complejas. Este trabajo también fomenta el uso de recursos ya disponibles (como estos modelos pre-entrenados) y técnicas eficientes de "fine-tuning" para evitar entrenamientos innecesarios y costosos, acercando los objetivos de la Inteligencia Artificial tradicional y la Inteligencia Artificial Verde.

Artículo In Press
M. Germán-Morales, A.J. Rivera-Rivas, M.J. del Jesus, Cristóbal J. Carmona
Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations
Information Fusion