Luego, se discute el concepto de compresión de datos, que busca reducir el número de bits necesarios para almacenar un mensaje al detectar patrones dentro de él. Esto puede realizarse mediante algoritmos de compresión como Huffman o Lempel-Ziv-Welch, los cuales no requieren conocimiento del contenido específico del mensaje, sino que operan sobre su estructura. Se tocan ejemplos de compresores específicos de dominio, como la compresión de encabezados en protocolos de red, pero se enfatiza que, en general, los algoritmos de compresión son independientes del contenido del mensaje.
A continuación, se introduce la idea de compresión con pérdidas, que es relevante para medios como imágenes y audio. Esta técnica permite una reducción significativa en el tamaño de los archivos manteniendo una calidad aceptable, lo que ha permitido la proliferación de formatos como JPEG y MP3. Esto condujo a la cultura del intercambio de archivos digitales y la creación de mixtapes.
La pieza se avanza a los LLM, que representan un nuevo hito en la inteligencia artificial. Estos modelos son capaces de generar y transformar textos, imágenes y sonidos basándose en su entrenamiento con grandes volúmenes de datos. Por ejemplo, pueden sintetizar un resumen de un texto o expandir ideas breves en ensayos completos. Durante este proceso, un LLM genera un «estado interno» que representa el contenido que está procesando, y la salida generada es independiente de este estado interno, permitiendo flexibilidad en el formato y estilo. Esto lleva al punto de que la representación del contenido no está restringida a un solo idioma o forma, ya que los modelos pueden producir respuestas diferentes manteniendo el mismo concepto abstracto.
El autor examina un ejemplo práctico: un empleado que genera un informe usando un LLM, y un jefe que luego le pide una síntesis de ese documento a otro LLM. A pesar de que estos procesos parecen redundantes, ilustran cómo la información puede ser recomprimida y presentada de formas diversas a partir de la misma idea fundamental. En este sentido, se destaca que la formulación de una idea en diferentes lenguajes no afecta su contenido informativo esencial, análogamente a cómo diferentes formatos de imagen pueden preservar la misma información visual.
Finalmente, se aborda el proceso por el cual un LLM activa un patrón específico dentro de su estructura de memoria al procesar una entrada. A través de sus conexiones internas, puede generar un resultado comprensible y relevante para los humanos, ya sea un resumen breve o un ensayo extenso. Lo crucial aquí es que la compresión e interpretación de la información en el LLM se basa en un vasto conocimiento almacenado, lo que le permite reconocer y mantener el contenido esencial a pesar de la variación en los formatos.
En conclusión, ver a los LLM como máquinas de compresión/descompresión con pérdidas facilita una comprensión de cómo funcionan, resaltando su capacidad para preservar ideas fundamentales mientras permiten una representación variada. Sin embargo, también deja en claro que, debido a su naturaleza, son susceptibles de errores y malinterpretaciones, lo que plantea desafíos en su uso práctico.
Enlace de la fuente, haz clic para tener más información