Pasillo de un centro de datos con armarios de servidores iluminados por pequeñas luces azules y verdes, mientras unas manos colocan un servidor metálico en uno de los armarios.

Cómo funcionan los modelos de lenguaje: predecir la siguiente palabra

modelos de lenguaje, inteligencia artificial, tokens, parámetros, entrenamiento ia, alucinaciones, interpretabilidad, chatbots

Cómo funcionan los modelos de lenguaje: predecir la siguiente palabra

Fecha: 2026-11-08 12:50:59
Autor: Alex Rubio

Los chatbots que redactan correos, resumen documentos o responden dudas se apoyan en modelos de lenguaje grandes, sistemas que funcionan con un principio más sencillo de lo que parece: calcular cuál es el trozo de texto más probable a continuación y repetir esa operación una y otra vez. Tanto la literatura académica como los materiales divulgativos consultados por SeoXan coinciden en que la predicción de la siguiente pieza de texto es la operación básica de todos estos sistemas.

Entender este mecanismo tiene consecuencias prácticas. Explica por qué un asistente puede responder con total seguridad y, aun así, equivocarse, y por qué los equipos que construyen estos modelos no pueden señalar con precisión qué hace cada una de sus piezas internas. Sobre el tema circulan, además, varias simplificaciones que conviene matizar con datos.

Del texto a los números: tokens y vectores

Lo primero que hace un modelo de lenguaje con una frase es trocearla en tokens, fragmentos de texto que pueden ser una palabra entera o solo una parte. Una palabra larga como «desarrollador» puede quedar dividida en varios trozos, de forma parecida a como alguien lee por sílabas. Según explican las guías divulgativas de ai-tldr y apxml, cada token se convierte después en un identificador numérico y, a continuación, en un vector.

Un vector, también llamado embedding, es una lista de números que representa el significado del token. La comparación más útil es la de una dirección en un mapa: los conceptos afines quedan cerca unos de otros y los que no tienen relación quedan lejos. Se trata de una ilustración y no de una medida exacta, pero recoge la idea de fondo: el modelo no trabaja con letras, sino con posiciones en un espacio de números.

Esos vectores atraviesan después muchas capas de operaciones matemáticas, sobre todo multiplicaciones y sumas. Cada capa transforma la información que recibe de la anterior y tiene en cuenta el contexto completo de la frase. Al final del recorrido, el modelo produce una lista con una probabilidad para cada token de su vocabulario.

Cómo escriben los modelos de lenguaje, token a token

Con esa lista de probabilidades, el modelo elige un token, lo añade al texto y vuelve a ejecutar todo el proceso con la frase ya ampliada. El ciclo se repite hasta que se cumple una condición de parada, por ejemplo la aparición de un token que marca el final de la respuesta. Así lo describen las fuentes divulgativas de Taskade y apxml, y es también el punto de partida del estudio de Hangfeng He y otros investigadores, publicado en arXiv, sobre la predicción del siguiente token.

Un ejemplo ayuda a verlo. Si el texto es «el cielo es», la palabra «azul» tendrá una probabilidad mucho más alta que «mesa». Los porcentajes concretos dependen de cada modelo, pero el principio es ese: el sistema no consulta una respuesta guardada, sino que calcula qué continuación encaja mejor con todo lo anterior.

De ahí se deriva una de sus limitaciones más conocidas. Como el modelo elige lo probable y no lo comprobado, puede producir un dato falso con el mismo tono que uno verdadero. Es lo que se conoce como alucinación: una respuesta correcta en la forma, pero equivocada en el fondo.

Parámetros aprendidos con enormes cantidades de texto

Lo que determina esas probabilidades son los parámetros, valores numéricos que el modelo ajusta durante el entrenamiento. Pueden imaginarse como los botones de una mesa de mezclas: cada uno influye poco en el sonido final, pero juntos lo definen. Las fuentes consultadas, entre ellas la guía de Google sobre tamaños de modelos publicada en web.dev, muestran que el número de parámetros varía muchísimo de un modelo a otro y puede ir de cientos de miles a billones.

Como referencia, la cifra más difundida para GPT-3 es de 175.000 millones de parámetros. Para los modelos más recientes, sin embargo, los laboratorios no siempre publican el tamaño. Circulan estimaciones de más de un billón de parámetros, como recoge el blog técnico de Pieces, pero son cifras no publicadas oficialmente y deben tomarse como rumores.

Cómo se ajustan esos números

El entrenamiento consiste en mostrar al modelo fragmentos de texto y pedirle que prediga el siguiente token a partir de todo lo anterior. El sistema compara su predicción con el token real, mide el error y desplaza ligeramente los parámetros en la dirección que lo reduce. Este método, llamado descenso de gradiente, se parece a bajar a un valle caminando siempre hacia donde el terreno desciende. Según explica el desarrollador Giles Thomas en su serie sobre cómo construir un modelo desde cero, ese ajuste suele calcularse con el error medio de un lote de ejemplos, no después de cada fallo aislado.

A esto se suma la escala. Según las fuentes divulgativas consultadas, los conjuntos de entrenamiento van de cientos de miles de millones a billones de tokens. Nadie programa reglas gramaticales: la gramática, muchos datos del mundo e incluso patrones de código se aprenden de forma implícita, porque predecir bien el texto lo exige.

Una caja negra que se intenta abrir

El resultado es un sistema que funciona, pero cuyo interior es difícil de explicar. La revisión sobre redes neuronales interpretables publicada en Frontiers in Artificial Intelligence en 2023 describe estos modelos como cajas negras, y la Cloud Security Alliance señala que no está claro cómo los vectores de entrada se transforman capa a capa hasta producir la predicción. Para responder a esa pregunta existe la interpretabilidad mecanicista, un campo de investigación activo que intenta averiguar qué función cumple cada parte de un modelo.

Lo que se dice de los modelos de lenguaje y lo que dicen los datos

Sobre el funcionamiento de estos sistemas se repiten varias frases que resumen bien la idea general, aunque algunas simplifican demasiado. Esta tabla las contrasta con la información disponible.

Afirmación	Veredicto	Explicación
«La IA no busca la respuesta, adivina la siguiente palabra»	Incompleto	El núcleo es correcto: predecir el siguiente token es la operación básica. Pero algunos asistentes se conectan también a buscadores, y no hemos encontrado fuentes fiables que detallen cómo combinan búsqueda y generación.
«Dentro no hay reglas ni frases guardadas, solo números»	Incompleto	Lo aprendido se almacena en parámetros numéricos, pero la arquitectura que los organiza la diseñan personas. No hemos podido verificar que el código sea siempre «la parte pequeña».
«Tiene miles de millones de números»	Cierto, con matices	Es correcto en orden de magnitud, con GPT-3 en 175.000 millones según la cifra más difundida. Hay modelos mucho más pequeños y otros cuyo tamaño no se publica.
«Las palabras parecidas quedan cerca»	Cierto (simplificado)	Los vectores sitúan los significados afines próximos entre sí. Los ejemplos concretos que suelen usarse son ilustrativos.
«Esos números no los escribió nadie»	Exagerado	Nadie fija los valores a mano, pero personas diseñan la arquitectura, eligen los datos y definen el proceso de entrenamiento.
«Se entrena tapando la última palabra para que la adivine»	Incompleto	Los modelos de tipo GPT predicen el siguiente token a partir de toda la secuencia anterior. Ocultar palabras en mitad de la frase corresponde a otra técnica de entrenamiento distinta.
«Cada vez que falla, todos los números se mueven un poco»	Incompleto	La idea es correcta, pero el ajuste suele calcularse con el error medio de un lote de ejemplos, no tras cada fallo individual.
«Nadie le enseña gramática»	Incompleto	La gramática se aprende de forma implícita, pero asistentes como los basados en GPT pasan después por un ajuste con retroalimentación humana.
«Ni sus creadores saben qué hace cada número»	Cierto, con matiz	Las fuentes académicas describen estos modelos como cajas negras. Aun así, la interpretabilidad es un campo de investigación activo que intenta reducir ese desconocimiento.
«Al principio responde al azar» y «se entrena durante meses»	Sin confirmar	Las fuentes consultadas hablan de un conjunto inicial de parámetros, pero no precisan cómo se generan ni cuánto dura el entrenamiento de cada modelo.
«La IA piensa» o «la IA no piensa»	Sin confirmar	Las fuentes describen operaciones matemáticas. Si eso equivale o no a pensar es un debate que ninguna de ellas resuelve.

Qué significa para ti

Saber que un chatbot genera cada frase por probabilidad cambia la forma de usarlo. Es una herramienta muy útil para redactar, resumir, traducir o generar ideas, pero su seguridad al responder no garantiza que la respuesta sea correcta. Por eso conviene tratar sus textos como un borrador de calidad y no como una fuente verificada.

Comprueba cifras, fechas, nombres y citas en una fuente original antes de publicarlos o tomar decisiones con ellos.
Da contexto en tus peticiones: cuanta más información relevante incluyas, más se ajustará la respuesta a lo que necesitas.
Desconfía de las referencias bibliográficas o los enlaces que el asistente aporte sin que puedas abrirlos y revisarlos.
Si usas estas herramientas en tu empresa, establece una revisión humana para cualquier contenido que llegue a clientes.
No introduzcas datos personales o confidenciales en servicios cuyas condiciones de uso no conozcas.

En resumen

Los modelos de lenguaje convierten el texto en tokens y vectores, lo procesan en muchas capas de operaciones matemáticas y calculan la probabilidad de cada posible continuación, que añaden a la frase antes de repetir el ciclo. Sus parámetros se ajustan durante el entrenamiento a partir de enormes cantidades de texto, sin reglas gramaticales escritas a mano, aunque con decisiones humanas en el diseño y en el ajuste posterior. Ese método explica tanto su fluidez como sus errores plausibles, y el funcionamiento interno de cada parámetro sigue siendo, en gran medida, objeto de investigación.