IA generativa en la prácticaPara profundizarConcepto técnico
Token
Token · También: fragmento de texto
Qué significa
Unidad mínima de texto con la que trabaja un modelo de lenguaje. Puede ser una palabra completa, una parte de una palabra o un signo de puntuación. Los modelos leen y generan texto token a token, y los límites de uso, de memoria y de coste suelen medirse en tokens.
Un ejemplo
Ejemplo ilustrativo: la palabra «inconstitucional» puede dividirse en varios tokens, mientras que «sol» suele ser uno solo. Por eso un documento largo en español puede consumir más tokens de lo que su número de palabras haría pensar.
Por qué importa
Los tokens determinan cuánto texto cabe en una conversación y cuánto cuesta un servicio. Ayudan a entender por qué un asistente «olvida» partes de documentos largos.
Distinción útil
Un token no equivale a una palabra: la relación varía según el idioma y el modelo.
Fuentes
- Machine Learning Glossary(se abre en una pestaña nueva)Google for Developers — Entrada «token»