Token (en IA)
Es cada trozo de texto, una palabra entera, una parte de palabra o un signo, en el que un modelo de lenguaje divide lo que lee y escribe. Los límites de longitud y el coste de estos modelos se miden en tokens.
EjemploLa palabra «desconectar» podría dividirse en tokens como «des», «conect» y «ar».