Tokens AI: ¿Qué es un token en ChatGPT, Gemini and Co.?

Cuando se trata de IA generativa, es decir, inteligencia artificial que crea contenidos, un cierto número de tokens suele ser importante por su potencia, pero también por su uso final. Pero, ¿qué son los tokens de IA? ¿Qué dice la cantidad de tokens posibles por comando ingresado (“solicitud”) y respuesta emitida? ¿Qué se puede imaginar del costo simbólico que conlleva una determinada suscripción o uso de API? ¿Y cuál es la diferencia entre tokens y token ID? A continuación he resumido todos los datos importantes sobre el tema para usted.

¿Qué es un token de IA en ChatGPT, Google Gemini and Co.? ¿Cuántas fichas tiene mi mensaje? ¿Y cuál es el ID del token para palabras individuales? Puede obtener respuestas a estas y otras preguntas aquí. (La imagen de vista previa y esta imagen se crearon con Microsoft Copilot).
¿Qué es un token de IA en ChatGPT, Google Gemini and Co.? ¿Cuántas fichas tiene mi mensaje? ¿Y cuál es el ID del token para palabras individuales? Puede obtener respuestas a estas y otras preguntas aquí. (La imagen de vista previa y esta imagen se crearon con Microsoft Copilot).

¿Qué son los tokens de IA?

Los tokens individuales no necesariamente deben considerarse monedas que pueden acreditarse 1:1 a determinadas entradas o caracteres. Son valores más aproximados o redondeados. También pueden variar según el idioma. El “idioma nativo” de la mayoría de las IA grandes es el inglés, razón por la cual las entradas en este idioma significan comparativamente menos tokens que las entradas en otros idiomas, como el alemán. Las entradas y salidas más breves y simples valen menos tokens que las entradas y salidas largas y complejas.

Valores promedio de tokens en ChatGPT

Si desea determinar cuántos o cuán complejos mensajes puede crear con una determinada cantidad de tokens (por ejemplo, aquellos que corresponden a un determinado presupuesto), esta descripción general es de poca utilidad. Solo ayuda a ahorrar tokens porque ayuda a comprender que el contenido ingresado en un formato más corto requiere menos esfuerzo de procesamiento que las entradas más complejas y detalladas.

Por lo tanto, OpenAI proporciona algunos principios rectores para el uso de ChatGPT que puede seguir. Esto le brinda la oportunidad de estimar de antemano la cantidad de tokens necesarios para las notificaciones e imaginar los costos incurridos en la suscripción respectiva o al usar la API ChatGPT. Estos son los posibles valores que OpenAI especifica para los tokens ChatGPT:

  • 1 token tiene alrededor de 4 caracteres en inglés
  • Entonces, 1 ficha es aproximadamente 3/4 de una palabra promedio en inglés.
  • 100 fichas son alrededor de 75 palabras en inglés

También existen las siguientes estimaciones para el idioma inglés:

  • Uno o dos conjuntos corresponden a unas 30 fichas
  • Un párrafo equivale aproximadamente a 100 fichas.
  • Un texto de 1.500 palabras ronda los 2.048 tokens

Como se indicó, estas son sólo estimaciones. Pueden diferir, especialmente cuando se utilizan palabras más largas, pero también cuando se utilizan otros idiomas. Por lo tanto, OpenAI ofrece su propia herramienta web, Tokenizer, para un cálculo más preciso de los tokens. En él se indica, por ejemplo, que la frase alemana "¿Qué son los tokens AI?" no sólo consta de 30 caracteres, sino también de 7 tokens. aquí Puedes probar el tokenizador para ChatGPT tú mismo.

La limitación de tokens para entrada y salida.

Uno podría preguntarse: ¿Cuál es el sentido de todo esto? Bueno, las empresas desarrolladoras de IA generativas pueden utilizar cantidades simbólicas para indicar cuán compleja puede “pensar” una IA, es decir, cuán receptiva es y cuán extensas pueden ser las posibles respuestas. Si una IA se limita a unas pocas fichas, entonces no es muy fuerte.

Sin embargo, si la IA puede aceptar o procesar una gran cantidad de tokens por entrada y luego generar numerosos tokens como respuesta, se considera fuerte: el hecho de que la entrada y la salida coincidan en términos de contenido y que el contenido de salida haga Por supuesto, también hay que tener en cuenta el sentido común. Sin embargo, si este es el caso, la complejidad de la IA aumenta con la cantidad posible de tokens.

Esto también explica los costos de uso, por ejemplo, de la API ChatGPT. Las inscripciones para GPT-4 Turbo actualmente cuestan $0,01 por cada 1.000 tokens ingresados ​​y $0,03 por cada 1.000 tokens emitidos. Para GPT-4, la entrada devuelve $0,03 por cada 1.000 tokens y $0,06 por cada 1.000 tokens emitidos. Así se puede monetizar el uso de chatbots e IA multimodales. Porque no todas las solicitudes y respuestas pueden ser extremadamente breves. Y la evaluación de los archivos PDF y las preguntas respondidas están repletas de tokens. 

Google Gemini 1.5 con hasta 1 millón de tokens

Finalmente te tengo si ya se muestra, que Google ha cambiado el nombre de su IA "Bard" a "Gemini". También se lanzó Gemini 1.0 y se introdujo el acceso pago a una versión Ultra. Poco después se presentó el modelo Gemini 1.5, que aún no estaba disponible para el gran público. Esto debería poder manejar hasta 1.000.000 de tokens (entrada + salida) por mensaje. Según lo explicado anteriormente, esta afirmación muestra claramente cuán desarrollado está este modelo y cuán complejo puede “pensar”.

Según Google, comprender contextos extensos y especialmente medios dentro de un solo mensaje aún es una cuestión experimental. Aquellos que pueden probar Gemini 1.5 todavía están limitados a 128.000 tokens por mensaje de forma predeterminada (corresponde a “GPT-4 Turbo”). Sólo un pequeño grupo de probadores ya puede acceder al modelo de 1 millón de tokens. Esto debería ser más de 700.000 palabras o más de 30.000 líneas de código, así como 11 horas de audio o 1 hora de vídeo además de la entrada de texto. 

Pero ¿por qué audio y vídeo? Porque Gemini 1.5 no es sólo un chatbot, sino un modelo de IA multimodal. Además de información de texto, también puede manejar imágenes, vídeos y otros medios. Google ofrece varios ejemplos en vídeo, como por ejemplo examinando la transcripción del tráfico de radio de la misión Apolo 11 (primer alunizaje). Después de evaluar el PDF correspondiente, se cargó un dibujo y se preguntó qué escena de la transcripción describía. La IA pudo asignarlos correctamente.

Otro vídeo muestra la evaluación de una película de 44 minutos dentro de Gemini 1.5. Al evaluar la película para las siguientes consultas, ya se utilizaron 696.417 tokens. Fue posible preguntar con éxito en qué código de tiempo se puede encontrar una determinada escena (descrita como texto). Además, se podría cargar un dibujo como descripción de la escena y solicitar su código de tiempo. También en este caso el modelo de IA multimodal encontró los datos correctos.

Más detalles y ejemplos se pueden encontrar en el correspondiente entrada en el blog a Gemini 1.5 de Google.

¿Qué es una identificación de token?

Ahora tienes que olvidar brevemente todo lo que acabas de aprender sobre los tokens. El número de tokens como medida de la complejidad de los medios, las indicaciones y los resultados no juega aquí un papel directo. Se utilizan otros valores numéricos que tienen diferente significado. Esto es sólo una nota porque estuve brevemente confundido mientras investigaba. Porque la cantidad de tokens de una palabra (según los valores anteriores, alrededor de 1,4 tokens por palabra) no tiene nada que ver con su ID de token.

Porque el token ID es, como su nombre indica, un número de identificación. Asigna un valor específico a la palabra, la letra de una abreviatura o los elementos individuales de una palabra flexionada. Esto se compara con el modelo de IA y luego se devuelve como respuesta la combinación más probable de ID de token. Así es como funciona la red neuronal digital: en realidad no "piensa", sino que elabora la secuencia más probable de palabras y partes de palabras que se ajustan a la entrada y forman la respuesta a partir de ella.

Para decirlo un poco más figurativamente: los ID de token son el lenguaje de IA al que se convierten las entradas para encontrar una respuesta de IA adecuada, que a su vez se convierte nuevamente al lenguaje humano.

El ID del token usando ChatGPT como ejemplo

Esto ciertamente suena muy teórico y complicado. Y es cierto que al principio no entendí completamente la situación debido a una descripción similar. A Ejemplo, que proporciona OpenAI para el funcionamiento del chatbot ChatGPT, me ayudó a comprenderlo mejor. También muestra los criterios según los cuales pueden cambiar los ID de token para la misma palabra. Te lo he resumido:

La oración de ejemplo en inglés es "Mi color favorito es el rojo". El punto al final vale 13 fichas. La última palabra antes (“roja”) 2266 fichas. Sin embargo, si el "rojo" está en mayúscula ("Rojo"), es más inusual y, por lo tanto, vale 2297 tokens. Si la frase se cambia a “El rojo es mi color favorito”, el valor del punto permanece en 13; Pero el de “Rojo” al principio aumenta a 7738. El “es” también es tan universal que su valor permanece en 318 en todas partes.

Esto muestra claramente que, dependiendo de su uso y posición en la indicación, las palabras individuales se asocian con un contexto diferente o con un significado diferente en el mismo contexto. Por lo tanto, se traducen en una ID de token diferente, lo que a su vez provoca una respuesta diferente de la IA. Esto también explica por qué cambiar las solicitudes da como resultado resultados diferentes aunque el contenido sea el mismo. Además, la ponderación del contenido individual se puede cambiar para que la respuesta le siga en lugar de otras partes del texto.

Verifique los ID de los tokens de su propia entrada ChatGPT: ¡así es como se hace!

Arriba vinculé OpenAI Tokenizer para calcular los tokens para su solicitud. Además de las funciones de recuento de los caracteres introducidos y los tokens utilizados, también ofrece un análisis de los ID de los tokens. Mi frase de ejemplo "¿Qué son los tokens de IA?", con sus 7 tokens y 30 caracteres, se divide en los siguientes elementos individuales: 

[Qué], [son], [en realidad], [K], [I], [Tokens], [?] - Los ID de token para estos elementos individuales son los siguientes: 27125, 12868, 84980, 735, 40, 59266 , 30. La “yo” única sin un espacio asociado no es muy compleja y tiene un ID de 40, el signo de interrogación tiene un 30. La palabra “en realidad” tiene el ID más grande. La frase en inglés "¿Qué son los tokens AI?" con 6 tokens y 26 caracteres ofrece los siguientes valores: 3923, 527, 15592, 59266, 3582, 30.

Conclusión sobre los temas de tokens AI y ID de token

La cantidad de tokens posibles cuando se utilizan chatbots e IA multimodales indica cuán largas o complejas pueden ser las entradas y salidas. Desde mensajes de texto largos y detallados hasta la evaluación de películas enteras, muchas cosas ya son posibles y ya están especificadas con cantidades simbólicas de millones, mientras que las preguntas sencillas y cotidianas a los chatbots difícilmente terminan en el rango de simbólicas de dos dígitos. Sin embargo, las respuestas largas pueden llegar hasta los tres dígitos, lo que también debe tenerse en cuenta a la hora de utilizarlas.

Al mismo tiempo, está el valor del ID del token, que tiene menos que ver con el número de letras. La identificación, que en el lenguaje AI equivale a una palabra, resulta más bien de la frecuencia de uso de la palabra, de la abreviatura o del símbolo, así como de su posición en la frase respectiva. Cuanto más complejo o inusual, mayor será el ID. Para el procesamiento, se debe acceder a un conjunto de entrenamiento más grande y a un área más grande de la red modelo. Este es el equivalente en IA del conocimiento humano. Necesita ser más grande para poder responder preguntas más complejas.

¿Te gustó el artículo y te ayudaron las instrucciones del blog? Entonces sería feliz si usted el blog a través de una membresía constante apoyaría.

Escribe un comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados con * markiert

En el Blog de Sir Apfelot encontrarás consejos, instrucciones y reseñas sobre productos de Apple como el iPhone, iPad, Apple Watch, AirPods, iMac, Mac Pro, Mac Mini y Mac Studio.

Especiales