Token Golf

01 Mismo prompt, mismo modelo, ejecuciones muy distintas

El motor de workflows se ejecutó seis veces por lenguaje. La ejecución más barata de Python usó 78,4k tokens de salida y la más cara 154,2k. La diferencia entre ejecuciones de un mismo lenguaje es mayor que la diferencia entre los tres primeros lenguajes.

Cada punto es una ejecución. La marca ámbar es la mediana.

Seis ejecuciones por lenguaje no bastan para decir qué lenguaje es el más barato.

02 Qué incluye el recuento de tokens

El 97% de todos los tokens procesados fue contexto en caché: el agente releyendo conversación que ya había visto. Por sesión osciló entre el 92% y el 98%. Cuanto más dura una sesión, más relee, así que los tokens totales reflejan sobre todo cuánto tiempo siguió trabajando el agente. Por eso la clasificación cuenta tokens de salida.

• Contexto en caché releído97,0%
• Salida (código, llamadas a herramientas, razonamiento)2,2%
• Entrada nueva0,7%

• Alrededor del 65% de los tokens de salida fue razonamiento. El resto son llamadas a herramientas, tests, reescrituras y el código final.
• Los tokens en caché, los de entrada nueva y los de salida tienen precios distintos, así que ordenar por coste puede dar otro resultado. Los costes son los que se pagaron en su momento.
• Todo esto sale de un único modelo. Otro modelo podría dar un orden distinto.

03 El recorrido

1. Una especificación. Un programa de línea de comandos totalmente especificado: JSON de entrada, JSON de salida, determinista y con un conjunto cerrado de códigos de error.
2. Cinco jugadores. Python, JavaScript, Go, Rust y C. Cada uno tiene su propia sesión de agente, con herramientas, una shell y margen para probarse a sí mismo.
3. Un árbitro. Una batería de conformidad independiente del lenguaje que solo habla con el binario a través de su CLI. Si no la pasas, tu puntuación no cuenta.
4. La puntuación. Tokens de salida de la sesión: todo lo que escribió el agente, incluidos el razonamiento, las llamadas a herramientas y las reescrituras.

Modelo: DeepSeek-V4.1-Flash-1017, thinking=high, una sesión autónoma por ejecución. Todas las ejecuciones contadas aquí pasan su batería de tests puntuada.

04 La letra pequeña

05 Contribuir

Todas las entregas y la batería completa de tests están en el repositorio, así que puedes comprobar estas cifras sin ejecutar ningún modelo.

git clone https://github.com/GodGMN/language-tokens-benchmark
python3 benchmark/rescore.py

benchmark/holdout/<category>/your_case.json
python3 benchmark/runner.py --language oracle

benchmark/rounds/<round>/round.json
benchmark/adapters/<lang>.json

Guía para contribuir ↗ Metodología ↗ Conclusiones completas ↗

La documentación del repositorio está en inglés.

06 Todas las muestras

Las 45 sesiones, sin filtrar. Descarga dataset.csv o dataset.json.