Full results

Bytes per token on every test set

40 tokenizers across 41 held-out test sets. Select a column to sort by it; pick a provider to compare it with Akshara.

Provider

Bytes per token: higher means fewer tokens, so better. Shading is per column.

Lowest in its columnHighest (best)


1	Akshara 448k	Akshara	448,000	5.41	4.94	4.08	7.21	4.36	4.13	4.40	4.72	5.04	4.00	3.57	3.73	4.38	4.04	4.21	4.82	4.77	4.29	3.86	3.22	3.62	3.63	4.25	3.84	2.74	4.20	4.60	4.83	7.38	5.10	5.93	4.55	7.21	6.37	9.20	9.93	8.62	11.69	10.97	9.23	12.36	4.99	4.92	4.99
2	Akshara 248k	Akshara	248,000	5.14	4.84	3.99	6.59	4.27	4.06	4.29	4.63	4.94	3.93	3.50	3.65	4.32	3.95	4.15	4.71	4.63	4.22	3.75	3.14	3.54	3.53	4.13	3.79	2.68	3.94	4.35	4.58	6.76	4.73	5.47	4.17	6.58	5.97	8.49	8.96	7.75	10.56	9.82	8.20	10.92	4.87	4.47	4.64
3	Akshara 200k	Akshara	200,000	5.03	4.79	3.95	6.35	4.23	4.03	4.24	4.58	4.88	3.89	3.47	3.61	4.29	3.92	4.11	4.67	4.57	4.19	3.71	3.11	3.50	3.49	4.07	3.76	2.64	3.84	4.25	4.47	6.51	4.61	5.31	4.04	6.33	5.79	8.17	8.58	7.44	10.07	9.38	7.84	10.43	4.80	4.31	4.49
4	Akshara 151k	Akshara	151,000	4.88	4.72	3.89	6.02	4.17	3.98	4.17	4.51	4.81	3.84	3.43	3.57	4.24	3.88	4.06	4.60	4.49	4.14	3.65	3.04	3.42	3.43	3.99	3.72	2.60	3.71	4.12	4.32	6.19	4.44	5.09	3.87	6.03	5.55	7.79	8.04	6.95	9.39	8.84	7.33	9.66	4.70	4.07	4.29
5	Akshara 120k	Akshara	120,000	4.75	4.66	3.85	5.74	4.13	3.95	4.12	4.46	4.76	3.81	3.39	3.53	4.19	3.84	4.01	4.54	4.43	4.11	3.58	3.01	3.37	3.37	3.94	3.68	2.57	3.60	3.99	4.19	5.93	4.29	4.90	3.73	5.75	5.34	7.39	7.59	6.60	8.81	8.33	6.96	9.03	4.58	3.90	4.11
6	gemma-3-1b-it	Google	262,145	4.71	4.66	3.51	5.97	3.59	3.69	4.03	4.19	4.53	3.46	3.09	3.18	3.71	3.79	3.60	4.24	4.07	3.80	3.19	2.73	2.87	3.04	3.64	3.21	2.12	3.39	3.99	4.30	5.98	4.17	4.59	3.71	5.29	5.59	9.06	8.86	6.19	11.37	9.41	6.74	8.09	4.45	3.84	4.33
7	gemma-4-31B-it	Google	262,144	4.71	4.66	3.50	5.97	3.59	3.67	4.03	4.18	4.53	3.46	3.09	3.18	3.71	3.75	3.60	4.24	4.07	3.80	3.19	2.73	2.87	3.04	3.64	3.12	2.12	3.39	3.99	4.30	5.98	4.17	4.59	3.71	5.29	5.59	9.06	8.86	6.19	11.37	9.41	6.74	8.09	4.45	3.84	4.33
8	OpenAI o200k_base (GPT-4o)	OpenAI	200,019	4.64	4.74	3.85	5.33	4.16	3.98	4.20	4.49	4.80	3.88	3.36	3.52	4.16	3.95	4.05	4.46	4.52	4.15	3.62	3.06	3.36	3.36	3.75	3.58	2.50	3.70	4.10	4.37	6.08	3.44	3.53	3.59	5.73	5.25	7.62	7.01	6.49	7.66	7.37	6.27	6.86	4.25	3.78	4.08
9	North-Micro-Vision-Instruct	Cohere	255,033	4.64	4.89	3.92	5.11	4.22	4.02	4.21	4.52	4.83	3.92	3.39	3.59	4.24	3.96	4.15	4.49	4.56	4.21	3.66	3.14	3.50	3.51	3.93	3.70	2.56	3.87	4.20	4.43	6.00	4.18	4.80	4.30	6.01	4.46	7.24	5.67	2.15	6.93	6.61	5.18	7.98	4.79	3.59	4.73
10	Akshara 92k	Akshara	92,000	4.59	4.56	3.78	5.42	4.05	3.88	4.05	4.39	4.68	3.75	3.34	3.48	4.12	3.78	3.95	4.46	4.36	4.04	3.52	2.96	3.29	3.31	3.86	3.63	2.53	3.45	3.83	4.03	5.62	4.12	4.69	3.57	5.45	5.07	6.96	7.08	6.19	8.23	7.81	6.47	8.36	4.44	3.70	3.90
11	Mistral-Large-4-1T-A52B	Mistral	204,800	4.58	4.61	3.73	5.42	4.04	3.84	4.14	4.34	4.65	3.68	3.18	3.29	4.01	3.83	3.95	4.32	4.38	4.06	3.40	3.01	3.26	3.25	3.69	3.54	2.39	3.85	4.23	4.45	6.19	3.35	3.54	3.68	5.98	5.47	7.55	7.73	6.34	8.24	8.08	6.51	5.46	4.38	3.96	3.95
12	sarvam-105b	Sarvam	262,144	4.46	4.65	3.50	5.22	3.58	3.69	4.03	4.19	4.49	3.46	3.08	3.18	3.71	3.79	3.46	4.19	4.05	3.80	3.19	2.70	2.87	3.04	3.64	3.20	2.12	3.39	3.99	4.29	5.98	4.17	1.53	1.03	5.29	5.59	9.06	8.86	7.46	11.37	9.41	7.57	1.01	1.73	3.18	4.33
13	Qwen3.8-27B	Alibaba (Qwen)	248,077	4.46	4.59	3.81	4.97	4.13	4.00	4.14	4.54	4.89	3.89	3.32	3.48	4.13	3.95	4.04	4.56	4.54	4.18	3.56	2.94	3.02	3.29	3.70	3.45	2.24	3.36	3.92	4.17	6.04	4.62	4.63	4.00	5.86	4.32	5.74	5.35	3.72	5.44	5.58	4.31	10.68	4.63	3.63	4.45
14	Akshara 59k	Akshara	59,000	4.32	4.39	3.66	4.91	3.91	3.76	3.88	4.26	4.55	3.63	3.25	3.37	4.00	3.68	3.83	4.31	4.22	3.93	3.40	2.86	3.12	3.18	3.72	3.51	2.45	3.21	3.59	3.76	5.12	3.78	4.35	3.28	4.95	4.59	6.31	6.36	5.59	7.18	6.98	5.77	7.34	4.16	3.33	3.57
15	Mistral-Nemo-Base-2407	Mistral	131,072	4.31	4.55	3.58	4.81	3.87	3.77	3.99	4.24	4.55	3.63	3.11	3.29	3.88	3.74	3.82	4.21	4.20	3.95	3.33	2.79	2.82	3.05	3.51	3.31	2.12	3.31	4.13	4.20	5.61	3.16	3.69	3.80	6.09	4.87	6.62	5.85	4.14	6.48	6.66	5.37	5.61	4.28	3.58	3.84
16	LFM3-1.7B	Liquid AI	125,033	4.21	4.63	3.59	4.42	3.86	3.74	3.97	4.24	4.53	3.54	3.14	3.24	3.83	3.70	3.81	4.17	4.15	3.84	3.30	2.86	3.21	3.09	3.58	3.37	2.30	3.64	3.99	4.08	5.53	3.59	4.21	3.71	5.80	4.16	4.81	4.68	4.30	4.45	4.76	4.22	6.37	4.39	3.48	3.79
17	Akshara 49k	Akshara	49,000	4.20	4.31	3.60	4.70	3.85	3.70	3.84	4.20	4.47	3.58	3.20	3.32	3.94	3.63	3.77	4.23	4.16	3.88	3.35	2.82	3.02	3.11	3.65	3.43	2.40	3.12	3.50	3.66	4.90	3.67	4.18	3.17	4.76	4.36	6.09	6.08	5.33	6.78	6.64	5.51	6.96	4.00	3.20	3.43
18	DeepSeek-V3	DeepSeek	128,815	4.20	4.73	3.61	4.26	3.88	3.76	3.80	4.26	4.58	3.57	3.16	3.27	3.83	3.71	3.82	4.23	4.17	3.93	3.33	2.91	3.16	3.10	3.58	3.42	2.34	3.35	3.73	3.90	5.57	4.57	4.09	3.29	4.90	3.76	4.56	4.31	3.07	6.27	4.98	3.46	7.59	3.03	2.69	3.86
19	MiniMax-M2.5	MiniMax	200,054	4.16	4.82	3.78	3.88	4.08	3.90	3.99	4.42	4.71	3.77	3.28	3.47	4.12	3.85	4.05	4.30	4.43	4.11	3.50	3.03	3.28	3.30	3.76	3.57	2.46	3.49	4.38	4.66	5.36	4.56	5.33	4.00	5.90	2.47	4.46	4.02	1.86	3.45	3.91	3.18	2.83	2.43	2.83	4.62
20	Falcon-H1-34B-Instruct	TII (Falcon)	261,120	4.13	4.53	3.25	4.62	3.37	3.31	3.90	3.83	4.15	3.25	2.86	3.01	3.50	3.39	3.32	3.81	3.72	3.50	3.00	2.55	2.63	2.77	3.30	2.97	2.10	3.06	3.59	3.96	6.48	3.74	4.70	4.18	6.73	5.42	6.78	7.12	4.69	6.86	2.10	1.98	5.13	3.56	3.33	4.37
21	Seed-OSS-36B-Instruct	ByteDance	155,121	4.11	4.59	3.62	4.12	3.90	3.81	3.99	4.33	4.61	3.66	3.17	3.30	3.90	3.75	3.79	4.22	4.23	3.97	3.34	2.82	2.91	3.10	3.58	3.39	2.18	3.22	3.80	3.89	5.70	3.91	2.91	3.08	4.63	3.84	4.59	4.60	3.80	4.55	5.06	4.34	4.99	4.15	3.44	3.81
22	Llama-3.2-1B	Meta	128,256	4.08	4.69	3.89	3.66	4.20	4.04	4.13	4.58	4.92	3.91	3.39	3.53	4.18	3.97	4.08	4.60	4.63	4.21	3.63	3.08	3.38	3.40	3.77	3.57	2.50	3.15	3.56	3.72	5.48	3.49	3.86	3.58	4.78	2.93	4.89	4.66	1.59	2.21	2.05	1.57	6.28	4.55	3.80	3.32
23	Kimi-K3	Moonshot AI (Kimi)	163,840	4.04	4.69	3.84	3.59	4.13	3.96	4.02	4.47	4.75	3.86	3.36	3.52	4.18	3.87	4.04	4.38	4.49	4.16	3.59	3.07	3.41	3.41	3.81	3.59	2.52	3.05	3.37	3.47	4.50	3.72	3.63	2.78	3.83	4.02	4.68	4.52	3.19	4.32	3.72	3.30	3.68	2.36	2.80	3.33
24	Hy3	Tencent	120,818	3.97	4.71	3.70	3.49	4.00	3.85	3.91	4.38	4.63	3.70	3.24	3.35	3.98	3.75	3.90	4.29	4.30	4.02	3.37	2.98	3.27	3.20	3.64	3.46	2.40	3.07	3.44	3.48	4.37	4.01	3.72	3.12	3.93	2.97	3.69	3.46	2.34	3.26	4.01	2.41	5.12	3.58	3.02	3.36
25	GLM-5.3-Flash	Z.ai (GLM)	154,856	3.96	4.69	3.88	3.31	4.20	4.04	4.13	4.58	4.92	3.91	3.39	3.53	4.18	3.97	4.07	4.60	4.62	4.21	3.62	3.06	3.32	3.37	3.76	3.57	2.46	3.36	3.73	3.94	5.99	3.83	3.82	2.86	4.40	3.21	2.89	2.86	1.59	2.72	2.05	1.57	3.16	4.29	3.26	3.32
26	Akshara 32k	Akshara	32,000	3.93	4.09	3.45	4.24	3.69	3.57	3.71	4.05	4.29	3.42	3.08	3.20	3.79	3.50	3.62	4.07	3.97	3.74	3.22	2.72	2.83	2.98	3.50	3.25	2.29	2.90	3.27	3.41	4.42	3.37	3.85	2.90	4.33	3.95	5.45	5.43	4.73	6.02	5.90	4.91	6.09	3.59	2.92	3.12
27	Ling-3.0-tiny	inclusionAI (Ant Group)	157,153	3.92	4.62	3.67	3.47	3.99	3.84	3.89	4.40	4.69	3.73	3.17	3.27	4.02	3.77	3.91	4.36	4.34	4.06	3.34	2.88	2.93	3.20	3.69	3.38	2.18	3.04	3.51	3.50	4.84	3.90	3.82	3.46	4.27	2.49	3.19	3.02	1.73	4.99	2.21	1.91	5.78	3.83	3.20	3.29
28	Qwen2.5-0.5B	Alibaba (Qwen)	151,665	3.90	4.57	3.79	3.34	4.13	4.00	3.99	4.54	4.87	3.88	3.31	3.48	4.13	3.93	4.01	4.55	4.53	4.17	3.54	2.93	3.02	3.28	3.70	3.43	2.24	2.91	3.52	3.64	4.82	4.08	3.93	3.17	4.71	2.75	2.79	2.78	1.78	2.51	2.51	1.83	5.06	4.23	3.26	3.25
29	Qwen3-0.6B	Alibaba (Qwen)	151,669	3.90	4.57	3.79	3.34	4.13	4.00	3.99	4.54	4.87	3.88	3.31	3.48	4.13	3.93	4.01	4.55	4.53	4.17	3.54	2.93	3.02	3.28	3.70	3.43	2.24	2.91	3.52	3.64	4.82	4.08	3.93	3.17	4.71	2.75	2.79	2.78	1.78	2.51	2.51	1.83	5.06	4.23	3.26	3.25
30	ERNIE-4.5-21B-A3B-PT	Baidu	101,304	3.89	4.40	3.37	3.88	3.49	3.51	3.86	4.08	4.27	3.40	2.88	2.97	3.61	3.46	3.51	4.05	3.90	3.70	3.01	2.63	2.79	2.99	3.54	3.06	2.15	2.87	3.36	3.56	4.45	3.87	3.33	2.48	3.95	3.92	5.23	5.02	3.72	4.83	4.89	3.67	4.42	3.47	3.16	3.55
31	OLMo-2-0425-1B	Ai2	100,278	3.74	4.69	3.87	2.64	4.19	4.03	3.99	4.58	4.90	3.91	3.38	3.53	4.18	3.97	4.01	4.59	4.62	4.20	3.60	3.06	3.38	3.39	3.77	3.53	2.50	3.14	3.56	3.71	3.63	2.25	2.61	2.29	2.62	2.03	2.61	2.59	1.59	2.20	2.05	1.57	2.99	2.69	2.82	3.29
32	Olmo-3-1025-7B	Ai2	100,278	3.74	4.69	3.87	2.64	4.19	4.03	3.99	4.58	4.90	3.91	3.38	3.53	4.18	3.97	4.01	4.59	4.62	4.20	3.60	3.06	3.38	3.39	3.77	3.53	2.50	3.14	3.56	3.71	3.63	2.25	2.61	2.29	2.62	2.03	2.61	2.59	1.59	2.20	2.05	1.57	2.99	2.69	2.82	3.29
33	phi-4	Microsoft	100,352	3.74	4.69	3.87	2.64	4.19	4.03	3.99	4.58	4.90	3.91	3.38	3.53	4.18	3.97	4.01	4.59	4.62	4.20	3.60	3.06	3.38	3.39	3.77	3.53	2.50	3.14	3.56	3.71	3.63	2.25	2.61	2.29	2.62	2.03	2.61	2.59	1.59	2.20	2.05	1.57	2.99	2.69	2.82	3.29
34	OpenAI cl100k_base (GPT-4)	OpenAI	100,277	3.74	4.69	3.87	2.64	4.19	4.03	3.99	4.58	4.90	3.91	3.38	3.53	4.18	3.97	4.01	4.59	4.62	4.20	3.60	3.06	3.38	3.39	3.77	3.53	2.50	3.14	3.56	3.71	3.63	2.25	2.61	2.29	2.62	2.03	2.61	2.59	1.59	2.20	2.05	1.57	2.99	2.69	2.82	3.29
35	sarvam-1	Sarvam	68,096	3.50	4.02	2.77	3.71	2.90	2.91	2.81	3.38	3.43	2.90	2.54	2.52	3.04	2.82	2.79	3.32	3.11	3.06	2.56	2.24	2.27	2.39	2.87	2.36	1.87	2.10	2.38	2.37	1.01	1.04	1.01	1.01	1.00	1.00	8.52	9.14	6.74	9.24	9.75	7.79	1.01	1.34	1.73	2.30
36	pythia-160m	EleutherAI	50,277	3.49	4.67	3.37	2.44	3.47	3.50	3.65	3.97	4.24	3.33	3.02	2.99	3.56	3.52	3.43	3.98	3.81	3.61	3.04	2.74	2.99	2.96	3.46	3.10	2.40	2.95	3.28	3.37	3.46	2.14	2.68	1.55	2.63	1.98	2.59	2.51	1.73	1.94	1.98	1.77	2.55	2.09	2.47	2.77
37	OpenAI p50k_base (Codex)	OpenAI	50,281	3.22	4.66	3.20	1.79	3.32	3.29	3.43	3.81	4.02	3.19	2.79	2.82	3.43	3.25	3.28	3.79	3.65	3.48	2.93	2.63	2.80	2.79	3.32	2.94	2.29	2.70	3.00	3.00	1.72	1.44	1.97	1.17	1.85	1.42	1.69	1.68	1.01	1.34	1.02	1.01	1.51	1.53	2.26	2.67
38	SmolLM2-135M	Hugging Face	49,152	3.20	4.54	3.13	1.93	3.41	3.29	3.38	3.76	3.95	3.14	2.73	2.87	3.36	3.29	3.27	3.76	3.58	3.42	2.92	2.48	2.52	2.70	3.28	2.78	1.96	2.48	2.95	2.93	2.36	1.65	1.65	1.18	1.94	1.57	2.38	2.32	1.01	1.47	1.61	1.01	1.61	1.72	2.22	2.66
39	Phi-3.5-mini-instruct	Microsoft	32,011	3.17	4.04	3.08	2.39	3.26	3.21	3.36	3.67	3.95	3.04	2.55	2.60	3.37	3.19	3.28	3.79	3.59	3.45	2.71	2.46	2.52	2.70	3.22	2.81	1.89	2.81	3.38	3.47	4.83	2.00	2.45	1.63	2.02	1.73	2.42	2.47	1.08	2.12	2.33	1.07	2.69	2.02	2.26	2.59
40	gpt2	OpenAI	50,257	2.95	4.66	2.41	1.79	2.29	2.41	2.49	2.80	2.20	2.46	2.32	2.70	2.29	2.24	2.50	2.48	2.35	2.65	2.59	2.37	2.40	2.48	2.39	2.09	2.01	2.70	3.00	3.00	1.72	1.44	1.96	1.17	1.85	1.42	1.69	1.68	1.01	1.33	1.02	1.01	1.51	1.52	2.26	2.66