ttok 1.0 发布，默认改为 GPT-5/GPT-6 tokenizer
热点事件持续更新
ttok 1.0 发布，默认改为 GPT-5/GPT-6 tokenizer
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Simon Willison 发布 ttok 1.0，修复了默认使用 GPT-4 tokenizer 的问题，改为 GPT-5/GPT-6 tokenizer。 此前版本升级后仍默认使用 GPT-4 tokenizer，导致计数结果与 GPT-5、GPT-6 系列不一致。Willison 通过 William Liu 的实验数据发现，GPT-5.5、GPT-5.6（Sol/Terra/Luna）及 GPT-6（Astra/Sol/Luna）均使用 44,794 个 token 的相同词表，在 31 组测试用例中计数完全一致。GPT-6 未引入任何输入计数变化。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0 发布：默认改用 GPT-5/GPT-6 tokenizer，GPT-6 与 GPT-5 家族共用同一词表
Simon Willison 发布 ttok 1.0，修复了升级为新版本后默认使用 GPT-4 tokenizer 而非 GPT-5/GPT-6 的问题。他通过 William Liu 的实验数据发现，GPT-5.5、GPT-5.6（Sol/Terra/Luna）及 GPT-6（Astra/Sol/Luna）均使用 44,794 个 token 的相同词表，GPT-6 未引入任何输入计数变化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。