跳到正文
Simon Willison·· 7 小时前AI 评分44

ttok 1.0 发布:默认改用 GPT-5/GPT-6 tokenizer,GPT-6 与 GPT-5 家族共用同一词表

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,修复了升级为新版本后默认使用 GPT-4 tokenizer 而非 GPT-5/GPT-6 的问题。他通过 William Liu 的实验数据发现,GPT-5.5、GPT-5.6(Sol/Terra/Luna)及 GPT-6(Astra/Sol/Luna)均使用 44,794 个 token 的相同词表,GPT-6 未引入任何输入计数变化。

来源:Simon Willison · simonwillison.net