Hugging Face Blog·· 3 小时前AI 评分55
NVIDIA 开源2.8万亿Token印度语言数据集及数据生成流水线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA联合IIT Madras和AI4Bharat发布约2.8万亿token的Indic预训练语料及GPU加速的数据生成流水线，覆盖印度宪法承认的22种语言（含全部22种的本地脚本数据及12种语言的罗马化文本）。
来源：Hugging Face Blog · huggingface.co