Falcon-Emirati-7B 发布:让 LLM 学习阿联酋方言、文化与细微之处
Hugging Face 发布 Falcon-Emirati-7B,这是基于 Falcon-H1-Arabic 构建的阿联酋方言专用模型。该 7B 参数模型采用 Mamba 与 Transformer 混合架构,支持最高 256K tokens 上下文窗口,通过真实方言网络数据、阿联酋文化 MSAs 数据及受约束的合成数据进行训练,目标使模型能以母语使用者方式理解和生成阿联酋阿拉伯语。
Hugging Face 发布 Falcon-Emirati-7B,这是基于 Falcon-H1-Arabic 构建的阿联酋方言专用模型。该 7B 参数模型采用 Mamba 与 Transformer 混合架构,支持最高 256K tokens 上下文窗口,通过真实方言网络数据、阿联酋文化 MSAs 数据及受约束的合成数据进行训练,目标使模型能以母语使用者方式理解和生成阿联酋阿拉伯语。