Mistral AI宣布与NVIDIA合作开发的 12B 模型 NeMo 。这款新模型拥有令人印象深刻的上下文窗口，包含多达 128,000 个 token，在推理、世界知识和编码准确性方面拥有同类最佳的性能。
Mistral AI 与 NVIDIA 的合作打造出一款不仅突破了性能界限，而且优先考虑易用性的模型。Mistral NeMo 的设计旨在无缝替代目前使用 Mistral 7B 的系统，因为它依赖于标准架构。
为了鼓励采用和进一步研究，Mistral AI 在 Apache 2.0 许可下提供了预先训练的基础和指令调整检查点。这种开源方法可能会吸引研究人员和企业，并有可能加速该模型与各种应用程序的集成。
Mistral NeMo 的一个关键特性是其在训练过程中的量化感知能力，这使得 FP8 推理不会影响性能。对于希望高效部署大型语言模型的组织来说，这种能力可能至关重要。
Mistral AI 对 Mistral NeMo 基础模型与两个最近开源的预训练模型 Gemma 2 9B 和 Llama 3 8B 进行了性能比较。
Mistral AI 解释道：“该模型专为全球多语言应用而设计。它经过函数调用训练，具有较大的上下文窗口，并且在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面尤其出色。”
“这是将前沿人工智能模型带给所有人类文化语言使用者的新的一步。”
Mistral NeMo 推出了基于 Tiktoken 的全新标记器 Tekken。Tekken 经过了 100 多种语言的训练，与之前的 Mistral 模型中使用的 SentencePiece 标记器相比，它提高了自然语言文本和源代码的压缩效率。该公司报告称，Tekken 在压缩源代码和几种主要语言方面的效率提高了约 30%，对于韩语和阿拉伯语的压缩效率提升更为显著。
Mistral AI 还声称，对于大约 85% 的语言来说，Tekken 在文本压缩方面的表现优于 Llama 3 标记器，这可能使 Mistral NeMo 在多语言应用中占据优势。
该模型的权重现已在 HuggingFace 上提供，适用于基本版本和指导版本。开发人员可以使用 mistral-inference 工具开始试验 Mistral NeMo，并使用 mistral-finetune 进行调整。对于使用 Mistral 平台的用户，该模型可通过名称 open-mistral-nemo 访问。
为了与 NVIDIA 合作，Mistral NeMo 也被打包为 NVIDIA NIM 推理微服务，可通过ai.nvidia.com获取。这种集成可以简化已投资 NVIDIA 人工智能生态系统的组织的部署。
Mistral NeMo 的发布代表着高级 AI 模型民主化迈出了重要一步。通过结合高性能、多语言功能和开源可用性，Mistral AI 和 NVIDIA 将该模型定位为适用于各个行业和研究领域的广泛 AI 应用的多功能工具。
