奇异果体育·(china)官方网站APP
产品展示 
轻量级冠军：NVIDIA 云和奇异果体育平台大数据发布具有领先准确率的小语言模型
返回列表生成式 AI 开发者通常需要在模型尺寸和准确性之间做出权衡。然而，NVIDIA 发布的一款新语言模型却做到了二者兼得。这款模型虽然尺寸小，却能够提供领先的准确率。
Mistral-NeMo-Minitron 8B是 Mistral AI 与 NVIDIA 上个月发布的Mistral NeMo 12B开放模型的微型版本云和大数据，其尺寸小到足以在 NVIDIA RTX 驱动的工作站上运行，但却在针对 AI 驱动的聊天机器人、虚拟助手、内容生成器和教育工具的多项基准测试中取得了出色的成绩。Minitron 模型是由 NVIDIA 使用NVIDIA NeMo（一个用于开发自定义生成式 AI 的端到端平台）所蒸馏而成。
NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 表示：“我们把两种不同的 AI 优化方法相结合，将 Mistral NeMo 的 120 亿个参数剪枝到 80 亿，并通过蒸馏来提高准确性。这使 Mistral-NeMo-Minitron 8B 可以以更低的计算成本提供与原始模型相当的精度。”
不同于大语言模型，小语言模型可以在工作站和笔记本电脑上实时运行。这使资源有限的企业不仅能够更容易地将生成式 AI 功能部署到其基础设施中，同时还能优化成本、提高运营效率和降低能耗。在边缘设备上本地运行语言模型时，由于数据无需从边缘设备传输到服务器，因此还具有安全优势奇异果体育平台。
开发者现在可以开始使用 Mistral-NeMo-Minitron 8B，其已被打包为具有标准应用程序编程接口（API）的NVIDIA NIM微服务，开发者也可以从 Hugging Face 下载此模型。能在几分钟内部署至任何 GPU 加速系统的可下载的 NVIDIA NIM 也即将上线 亿参数语言模型的最新成果
相比同等规模的语言模型，Mistral-NeMo-Minitron 8B 在九项常用语言模型性能基准测试中名列前茅。这些基准测试涵盖了各种任务，包括语言理解、常识推理、数学推理、总结、编码以及生成真实答案的能力等。
AI Foundry 平台和服务为开发者提供全栈解决方案，用于创建打包为 NIM 微服务的定制基础模型。它包括流行的基础模型、NVIDIA NeMo 平台和NVIDIA DGX Cloud
NVIDIA AI Enterprise，这是一个为生产部署提供安全性、稳定性和支持的软件平台。由于原始 Mistral-NeMo-Minitron 8B 模型以最先进的准确性为基准，因此使用 AI Foundry 缩小后的版本仍能为用户提供高度的准确性，只需要极少的训练数据和计算基础设施奇异果体育平台。
为了使较小的模型实现较高的准确率，团队采用了一种结合了剪枝和蒸馏的过程。剪枝通过删除对准确率贡献最小的模型权重来缩小神经网络的大小。在蒸馏过程中，团队在一个小的数据集上重新训练了这个剪枝后的模型，以显著提高准确率（准确率在剪枝过程中有所下降）。
董宇辉3.58亿“分手费”已全部到账，俞敏洪：内外矛盾和争议都解决了，不用再担心关系失衡
突然崩了，上海各区大面积断网？网友：10000号打不通，还以为没交费……电信最新回应→
被曝和黄景瑜感情甜蜜，迪丽热巴晒照身材颜值均在线岁杨紫近照脸僵，她被“困”在了宋丹丹的评价里
与中坚力量共成长，2024建信信托艺术大奖评委会特别奖获奖艺术家凌海鹏
