小米首个推理大模型开源

其预训练的核心是让模型见过更多推理模式，后训练的核心是高效稳定的强化学习算法和框架。目前，MiMo-7B已开源4个模型至HuggingFace。小米介绍，MiMo是公司新成立的“小米大模型Core团队”的...

小米首个推理大模型开源

框架：设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。所有技术细节已经Open，见技术报告：https://git...

本地大模型之路

本文我们将介绍更为实用的 推理框架和上层应用。无论你是本地大模型玩家还是 API 用户，本文内容都会对你有所帮助。自下而上的 LLM 推理生态 如果我们已经选定了模型，怎么在机器上跑起一个大...

传统模型推理

昇腾传统模型推理支持离线推理与带框架推理两大场景： 离线推理： 使用AscendCL（Ascend Computing Language）提供的API，利用底层硬件计算资源在 CANN 平台上进行推理。 使用AI软件开发套件 MindSDK 提供的极简易用API，加速高性能AI应用的开发。 带框架推理：在AI框架内使用已经训练好的模型实时进行推理，相比于离线推理场景，带框架推理类业务时效性要求较高，常用于数据中心推理场景。

科学家针对大模型提出SafeKey框架，将推理大模型危险率降低9.6%

近日，美国加州大学圣克鲁兹分校博士生周凯文和所在团队通过对模型推理过程的深入剖析，揭示了这一安全“失灵”背后的关键机制，并据此提出了创新的 SafeKey 框架，成功在不影响模型核心能力的...

苹果发布OpenELM大语言模型，基于开源训练和推理框架的语言模型

在WWDC24之前，苹果在Hugging Face平台上发布了一个“具有开源训练和推理框架的高效语言模型”，名为OpenELM。苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的checkpoint和训练日志，以促进开源...

50条数据解锁空间智能，RL视觉语言模型3D空间推理框架MetaSpatial

3.在"RL-Before vs RL-After"的对比实验中，MetaSpatial 框架在提升模型三维空间推理能力方面的效果得到了清晰体现。强化学习训练前，模型生成的物体布局普遍混乱、错位，且常出现物体漂浮、重叠或放置在不符合物理规律的位...

小米大模型提效新框架SUBLLM：训练最高提速34%、推理最高提速52%，Kaldi之父合作出品

大模型推理速度提升 50% 以上，还能保证少样本学习性能！小米大模型团队提出 SUBLLM（Subsampling-Upsampling-Bypass Large Language Model），国际 AI 语音大牛、开源语音识别工具 Kaldi 之父 Daniel Povey 也参与指导。与 Llama 等模型相比，SUBLLM 在训练...

开源推理框架TNN模型部署加速与优化

2021/09/15 19:00:00课程讲师丹迪腾讯优图 高级研究员 高性能计算硕士，TNN项目成员。负责过NVIDIA GPU、X86 等多个平台的推理框架加速工作，在底层Kernel优化，量化模型落地等方面有丰富经验；