Make RL Great Again：大语言模型时代的强化学习推理丨记深度推理模型论坛

6月7日，以“推理”为核心的智源大会·深度推理模型论坛在北京举行，清华、北大、南大、上交、港科大、人大等高校的研究者与蚂蚁、DeepSeek 等业界技术专家同台，围绕大模型的“第二增长曲线...

AIBOX

支持主流编程框架，可广泛应用于云端及边缘应用的人工智能推理。多路视频AI处理性能 ...

复杂推理：大型语言模型的“北极星”能力

更重要的是，复杂推理为基于语言模型构建大量应用程序提供了机会，从而使语言模型有机会成为下一代计算平台/操作系统。这有可能从根本上改变人类与机器的交互方式，重塑整个计算生态系统。在这...

大语言模型推理性能优化之七策

本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊，作者通过具体的实例说明它们的使用效...

NeurIPS 2024 | 让大语言模型使用代码解决图分析推理任务

对于 ChatGPT 等闭源模型，也需要构建面向图分析推理场景的外部知识库而不是仅通过提示工程来提高模型的表现。核心思路： 为解决上述不足，我们模仿人类专家解决问题的思路， 首次提出让大语言模型通过编写代码来解决图分析推理问题的方法： 例如在百万级节点的图中计算最短路时，人类专家不会把整个图装进大脑做逐步推理，而是会调用 NetworkX 等 Python 库使用几行代码快速准确地解决问题。具体而言，在模型进行图分析任务时，我们引...

大语言模型推理性能优化之七策随着大语言模型在自然语言处理中的广泛应用，如何提高其在实际部署中的推理速度成为一个非常关键的

本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊...

程序员

本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊...

大语言模型推理性能优化之七策

本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊...