硅基流动申请用于大语言模型推理的LoRA权重加载方法及装置专利，提高大语言模型的推理效率

金融界2025年4月17日消息，国家知识产权局信息显示，北京硅基流动科技有限公司申请一项名为“用于大语言模型推理的LoRA权重加载方法及装置”的专利，公开号CN 119831052 A，申请日期为2025年1月。

专利摘要显示，本公开提供了一种用于大语言模型推理的LoRA权重加载方法及装置。该方法包括：在大语言模型的推理请求中包含LoRA权重计算时，将所述推理请求添加到准备队列；在准备队列中，对N个推理请求进行预处理操作；在预处理操作过程中，将LoRA权重按照预设规则拷贝至CPU的连续缓存区；在预处理操作完成之后，将所述推理请求添加到等待队列；在推理请求被调度执行时，将所述推理请求对应的LoRA权重加载到大语言模型的GPU中以进行推理计算。本申请涉及的用于大语言模型推理的LoRA权重加载方法及装置，通过高效的权重定义方式以及批处理拷贝机制，实现了LoRA权重的高效加载，提高了大语言模型的推理效率。

天眼查资料显示，北京硅基流动科技有限公司，成立于2023年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本1512.3893万人民币。通过天眼查大数据分析，北京硅基流动科技有限公司共对外投资了1家企业，参与招投标项目6次，财产线索方面有商标信息2条，专利信息7条，此外企业还拥有行政许可1个。

本文源自：金融界

作者：情报员