天翼云申请生成式语言模型的推理缓存优化专利，有效降低推理缓存的显存占用
天翼云申请生成式语言模型的推理缓存优化专利，有效降低推理缓存的显存占用
在中国式现代化进程中更好建设美丽新疆
联盛纸业取得一种瓦楞原纸制造用配浆处理装置及处理方法专利
凌云光：1061.16万股限售股将于10月9日起解禁上市
华众精密科技（马鞍山）有限公司取得导航仪支架加工夹具专利，能够对底部设置有吸盘的导航仪支架进行稳定夹持
穿越最冷猪周期，养殖公司要适应微利时代｜回望2023㉜
唐源电气跌2.01%，成交额1.02亿元，主力资金净流入182.09万元
浙江温州平阳县调整中高风险区_1
广汽丰田取得剪叉式升降机专利，能够精准调节电池安装高度
到机场未带身份证？北京可在线申办电子临时乘机身份证明
西藏药业（600211）4月7日主力资金净流出2316.98万元
兰剑智能涨2.04%，成交额2273.73万元，主力资金净流入21.39万元
保诚保险去年扭亏为盈净赚17.12亿美元，内地访客平均年保费14万港元
金融界2025年4月7日消息，国家知识产权局信息显示，天翼云科技有限公司申请一项名为“一种生成式语言模型的推理缓存优化方法及装置”的专利，公开号CN119761500A，申请日期为2024年12月。
（图侵删）
专利摘要显示，本发明实施例提供了一种生成式语言模型的推理缓存优化方法、装置、电子设备及可读介质，涉及自然语言处理技术领域，方法包括：获取生成式语言模型在第n次推理过程中的kv缓存按记录标点符号的预测token对第二kv缓存进行分段；计算各个预测token的注意力权重；结合注意力权重，对各段第二kv缓存按缓存段长度的不同进行分段压缩；将第一kv缓存与压缩后的第二kv缓存进行组合，得到更新kv缓存；利用更新kv缓存重置生成式语言模型在第n+1次推理过程中的kv缓存。本发明在确保推理精度的同时有效降低推理缓存的显存占用，提升模型推理速度，避免显存耗尽问题。
天眼查资料显示，天翼云科技有限公司，成立于2021年，位于北京市，是一家以从事互联网和相关服务为主的企业。企业注册资本476399万人民币，实缴资本451413万人民币。通过天眼查大数据分析，天翼云科技有限公司共对外投资了4家企业，参与招投标项目1941次，财产线索方面有商标信息13条，专利信息3833条，此外企业还拥有行政许可16个。
本文源自：金融界
作者：情报员