匿名论文提出奇招，加紧大模子长文本技能悍然还能这么做
一提到提高大模型长文本能力，就想到长度外推可能者上下文窗口扩展？
不行，这些都太费硬件资源了。
来看一个奇妙新解：
和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流式更新”，也就是用先前生成的内容不断作为输入来充当训练数据，以此保证知识被存进模型参数中。
然后一旦推理完成，就丢掉它，保证不对模型参数产生长久影响。
这个方法可以让我们(We)不用扩展上下文窗口的同时，随便存储上下文信息，想存多少存多少。
实验证明，这种方法：
既可以显著提高模型长文本任务质量，达成困惑度下降29.6%，长文本翻译质量（BLUE得分）提高53.2%；
还能兼容并增强现有大多数长文本生成方法。
最重要的是，能大大降低计算成本。
在保证生成质量小幅提升（困惑度降低3.8%）的同时，推理所需的FLOPs降低70.5%、延迟降低51.5%！
具体情况，我们(We)翻开论文来看。
01 建个临时Lora模块用完即丢该方法名叫Temp-Lora，架构图如下：
其核心就是以自回归的方式用先前生成的文本上逐步训练临时Lora模块。
该模块适应性很强可以不断调整，因此对不同远近的上下文都能深入理解。
具体算法如下：
在生成过程中，token是逐块生成的。每次生成块时，使用最新的Lxtoken作为输入X生成后续token。
一旦生成的token数量达到预定义的区块大小∆，就使用最新的块启动Temp-Lora模块的训练，然后开始下一个块生成。
在实验中，作者将∆+Lx设置为W，以充分利用(Use)模型的上下文窗口大小。
对于Temp-Lora模块的训练，如果在没有任何条件的情况下，学习生成新的块可能构不成有效的训练目标，并导致严重的过拟合。
为了解决这个问题，作者将每个块前面的LT标记合并到训练过程中，将它们(They)用作输入，将块用作输出。
最后，作者还提出了一种称为缓存重用（Cache Reuse）策略来达成更高效的推理。
一般来说，在标准框架中更新Temp-Loramo模块后，我们(We)需要使用更新的参数重新计算KV状态。
可能者，重用现有的缓存KV状态，同时使用更新的模型进行(Carry Out)后续的文本生成。
具体来说，只有当模型生成最大长度（上下文窗口大小W）时，我们(We)才使用最新的Temp-Lora模块重新计算KV状态。
这样的缓存重用方法就可以在不显著影响生成质量的情况下加快生成速度。
关于Temp-Lora方法的介绍就这么多，下面主要看测试。
02 文本越长，效果越好作者在Llama2-7B-4K、Llama2-13B-4K、Llama2-7B-32K以及Yi-Chat-6B模型上上对Temp-Lora框架进行(Carry Out)了评估，并涵盖生成和翻译这两类长文本任务。
测试数据集一个是长文本语言建模基准PG19的子集，从中随机抽取了40本书。
另一个是来自WMT 2023的国风数据集的随机抽样子集，包含20部中文网站小说，由专业人员翻译成英文。
首先来看PG19上的结果(Result)。
下表显示了PG19上带有和不带有Temp-Lora模块的各种型号的PPL（困惑度，反映模型对于给定输入的不确定性，越低越好）比较。将每个文档划分为0-100K到500K+token的片段。
可以看到，所有型号经过Temp-Lora之后PPL都显著下降，并且随着片段越来越长，Temp-Lora的影响更加明显（1-100K仅降低3.6%，500K+降低13.2%）。
因此，我们(We)可以简单地得出结论：文本越多，使用Temp-Lora的必要性就越强。
此外我们(We)还能发现，将块大小从1024调整到2048和4096导致PPL略有增加。
这倒是不奇怪，毕竟Temp-Lora模块是在之前块的数据上训练的。
这个数据主要是告诉我们(We)块大小的选择是生成质量和计算效率之间的关键权衡（进一步分析可以查阅论文）。
最后，我们(We)还能从中发现，缓存重复使用不会导致任何性能损失。
作者表示：这是一个非常令人鼓舞的消息。
下面是国风数据集上的结果(Result)。
可以看到，Temp-Lora对长文本文学翻译任务也有显著影响。
与基础模型相比，所有指标都有显著改进：PPL降低了-29.6%，BLEU得分（机器翻译文本与高质量参考翻译的相似度）提高了+53.2%，COMET得分（也是一个质量指标）提高了+8.4%。
最后，是计算效率和质量方面的探索。
作者经实验发现，使用最“经济(Economy)”的Temp-Lora配置（∆=2K，W=4K），能将PPL降低3.8%的同时，节省70.5%的FLOP和51.5%的延迟。
相反，如果我们(We)完全忽略计算成本，使用最“豪华”的配置（∆=1K和W=24K），也可以达成5.0%的PPL降低，并额外增加17%的FLOP和19.6%的延迟。
03 使用建议总结以上结果(Result)，作者也给出了实际应用Temp-Lora的三点建议：
1、对于需要最高级别长文本生成的应用，在不更改任何参数的情况下，集成Temp-Lora到现有模型中，就能以相对适中的成本显著提高性能。
2、对于看重最小延迟可能内存使用的应用，可以通过减少输入长度和在Temp-Lora中存储的上下文信息来显著降低计算成本。
在这种设置下，我们(We)可以使用固定的短窗口大小（如2K可能4K）来处理几乎无限长的文本（在作者的实验中为500K+）。
3、最后，请注意，在不含大量文本的场景中，例如预训练中上下文比模型的窗口大小还小，Temp-Lora就是毫无用处的。
.5 作者来自保密机构值得一提的是，发明这么简单又创新的办法，作者却没有留下太多出处信息：
机构名称直接落款“保密机构”，三位作者的名字也只有完整的姓。
本文来自微信公众号“量子位”（ID:QbitAI），作者：关注前沿科技(Technology)，36氪经授权发布。
该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。
+11好文章，需要你的鼓励
量子位特邀作者0收 藏+10评 论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微 博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章陶哲轩看了都直呼内行，谷歌等用LLM自动证明定理拿顶会杰出论文，上下文越全证得越好UCLA华人提出全新自我对弈机制，LLM自己训自己，效果碾压GPT-4教授指导ChatGPT之父：奥特曼在下“芯片”大棋争议与热度并存，越来越多开发者正在抛弃他们(They)的旧语言转向 Rust面壁智能发布2B模型：适配主流电话，推理成本仅为GPT-4的1/360 | 最前线用 ChatGPT 在技术面试中作弊，容易被发现吗？前谷歌软件工程师做了一项实验算力，AI时代最确定的赛道微软Q4净利润增长33%，但投资人不买单，市值蒸发800多亿｜焦点分析最前线｜追觅科技(Technology)发布新品扫地机X40，搭载仿生双机械臂扫拖边角缝隙最新文章推荐陶哲轩看了都直呼内行，谷歌等用LLM自动证明定理拿顶会杰出论文，上下文越全证得越好产品经理技能跳槽去事业单位，可以去这个部门体坛巨星，也逃不过直播带货两万五一台的Vision Pro，能给苹果一个支点吗？当代90后，攒钱成瘾现打鲜奶+现烤面包，人均9元起，一批“面包牛奶公司”正在兴起Meta一夜市值飙升2000亿美元，扎克伯格身价超比尔·盖茨俞敏洪的文旅野心匿名论文提出奇招，增强大模型长文本能力居然还能这么做阿里巴巴要卖掉银泰：既是必然，也是无奈
量子位特邀作者作者有点忙，还没写简介
发表文章2035篇最近内容匿名论文提出奇招，增强大模型长文本能力居然还能这么做34分钟前谷歌连放大招：Gemini Pro支持中文，Bard学会画画，还上新了新模型2024-02-02脑控喝水，清华脑机接口临床试验宣告成功(Success)，患者可终生使用2024-02-02阅读更多内容，狠戳这里下一篇阿里巴巴要卖掉银泰：既是必然，也是无奈阿里断臂新零售，并不是坏事
39分钟前
热门标签足疗杭州我爱我家无线通信致胜出纳维维生死线浙江美大avalanche猪腰子天猫转让对公账户金手镯珍珠项链二选一西瓜子葵花籽长途汽车(Car)禅道山西临汾安纳塔拉oa狐狸精计算机通信新疆联通女士内衣wat宇信李应福tvn关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴
36氪APP下载
iOS Android
本站由 阿里云 提供计算与安危服务 违法和不良信息、未成年人保护举报电话：010-89650707 举报邮箱：jubao@36kr.com 网上有害信息举报© 2011~2024 首都多氪信息科技(Technology)有限公司 | 京ICP备12031756号-6 | 京ICP证150143号 | 京公网安备11010502036099号意见反馈36氪APP让一部分人先看到将来36氪鲸准氪空间
推送和解读前沿、有料的科技(Technology)创投资讯
一级市场金融信息和系统服务提供商
聚焦全球优秀创业者，项目融资率接近97%，领跑行业
相关文章
- 赞(244) 踩(82) 阅读数(3054) 最新评论 查看所有评论
-
加载中......
- 发表评论
-