Scaling Law 并非容颜大模子身手的唯独视角！

清华 NLP 实验室刘知远讲授团队，最新提议大模子的密度定律（densing law），抒发体式让东谈主念念到芯片范围的摩尔定律：

模子身手密度随时候呈指数级增长，2023 年以来身手密度约每 3.3 个月（约 100 天）翻一倍。

证据密度定律，推敲团队还得出以下要害引申—— AI 期间的三大中枢引擎——电力、算力与身手，齐相同撤职密度快速增长趋势。

为了发现这一论断，推敲团队引入了一项预计大模子性价比的新狡计——身手密度（capability density）。

团队通过耕种参考模子的款式，将"身手密度"界说为了"有用参数目"与履行参数目的比值。

给定标的模子后，其"有用参数目"被界说为杀青与标的模子一样的后果，参考模子需要的最少参数目。

论文第一作家肖朝军暗示，证据拟合弧线，到了来岁年底，惟有 8B 参数就能杀青和 GPT-4 一样的后果。

论文地址：https://arxiv.org/abs/2412.04315🦄九游娱乐 - 最全游戏有限公司

大模子"身手密度"三个月翻一番

大模子圭臬定律（Scaling Law）和密度定律（Densing Law），齐是大模子指导性的法律阐明发现。

它们隔离在不同的维度，对大模子进行科学化的推演。

大模子圭臬定律是一种容颜大模子跟着范围的变化而发生的法律阐明性变化的数学抒发，分解为大模子的 Loss 与模子参数范围、磨真金不怕火数据范围之间的幂律干系。

圭臬定律除外，清华推敲团队发现，大模子还有另一种度量与优化的空间，身手密度（Capability Density），它为评估不同范围 LLM 的磨真金不怕火质地提供了新的斡旋度量框架。

清华推敲团队提议的"身手密度"（Capability Density），界说为给定 LLM 的有用参数大小与履行参数大小的比率。

有用参数大小指的是达到与标的模子同等性能所需的参考模子的参数数目。

清华推敲团队相当引入了参考模子（Reference Model）的主见，通过拟合参考模子在不同参数范围下的性能分解，开荒起参数目与性能之间的映射干系。

具体来说，若一个标的模子 M 的参数目为 NM ，其不才游任务上的性能分数为 SM，推敲东谈主员司帐算出参考模子要达到调换性能所需的参数目 N ( SM ) ，即"有用参数目"。

标的模子 M 的密度就界说为这个"有用参数目"与其履行参数目的比值：

ρ ( M ) = N ( SM ) /NM。

比如一个 3B 的模子能达到 6B 参考模子的性能，那么这个 3B 模子的身手密度即是 2（6B/3B）。

为了准确臆想模子性能，推敲团队禁受了两步臆办法。

第一步是失掉（Loss）臆想，通过一系列不同范围的参考模子来拟合参数目与说话模子 Loss 之间的干系；

第二步是性能臆想，谈判到显现身手的存在，推敲东谈主员聚合开源模子来计划它们的损成仇性能，最终开荒起齐备的映射干系。

通过推敲分析比年来 29 个被平淡使用的开源大模子，清华推敲团队发现，LLMs 的最大身手密度随时候呈指数增长趋势，不错用公式ln ( ρ max ) = At + B来容颜 .

其中 ρ max 是时候 t 时 LLMs 的最大身手密度。

密度定律标明，约莫每过 3.3 个月（100 天），就能用参数目减半的模子达到面前着手进模子的性能水平。

ChatGPT 发布后，身手密度增长更快了

基于密度法例，清华推敲团队提议了多个要害引申。

最初，模子推理支出随时候指数级着落。

2022 年 12 月的 GPT-3.5 模子每百万 Token 的推理资本为 20 好意思元，而 2024 年 8 月的 Gemini-1.5-Flash 模子仅为 0.075 好意思元，资本色问了 266 倍，约 2.5 个月着落一倍。

与此同期，大模子推理算法不断得回新的工夫冲破——模子量化、投契采样、显存优化。

其次，推敲还发现，自 ChatGPT 发布以来，大模子身手密度正在加快增强。

以 MMLU 为评测基准测量的身手密度变化情况，ChatGPT 发布前按照每 4.8 倍增，发布后按照每 3.2 月倍增，密度增强速率增多 50%。

这一景况背后，更高效模子引起了学术界和产业的平淡柔软，出生了更多高质地开源模子。

再次，芯片电路密度（摩尔定律）和模子身手密度（密度定律）捏续增强，两条弧线交织揭示端侧智能宏大后劲。

推敲炫耀，在摩尔定律的作用下，调换价钱芯片的计划身手每 2.1 年翻倍，而密度法例标明模子的有用参数范围每 3.3 个月翻倍。

两条弧线的交织，意味着主流末端如 PC、手机将能开动更高身手密度的模子，鼓励端侧智能在虚耗商场普及。

此外，团队指出，无法仅依靠模子压缩算法增强模子身手密度。

也即是说，现存的模子压缩工夫（如剪枝和蒸馏）偶而能提高模子密度。

实验标明，大多量压缩模子的密度低于原始模子，模子压缩算法虽不错勤俭小参数模子构建支出。

然则如若后磨真金不怕火不充分，小参数模子身手密度非但不会增长，反而会有显贵着落。

终末，推敲团队指出，模子高性价比有用期不断裁减。

证据圭臬定律，更多量据 + 更多参数杀青身手增强，磨真金不怕火资本会急剧高潮；

而身手密度定律，跟着身手密度加快增强，每隔数月会出现愈加高效的模子。

这意味着模子高性价比的有用使用期裁减，盈利窗口蓦地。

举例，2024 年 6 月发布的 Google Gemma-2-9B 模子，其磨真金不怕火资本约 185 万东谈主民币；

但仅两个月后，它的性能就被参数目减半的 MiniCPM-3-4B 极度。

以 API 盈利款式估算，2 个月内需要 17 亿次用户拜谒，才大致收回磨真金不怕火资本！

圭臬定律下，LLM 范围至上。而在密度定律下，LLM 正插足一个全新的发展阶段。

在清华刘知远敦厚最新分解中，AI 期间的三大中枢引擎——电力、算力与身手，密度齐在快速增长：

电板能量密度在畴昔 20 年中增长了 4 倍，其倍增周期约为 10 年；

摩尔定律则揭示，芯片的晶体管密度每 18 个月翻倍；

而 AI 模子身手密度每 100 天翻倍的速率更是惊东谈主。

尤其是模子身手密度的提高也意味着用更少的资源杀青更强的身手，这不仅质问了 AI 发展对动力和算力的需求，也为 AI 工夫的可捏续发展提供了无尽可能。同期也揭示了端侧智能的宏大后劲。

在这一趋势下，AI 计划从中心端到角落端的踱步式特色协同高效发展，将杀青" AI 无处不在"的愿景。

作家瞻望，跟着环球 AI 计划云表数据中心、角落计划节点的延伸，加上模子身手密度增长带来的效力提高，咱们将看到更多腹地化的 AI 模子显现，云表和角落端各司其职，可开动 LLM 的末端数目和种类大幅增长，" AI 无处不在"的畴昔正在到来。

论文地址：

https://arxiv.org/abs/2412.04315