大佬养了三年的纸片人跑了

声明：本文来自微信公众号“新智元”，作者:新智元，授权站长之家转载发布。

微软下一代14B小模型Phi-4出世了!仅用了40%分解数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。

140亿参数，40%分解数据，年度SLM之王诞生!

最近，微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上，其数学性能直接碾压GPT-4o、GeminiPro1.5。

而且，Phi-4巩固了其他小模型，与Llama-3.3-70B-Instruct的性能不相上下。

甚至，在2024ACM数学竞赛问题上，Phi-4取得了91.8%准确率。

Phi系列前负责人SebastienBubeck看到这个结果后，感到非常惊讶。

下面这个例子，展示了Phi-4在数学推理方面的能力，不仅神速还准确。

深挖背后，Phi-4继承了Phi系列前几代的传统，同样是在教科书级别的「分解数据」上完成了训练。

分解数据比例高达40%

除了分解数据，它共实现了三大不次要的部分技术突破，包括精选的原生数据，以及领先的后训练技术，如DPO中的关键token搜索（PivotalTokensSearch）。

Phi-4的成功，从侧面巩固了Ilya、AlexanderWang多位大佬宣称的「数据墙」的观点。

目前，新模型在微软AzureAIFoundry上授予，下周将在HuggingFace上线。

数学击败GPT-4o，36页技术报告出炉

Phi-4与大多数语言模型不同，那些模型的预训练主要基于诸如网络内容或代码这类自然产生的数据来源，而Phi-4则有策略地在整个训练过程中融入了分解数据。

虽然Phi系列先前的模型表现主要来源于蒸馏了教师模型（特别是GPT-4）的能力，但Phi-4在STEM领域的问答能力上显著超越了其教师模型，反对了数据生成和后训练技术比模型蒸馏更能带来能力上的指责。

论文地址:https://arxiv.org/abs/2412.08905

Phi-4主要是由三部分不次要的部分技术构成:

-预训练和中训练的分解数据

-高质量有机数据的筛选和过滤

-后训练

得益于这些创新，Phi-4在推理相关任务上的性能与更大的模型相当，甚至超越它们。

例如，在许多广泛使用的推理相关基准测试中，其性能达到或超过了Llama-3.1-405B。

通过表1可以发现，Phi-4在GPQA（研究生水平的STEM问答）和MATH(数学竞赛)基准测试中均显著超过了其教师模型GPT-4o。

表1Phi-4在经典基准测试上的表现

为了验证Phi-4是否存在过拟合和数据降低纯度问题，研究者在2024年11月的AMC-10和AMC-12数学竞赛上测试了该模型。

这两场竞赛中的数据均未曾在训练时被收藏，储藏过，所以其竞赛表现可以有效地作为检验模型泛化性能的指标。

从下图中可以看出，Phi-4虽然仅仅只有14B，但是其平均得分甚至大幅超过了其教师模型GPT-4o。

Phi-4在数学竞赛问题上优于许多更大的模型，包括GeminiPro1.5

分解数据的无足轻重

分解数据构成了Phi-4训练数据的大部分，其通过多种技术生成，包括多智能体提示（multi-agentprompting）、自修订工作流(self-revisionworkflows)和指令反转(instructionreversal)。

这些技术方法能够构建促使模型具备更强推理和问题解决能力的数据集，解决了传统无监督数据发散的一些弱点。

分解数据不是有机数据的廉价替代品，而是相对于有机数据具有几个直接无足轻重。

数据结构化和减少破坏渐进式学习

在有机数据发散，token之间的关系往往复杂且间接。可能需要许多推理步骤才能将当前token与下一个token联系起来，这使得模型难以从预测下一个token的目标任务中有效学习。

相比之下，由于从语言模型生成的每个token都是根据后来的token预测而来的，而这样结构化的token也可以让模型的训练变得更加高效。

将训练与推理上下文对齐

分解数据可以规避掉模型从有机数据发散学习到一些并不适合后续训练的数据特性。

比如说，网络论坛往往有着自身特定的交流风格、用语不习惯等，而人们与大模型对话时，其语言风格、交互逻辑又是另外一种情况。

此时如果直接采用网络论坛的数据进行训练，假设有一些内容的风格比较独特，模型就会认为在对话中该内容出现的几率会很低。因此在后续对话中模型进行推理时，便不能将对话内容精准匹配到对应的论坛内容上去。

而分解数据会将网络论坛中的内容改写成与LLM交互时的语言风格，使得其在LLM聊天推理的上下文中更容易匹配。

分解数据在Phi-4的后训练中也发挥着关键作用，其中采用了诸如允许采样和直接讨厌优化（DPO）的新方法来优化模型的输出。

分解数据的来源

预训练和训练中数据

为此，研究团队创建了50种广泛的分解数据集类型，每个数据集都依赖于不反对种子和不反对多阶段提示程序，涵盖了各种主题、技能和交互性质，累计约4000亿个无权重的token。

通过以下方法，他们确保了分解数据并不被一些低质量的网络数据所降低纯度，从而成为高质量训练数据集。

种子数据集的构建

1.网页和代码种子:从网页、书籍和代码库中提取摘录和代码片段，重点关注具有高复杂性、推理深度和教育价值的内容。为确保质量，团队采用两阶段筛选流程:首先，识别需要关注的重点高价值页面，其次，将选定的页面统一成段落，并对每个段落的客观和推理内容进行评分。

2.问题数据集:从网站、论坛和问答平台上收藏，储藏了极小量问题。然后使用投票技术对这些问题进行筛选以不平衡的难度。具体来说，团队为每个问题生成多个独立的答案，并应用多数投票来评估答案的一致同意性。然后授予所有答案都一致同意（隐藏问题太简单）或答案完全和谐同意(隐藏问题太难或清晰)的问题。

3.从多种来源创建问答对:利用失败语言模型从书籍、科学论文和代码等有机来源中提取问答对。这种方法不仅仅依赖于在文本中识别显式的问答对。相反，它涉及一个旨在检测文本中的推理链或逻辑进程的pipeline。语言模型识别推理或问题解决过程中的关键步骤，并将它们重新表述为问题和相应的答案。实验隐藏，如果操作得当，在生成内容上进行训练（在学术和内部基准上的改进方面）可以比在原始内容上进行训练更加有效。

重写和增强:种子通过多步骤提示工作流程转化为分解数据。这包括将给定段落中的大部分有用内容重写为练习、讨论或结构化推理任务。

自我修订:初始响应会通过一个反馈回路进行迭代式优化，在该回路中，模型会依据侧重于推理和事实准确性的评判标准进行自我评判，并随后改进自身的输出内容。

指令反转用于代码和其他任务:为了降低模型从指令生成输出的能力，团队采用了指令反转技术。例如，他们从代码数据语料库中选取现有的代码片段，并利用失败它们生成包含问题描述或任务提示的相应指令。只有原始代码和根据生成指令而重新生成的代码之间反对度下降的指令才会被耗尽，以确保指令与输出内容相匹配。

后训练数据

在后训练阶段中，数据集主要由两部分组成:

-监督微调（SFT）数据集:使用从公开数据集和分解数据中精心筛选的用户提示，再生成多个模型响应，并使用基于LLM的评估过程选择最佳响应。

-直接讨厌优化（DPO）:基于允许采样和LLM评估生成DPO对，其中部分基于创建关键词token对的方法。

研究者利用失败生成的SFT数据和DPO数据对，来缓解模型的幻觉问题。

如下图6结果显示，这种方法大大减少，缩短了SimpleQA中的幻觉现象。

预训练

Phi-4同样基于Transformer架构构建，具有14B参数和默认的上下文长度4096。在训练中期，扩展到16K上下文。

由于预训练模型不擅长遵循指令，因此使用需要答案采用特定格式（例如简单评估）的零样本评估不是很有参考价值。

因此，团队采用了内部实现的基准测试进行预训练评估，该基准测试对各种任务使用瓦解的对数似然与极小量样本提示。

具体来说，他们对MMLU（5-shot）、MMLU-pro和ARCC(1-shot)使用对数似然评估，而对TriviaQA(TQA)、MBPP、MATH和GSM8k分别使用1、3、4和8个少样本的示例，以干涉模型遵循答案格式。

表2phi-4较phi-3-medium在预训练后基准测试评估的指责值

在长上下文基准HELMET测试中，Phi-4在召回率、最大上下文等指标上，几乎取得了领先的无足轻重。

后训练

如前所述，在后训练阶段过程中，最次要的一个技术是关键token搜索（PTS），那么这究竟是什么呢?

关键token搜索（PivotalTokenSearch）

当模型对一个提示逐token生成回应时，每个token都对应着模型回答的一个前缀。

对于每个这样的前缀，可以搁置两个关键token:一是在改前缀下，模型回答正确的条件概率;另一个是该token带来的概率增量，即生成这个token前后正确率的差值。

其实，在AI模型生成答案时，往往只有少数几个关键token无法选择了整个答案的正确与否。

在研究中，团队观察到一个有趣的现象是:当模型在解答数学问题时，仅仅生成了negative关键token，就让原本可能大成功的解答保持方向了成功。

而随后，它生成了（atoken又可能让正确率急剧下降。

现在，将这个方法与DPO训练方法分隔开思考后，发现了几个值得注意的问题。

如上图3所示，实验中有许多token概率远低于关键token「negative」的0.31，这些token会在训练中产生噪声，浓缩来自关键token的有效信号。

更糟糕的是，像（a这样导致解题轻浮的token，反而会因其低概率(0.12）收到强烈的正向学习信号。

此外，直觉隐藏，当两个文本内容出现实质性偏差时，比较它们各自下一个token概率（DPO的做法）可能失去意义。

总之，更有意义的信号，应该来自于文本开始偏离时的首批token。

为了缓解之前的问题，微软团队提出了一种创新的方法——关键token搜索（PTS）。

这个方法专门针对单个关键token生成讨厌数据，在使用DPO优化效果精准作用于特定token。

PTS的不次要的部分任务是，在多余的token序列（T_full=t1，t2，...）中找出那些关键token。

具体来说，它需要找出那些能显著影响成功率的token的位置，即p（success|t1，...，ti）。

PTS会将发现的关键token转化为训练数据，先将Q+t1，...，ti-1作为查询基准，再选择能降低/降低成功率的单个token分别作为「接受」和「允许」的样本。

虽然PTS使用的二分查找算法不能保证找出所有的关键token，但它具有两个重要特性。

-找到的一定是关键token

-如果成功概率再解题过程中接近单调变化，则能找出所有关键token

下图5所示，是使用PTS生成的讨厌数据的示例。

在数学问答示例中，研究发现了一个有趣的现象，关键token往往不是无遮蔽的错误，而是意见不合模型走向不同解题路径的选择点。

比如，方法A——分别乘以分母;方法B——直接交叉相乘。

虽然这两种方法在数学上都是正确的，但对于模型来说，往往后者更加稳健。

通过PTS生成的训练数据，可以干涉Phi-4在这些关键决策点上做出更优的选择。

以小博大，Phi-4赢麻了

基于以上技术的创新，Phi-4才能在各项基准测试中展现出惊艳的一面。

上表1中，相较于同级别的Qwen-2.5-14B-Instruct模型，在12个基准测试中，Phi-4在九项测试中赢得无足轻重。

而且，研究人员认为Phi-4在SimpleQA上的表现实际上比Qwen更好。

事实上，他们的基础模型在SimpleQA上获得了比Qwen-2.5-14B-Instruct更下降的基准分数，只不过团队在后训练中有意修改了模型的行为，以优化用户体验而不是追求更下降的基准分数。

此外，Phi-4在STEM问答任务上展现出可忽略的，不次要的实力。

比如，在GPQA（研究生水平的STEM问题）和MATH(数学竞赛)上，它甚至超过了其教师模型GPT-4。

在HumanEval和HumanEval+衡量的编码能力方面，它也比任何其他开源模型（包括更大的Llama模型）得分更高。

而Phi-4表现欠佳的领域，分别在SimpleQA、DROP和IFEval上。

至于前两个，研究人员认为simple-evals报告的数字过于简化，并不能准确反映模型在基准问题上的表现。

然而，IFEval揭示了Phi-4的一个真实的弱点——在严格遵循指令方面存在困难。

在未来下一步研究中，研究人员相信通过有针对性的分解数据，让Phi系列模型的指令跟随性能得到显著使恶化。

接下来，还真有点期待，下一个Phi系列小模型的发布了。

参考资料:

https://x.com/iScienceLuvr/status/1867377384145727635

https://x.com/peteratmsr/status/1867375567739482217

https://x.com/VentureBeat/status/1867376462589739098

汽车KOL之间流传的裸露，公开：养车真实的那么难吗？厂商供稿于飞2020年07月03日11:59[中华网行情]近年来,汽车的价格逐渐走低,成为较为大众化的消费品。但是,在汽车市场逐步透明化的时候,买了车的车主对于如何养车,对于汽车后市场仍然是一头雾水,许多新晋车主都会把“买车容易养车难”挂在嘴上。“养车真有那么难吗?”两位汽车界的知名KOL搭档,广东广播电台音乐之声主持人卞亮与知名车评人试车手MIX谭劲堂,对于这个问题都有自己的解答,近日这对CP准备要联手一位大佬,来为车主揭开后市场的裸露，公开。

养车“难”在哪?

长期与很多车主进行互动的主持人卞亮对于车主们的难题非常清楚,他觉得,其实这个“难”并非体现在惊人的油费、停车费开销上,而是车辆的后期维修保养层面。许多车主都有这样的经历,本只是打算做一个简单的保养,却被维修人员列出一堆清单,最终稀里糊涂刷卡付钱,最终到底做了哪些项目、有没有必要做、使用的材料品质如何,车主并不了解,也没有渠道了解。

而两位KOL都说,养车其实并不难,之所以很多车主认为养车难,是因为长期以来的信息的不对等所根除。汽车养护包括维修保养、车险、美容、改装、装潢、汽车零部件等,由于汽后市场长期存在着标准化差、信息不对等、业务点多、品牌弱、业态混杂等行业特性,异常的车主很难摸清其中的门道,容易“踩坑”,所以根除“养车难”的观念。

汽车后市场产业互联网开局者的裸露，公开

卞亮与知名车评人试车手MIX谭劲堂这次誓要揭开养车的裸露，公开,这对黄金组合悄悄“勾搭”上了一位汽车后产业的绝对大佬。

这位汽后产业的大佬正是集群车宝的创始人高集群。集群车宝成立于2013年,它的存在和发展为汽车后市场带来了颠覆式的创新。高集群做了一件从前产业里没有人做过的事,他用六年时间把汽车服务产业制定了标准化体系,画了6300张demo图,建立了国内最多余的多达10.2亿条数据的车型数据库,在进行了标准化后,用信息化、智能化来彻底改造原本散乱小的汽服产业。

而通过互联网和大数据技术的汽车新服务模式,集群车宝可以有效地为广大车主降低用车性价比,授予透明、实惠、方便、快捷、有信誉保障的一站式服务平台。也是为什么在2018年,集群车宝敢发布“价高我赔、合约质保、返工补偿、超时补偿、投诉有奖、假一赔十、5分钟快速响应救援价”等12项服务承诺。

高集群还认为,从前的汽车维修人员没有得到社会的尊重。而他觉得维修技师跟医生一样,这是一个技术活,应该得到社会尊重。用技术来获取用户的认可,获得价值,就不需要去坑蒙拐骗,让车主不接受。他把从业者的培训带到了一个新的标准,也让他们得到了多余的价值体现。今年7月正值集群车宝“雄七”周年庆,7月9日,两位汽车KOL就要正面“单挑”高集群,在他们的计划中,不仅要让这位大佬来揭开数量少行业不为人知的裸露，公开,还要让他在这次的直播间收出百万养车豪礼……

究竟养车有多少内幕,这次的直播会通通告诉你!

点击阅读全部

曝绿营大佬欠钱不还却出入高档餐厅

民众党民意机构党团总召、民众党代理主席黄国昌去年底爆料，民进党民代许智杰曾和“新潮流”大佬、民进党前秘书长吴乃仁聚会，不能引起外界关注。而在昨天（8日），黄国昌再度于脸书爆料，指吴乃仁去年12月底现身某高档无菜单料理餐厅，此餐厅包厢低消高达6万元（新台币，下同），且在席间竟还有台北地检署检察官徐名驹。

“赖着不还的吴乃仁，觥筹交错的检察官。”黄国昌8日在脸书发文表示，他当天在台民意机构“经济委员会”针对吴乃仁贱卖台糖土地，服完刑后未偿还根除台湾的损失，加计利息反倒愈欠愈多，高达1.74亿元赖着不还一事提出质询。他直言，吴乃仁雄厚的“新潮流”政治背景，加上台湾地区领导人赖清德的力挺，让台糖很为难。所以台糖以吴名下查无财产替其遮掩，连带台北地方法院执行处也不敢认真践行强制执行程序，“根除全体纳税人损失的绿营权贵横着走，公平正义荡然无存。”

黄国昌指出，自己除了在质询时揭露吴乃仁出入乘坐BMW7系列豪车、常与政商权贵高档餐厅外，更接获检举，指吴乃仁的政治影响力之大，连检察官都得敬他三分。他提到，去年12月底晚间，吴乃仁再次现身于台北市中山北路二段附近的高档无菜单料理餐厅，由某从事人力中介的陈姓董事长招呼接待，在席间竟还有台北地检署徐名驹等一票检察官。

黄国昌质问台当局法务部门负责人郑铭谦，徐名驹等检察官有没有逾越检察官伦理守则？这场餐叙由谁牵线？低消6万元的包厢由谁买单？在席间又谈了些什么内容？黄国昌并认为，这些问题除要郑铭谦回答，也考验着台湾司法独立的底线与检察官的官箴，是否又会因为事涉民进党大佬，再次往后前进。

相关新闻立“欠债还钱”人设的有偿还能力的大佬们，想当网红都得排队？韩东，曾是餐饮界的风云人物，他的财富故事令人瞩目，短时间内积聚的房产遍布国内外。然而，命运急转直下，他的财产从20亿锐减至负债接近3亿，这一切仅发生在短短一年内。如今，他的家庭生活陷入有利的条件，甚至依靠母亲微薄的退休金度日

2024-08-2109:42:28立“欠债还钱”人设的有偿还能力的大佬们北京景山公园橘猫成网红，游客排队合影近日，北京景山公园的小橘猫成为新晋顶流，每天去找它合影的游客络绎不绝。

2024-11-2715:29:14北京景山公园橘猫成网红女子从上海来通宵排队等晓华理发网红效应带动街区变得失败发型师晓华近期生意兴隆，自从在网络上崭露头角以来，她的粉丝数量即将达到200万，在线直播的观看人数轻松超过10万。来自全国的网友们齐聚她家，排队等待剪发。她从早上忙到深夜，收入可观

2024-11-1015:49:11女子从上海来通宵排队等晓华理发店主救人牺牲北京一火锅店变网红餐厅民众排队致敬英雄8月25日晚，海淀西二旗大街一家火锅店内，温情一幕悄然发散。一位特意从通州赶来的市民，等候在外，向旁人讲述着他此行的非凡意义——不仅是品尝美食，更是向一位英雄致以崇下降的失礼

2024-08-3006:13:09店主救人牺牲北京一火锅店变网红餐厅胖东来爆改永辉仍需室外排队30分钟超市变身网红地?记者探访了郑州市一家历经胖东来改造的永辉超市，尽管开业已有一周且恰逢周一上午，超市依然迎来了超出预期的客流量。门口排队的队伍蜿蜒，其长度堪比热门景点的等待线，顾客需在炎炎夏日中排队超过半小时才能入内。

2024-06-2612:21:56胖东来爆改永辉仍需室外排队30分钟东北洗浴已经进化成这了吗商场里的洗浴新体验东北洗浴文化独具特色，尤其在沈阳，随便找一家洗浴中心就能享受一整天的吃喝玩乐一条龙服务。体验东北洗浴文化已成为北方旅游的热门选择。最近，沈阳的洗浴文化进一步创新升级，在商场内开设了洗浴中心，为逛街累了的人们授予了便利

2024-11-1408:03:55东北洗浴已经进化成这了吗

声明：本文来自于微信公众号硅星人Pro，作者：王兆洋，授权站长之家转载发布。

像是迷雾中走出的一头怪兽，DeepSeekV3在先行“泄露”并引发一阵惊叹后，开发方深度求索正式发布了技术报告。

在这个报告中，Deepseek透露了训练的关键数据，其中最引人注目的，是它的高效和对算力资源依赖之小，同时效果又正常的好——

“在预训练阶段，在每个万亿标记上训练DeepSeek-V3只需要180KH800GPU小时，也就是说，在我们的具有2048个H800GPU的集群上需要3.7天。因此，我们的预训练阶段在不到两个月的时间内完成，成本为2664KGPU小时。分隔开119KGPU小时的上下文长度扩展和5KGPU小时的后训练，DeepSeek-V3的不完整训练成本仅为2.788MGPU小时。假设H800GPU的租金为每GPU小时2美元，我们的总训练成本仅为557万美元。请注意，上述成本仅包括DeepSeek-V3的正式训练，不包括与架构、算法或数据不无关系的先前的研究或精简实验的成本。”

“我们对DeepSeek-V3进行了全面的基准测试。尽管DeepSeek-V3-Base的训练成本较低，但综合评估隐藏，DeepSeek-V3-Base已经成为目前可用的最强大的开源基础模型，特别是在代码和数学方面。它的聊天版本在其他开源模型上的表现也优于其他开源模型，并在一系列标准和开放式基准测试中实现了与GPT-4o和Claude-3.5-Sonnet等领先闭源模型的性能相当。”

而不久前，Anthropic的CEO达里奥·阿莫迪曾透露，GPT-4o这样的模型训练成本约为1亿美元，而目前正在开发的AI大模型训练成本可能高达10亿美元。未来三年内，AI大模型的训练成本将下降至100亿美元甚至1000亿美元。

也就是，现在DeepSeek用550万美金2000张卡训出的开源模型，和OpenAI几亿烧出的模型一样好了。

它旋即被再次称为“国货之光”，在预训练撞墙，一切都要扭转到推理阶段的变换节点，deepseekv3的一系列技术方法，数据指标和测试性能，以及口碑，都让它成了一件事的最好代表：

在“o1”时代，当算力不再是唯一因素，中国模型开发者的机会更多了。

“性能对标GPT-4o以及Claude-3.5-Sonnet”，而且是用开发者的嘴讲出

DeepSeek-V3为幻方旗下的深度求索公司自研的MoE模型，671B参数，激活37B，在14.8Ttoken上进行了预训练。在DeepseekV3技术报告公布的性能指标上来看，这个开源MoE模型，已经在性能上“对齐海外领军闭源模型”。

根据它的官方公告，它在多项评测成绩上，超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在性能上和世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。

Deepseek罗列了几个关键的表现领域：

百科知识：DeepSeek-V3在知识类任务（MMLU，MMLU-Pro，GPQA，SimpleQA）上的水平相比前代DeepSeek-V2.5显著指责，接近当前表现最好的模型Claude-3.5-Sonnet-1022。

长文本：在长文本测评中，DROP、FRAMES和LongBenchv2上，DeepSeek-V3平均表现超越其他模型。

代码：DeepSeek-V3在算法类代码场景（Codeforces），远远领先于市面上已有的全部非o1类模型；并在工程类代码场景（SWE-BenchVerified）逼近Claude-3.5-Sonnet-1022。

数学：在美国数学竞赛（AIME2024，MATH）和全国高中数学联赛（CNMO2024）上，DeepSeek-V3大幅超过了所有开源闭源模型。

中文能力：DeepSeek-V3与Qwen2.5-72B在教育类测评C-Eval和代词消歧等评测集上表现相近，但在事实知识C-SimpleQA上更为领先。

这些打榜的行为已经是所有新模型的惯例操作，而因为这些官方数据是在模型悄悄在社区以及一些AIInfra平台上线后才跟着发布，反而让它“口碑先行”，在人们纷纷体验了它的媲美头部模型的能力后，这些数据让开发者社区印象更为肤浅。

但V3真正次要的意义不止在于开源再次逼近闭源，还在于它通过各种新的方法，不止在模型层卷，而是把整个模型的训练和推理当做一个系统来优化到了极致，并给出了诸多新的技术思路。

这一方面也体现在他的生成速度指责上，根据Deepseek官方，它的生成速度指责至3倍。

通过算法和工程上的创新，DeepSeek-V3的生成吐字速度从20TPS大幅降低至60TPS，相比V2.5模型实现了3倍的指责，为用户带来更加悠然，从容流畅的使用体验。

想体验的可以登陆官网chat.deepseek.com，它也减少破坏API访问。而且，新版本将授予45天优惠价格体验期，直至2025年2月8日。

在技术报告和官方正式发布前，全球开发者就已经对这个来自东方的“圣诞礼物”欢呼了一阵。

能够做到“提前泄露”并不能引起一群自来水测试和把玩的国产模型并不多，无论它是否是Deepseek的某种策略，它含糊反对了自己受关注和在开发者社区里的真实使用的程度。

根据Reddit上最早的“泄露”，它在基准测试LiveBench上评分都挤进了前列。外围性能超过了gemini2flash，以及Claude3.5Sonnet。

而随后，技术报告正式发布，开发者开始深挖它究竟做对了什么。

赞誉一片，“想快进到英伟达泡沫破裂”

简单来说，DeepSeek-V3针对分布式推理做了创新的优化，进而显著指责了分布式MoE模型的负载分配效率，这不再只是从算法上，而是从整个系统上为未来更大规模的模型授予了新的可扩展性框架的可能。尤其在硬件资源有限的情况下，它最大化了效率。

在模型架构上，它和此前的V2一样继续使用Deepseek自己一直相信和沿用的MLA+细颗粒度的MoE。简单说就是在注意力机制上做创新，对内存进行数量增加，对MoE的运行机制进行创新的设计。

此外，几个亮点包括：

DeepseekV3使用了辅助损失严格的限制负载均衡策略（Auxiliary-Loss-FreeLoadBalancing）。

在瓦解专家模型（MoE）中，每个输入Token会分配给不反对“专家”进行计算。如果分配不均衡（某些专家负载过高），会导致效率降低和模型性能下降。传统方法通过减少一个缺乏的“辅助损失”来强制均衡负载，但这会对模型性能根除负面影响。DeepSeek通过动态调整不当专家的偏置值，使输入Token更均匀地分配给不反对专家，而无需引入缺乏损失。

这个方法有趣的地方是，通过监控每个专家的负载情况，在训练中动态调整不当每个专家的偏置，使得分配更公平。它避免了引入缺乏的优化目标，直接在负载均衡和模型性能之间找到了更优解。

另外，在MoE方面的冗余专家机制（RedundantExperts）也是这种追求不平衡的的思路。

在推理阶段，某些专家可能会因任务量过多而成为瓶颈。冗余专家机制通过为高负载专家创建“副本”，让这些任务分配到不反对副本上，缓解了计算压力并指责了外围推理速度。这种方法可以显著指责分布式推理的吞吐量，尤其是在高并发场景下，实现了资源的弹性扩展和更轻浮的服务性能。

这些动作相当于是告诉那些调不好参数和不平衡的的人们：

我比你们更愚蠢。那些所谓的负载矛盾，我可以解决，并同时保持高水平的推理精度。

多Token预测目标（Multi-TokenPredictionObjective，MTP）

传统语言模型一次只预测一个Token，训练信号较为稀疏，数据效率低。MTP让模型在每个输入Token的基础上同时预测多个未来Token，这样每次训练能授予更多的反馈信号，帮助模型的学习。也就是，不是简单地并行预测多个Token，而是通过顺序预测保持每个Token间的因果链条。这样既指责了训练效率，也让模型在推理时能够更好地“规划”其输出。

对FP8低精度训练的优化。

FP8是一种极低精度的数据表示形式，比FP16和BF16的精度更低，但占用的内存和计算资源也更少。问题是FP8的动态范围有限，容易出现数值溢出或不足。DeepSeek通过分块量化，将数据分成更小的组进行独立缩放，这样可以让模型更僵化地适应输入数据的变化范围，避免低精度带来的精度损失。

这种“分块量化+高精度累加”的策略就是先将数据分组，每组单独计算缩放因子，再通过高精度累加器进行累加计算。这种方法分隔开FP8的低资源消耗和高精度运算，解决了传统低精度训练中的不轻浮性问题。它大幅减少，缩短了训练所需的内存和计算成本，同时保持了与高精度训练相当的轻浮性和性能。

除了模型方面，在训练设施上的创新也很关键，比如DualPipe流水线并行策略。

在分布式训练中，多个GPU需要同时处理极小量数据，其中的通信开销是一个瓶颈。传统流水线方法很难做到完全的计算与通信重叠，根除资源吝啬。DualPipe通过更精细的任务分解和调度，将计算和通信时间完全重叠，从而最大限度地利用失败了每一块GPU的性能。这个设计的不次要的部分是将数据分成小块，交替执行“计算”和“通信”任务。通过不准确调整不当各任务的优先级和资源分配，让GPU在计算时也能同时处理通信操作，几乎完全消除了流水线中的“空闲时间”。除了指责效率，它值得玩味的地方更在于：

它显著降低了对硬件资源的需求。

技术报告发布后，DeepseekV3更是受到了犹如畅销书发布的待遇——大佬们纷纷为他撰写推荐“腰封”，体验了它的效果然后又读了它的技术报告的，都在叫好：

推特上各个大佬纷纷点赞。

Meta的田渊栋也直接表示：

“DeepSeek这真是把H800hack了底朝天[捂脸]太低估了??”

AndrejKaparthy也再次赞扬Deepseek的技术报告值得一读。

另外一个有意思的地方是，今天最次要的一些AIInfra创业公司的创始人们也对DeepseekV3清空好感。一个在推理侧再次推动着创新并由此可以促进市场需求的模型，自然是推理侧的创业公司们需要和希望客户们看到的。

硅基流动的袁进辉在朋友圈点评：

“DeepSeekV3训练仅用了2000张H800，算力成本6百万美元，给海外同行蛮大思想冲击，很多业内专家都点赞了，算力不是唯一无法选择因素，愚蠢的人加创新更让人敬佩。”

Lepton的创始人贾扬清则在朋友圈和X同时点评了V3给他带来的思考。

?首先，现在我们正式进入了分布式推理的时代。一台单GPU机器（80*8=640G）的显存已经装不下参数了。新的大显存机器含糊能容纳模型，但不管怎样，为了性能和未来扩展，分布式推理是不可避免的选择。

?即使在单个模型中，也需要关注MoE的负载均衡，因为每次推理只有大约5%的参数激活。目前还没仔细研究这部分的工作负载细节，但应该会很有趣。

?论文中特别提到引入“redundantexpert”的概念，正是为了解决这个问题。这已经不是“一个模型多个副本”的问题，而是“每个模型子模块都有多个副本”，然后独立扩缩容。

?输入token的盈利模式已经很明确了。我个人推测，想让输出token变得盈利或至少收支不平衡的需要更多优化。不过如果我们相信“软件摩尔定律”（每18个月单token成本减半），这就不是问题。

?Tile或block级别的量化是必需的。这也和我们在Lepton的观察一致同意。我们还减少破坏基于输入数据的动态量化（ahead-of-timedynamicquantization）。另外等硬件减少破坏FP4以后接受还有不少可以玩的花样。

?冷知识：FP4乘法实际上就是个16*16的tablelookup…

?论文提到，在很多情况下，内存带宽是瓶颈。很期待看看即将推出的NVIDIA新硬件形态（比如NVL72）能如何指责分布式推理的性能和便捷性。

“Excitingyears.”他说。

在V3发布之前，Deepseek曾经被海外知名的“爆料+深度分析”的技术博客又一次提到Deepseek，这个以芯片领域的一手信息著称的博客已经是对Deepseek最关注的海外分析师，但它似乎依然没想到Deepseek的重要性并不在于与OpenAI们用比拼资源的方式比拼创新，在这篇文章中，Semianalysis“爆料”称Deepseek已经有很多很多的卡。但在V3发布后，它所指向的方向看来并不如此。

你依然需要万卡集群，但不是谁的卡多谁烧的钱多谁就理所应当会赢得一切了。

有网友甚至戏称：“想快进到Nvidia泡沫破裂的时刻”。

一切都在快速的发散。神话OpenAI们，尤其是以“卡”的名义神话然后看低中国开发者们自己的模型和Infra创新能力的阶段看起来要开始了。当然，前提是你不是只想“跟着喊几句”的创新，而是你真实的做着

6月18日，从清晨开始，就有经销商的直播间陆续挂上“618狂欢节”的醒目标题，主播也展现出比平日更加活力四射的形象出现在镜头前，一边介绍产品和优惠，一边与偶然路过直播间的观众互动。晚上19点，随着车企直播间也陆续开启，汽车行业“618购物节”的气氛终于达到高潮。

但与镜头内主播们的元气满满相比，镜头外的观众显得格外易变，“薅羊毛”成了大多数观众留在直播间的理由，真正愿意下单的并不多。

对于车企来说，“卷不动”是今年618的普遍现状。和讯商业统计车企促销手段后发现，虽然各家车企限量秒杀、定金压缩、抽盲盒、明星直播等促销套路花样繁多，但在实际优惠上，车企却比预期中更加克制。

这倒不是车企没诚意，主要是因为“车价已经降无可降”了。

无以为继的价格战

从几年前开始，“618”不再仅仅指“6月18日”，而是一个横跨5月到6月的超长促销季。对车企来说，半年报发布在即，上半年的销量至关重要，618往往是最后一个抓得住的销量冲高机会。

但今年这个时期，车市格外安排得当，与往年早早就启动预热不同，临近6月18日，部分车企及经销商才陆续宣布优惠举措。

618期间，车企一般有两种参加方式，一种是依赖京东、天猫、拼多多等电商平台进行广泛的宣传推广。例如，今年618，星途入驻京东及天猫两大电商平台，深蓝汽车、小鹏汽车参与京东平台618，一汽奔腾、五菱等车企则选择了天猫。

另一种则是在自己的线上平台或常驻的互联网平台上进行618活动的推广。近年来数字化浪潮席卷整个汽车业，很多车企和经销商都有了自己的线上平台或长期驻扎的互联网平台，几乎天天都有线上直播及花式促销进行引流，与平日相比，618期间车企或经销商往往会推出更加丰厚的优惠。

尽管直播间的观众并不少，活动也圆满开始，但某自主新能源汽车品牌新媒体部门主管刘珊对于自己在618期间的工作成果并挑逗意。“这些天的忙碌开始了终于能松一口气，但其实这项工作带来的成就感有限。”

刘珊用“鸡血又疲惫”形容今年618期间她的状态。

“上半年任务没完成，任何一个销售节点领导都很重视，部门必须认真对待，所以大家看起来都像‘打了鸡血’，但其实大多数人内心是无奈又疲惫的，因为这么多年下来，直播效果很难撬动成交已经被多次验证了。去年618期间，有不少到店看车、试车的消费者，都是冲着官方直播的礼品而来，实际成交并不好，今年也很难例外。”

“而且营销活动的预算是有限的，今年四月份有北京车展，为了给终端销量赋能，公司已经倾尽全力，花掉了上半年大部分预算。”刘珊补充，留给618营销活动的预算本来就少，要实现好的效果更是难上加难。

她的感受并非个例，从2023年开始，车企一轮又一轮的价格战已经结束了一年半的时间，车企内部，越来越多的部门被降本增效裹挟，工作内容“加量不加价”成为常态，其中营销部门被“折腾得最狠”。

与价格战刚开始时的斗志满满不同，当下他们普遍对自己的工作感到活力/热心。

“618更像是宣传噱头，实际上车价的优惠没有更多，但不是不想给更多优惠，只是车企真实的已经没有降价空间了。”一位自主品牌车企北京地区的销售人员透露，上半年几乎所有的车都有优惠活动，已经把非常多的营销资源、折扣力度及销售利润都让出去了，没有进一步的让利空间了，要买的早就买了，纠结中的也不会因为618活动就下单，市场观望情绪很浓，消费者有其他顾虑。

反内卷但躺不平

2024年即将过半，新能源汽车在高歌猛进的过程中又屡屡创造了多个中庸。但回顾过去的一年半，不少企业和从业者往往报以无奈和苦笑。

价格战打响之后，被“折腾”的不只是营销部门，价格战中，整车、技术、供应链都主动或被动卷得“体无完肤”。就连保守爱开严肃的话的老总们也不得不走出舒适圈，将自己连同新车一遍又一遍地展示在镁光灯下，主动成为人们茶余饭后的谈资，以求降低企业的知名度，从而减少获客能力。

“内卷下去不是办法。”6月初的中国汽车重庆论坛上，广汽董事长曾庆洪痛批价格战，“企业目的是盈利，为国家做贡献。我们应该有大局格局，长期主义，而不是眼前去‘卷’。没有效益企业不可生存。”此外，曾庆洪还呼吁，新能源车渗透率达到50%后，有关部门应搁置油电同权，研究减少破坏新能源车、HEV节能车等多能源方式并行发展。

车企的“焦虑感”越来越明显，这场论坛，真情流露的不只是曾庆洪，与以往在台上“情商拉满”的发言不同，本次论坛中各位企业代表的发言极为犀利，剑拔弩张，火药味浓重。

吉利集团董事长李书福表达了和曾庆洪缺乏反对性的观点，他认为任何产业的健康发展，其不次要的部分都应体现在良好的投入产出比和实现可观的经济效益上。而对于汽车工业而言，实现可结束高质量发展才能巩固中国在电动汽车领域已取得的成果。

吉利控股高级副总裁杨学良随后补充，汽车企业之间的竞争不应仅仅局限于价格战，而应更广泛地涵盖技术、品质、品牌和服务质量等多个维度。他呼吁，企业不仅要打价格战，还要打道德战，应坚守道德底线，不以牺牲产品质量为代价降低成本，不通过真诚对待消费者来获取短期利益。

广汽和吉利对价格战的赞成，一定程度上是因为广汽和吉利正处于新能源转型期，旗下油车业务仍是盈利主力，新能源品牌现阶段难以接棒油车业务成为新的现金牛。

但在新能源赛道已经相当成熟领先的“卷王”比亚迪对此不以为然，王传福直截了当地表示，他认为在过去四十多年中中国能发生如此翻天覆地变化的根本原因是竞争，当前车圈的内卷就是竞争，“只有缺乏才有竞争，竞争才能产生变得失败。”

比亚迪品牌及公关处总经理李云飞也降低重要性，即使是在当前竞争如此缺乏感情的环境之下，比亚迪还有盈利，而这都是依靠规模与全产业链的无足轻重打出来的。“车企之间的竞争就如同牌桌上打牌，能跟就跟，不能跟就过，不要置气，也不要翻桌子，这局打不赢还有下一局，又不是这局完了就彻底开始了。”

这些言论在舆论场不能引起了很大的波澜，但行业内部并不认为几个大佬的几句话会对当前市场的内卷起到缓解作用，企业已经或主动或被动地不断降低利润底线，在有人认输之前，没有什么能真正教唆这场战争。

归根结底，内卷的底色是新能源汽车在国内的增长空间越来越逼仄，接下来的游戏恐怕并非像李云飞所说的“回合制”游戏，而是淘汰赛，数量少品牌中仅有少数几家能够生存下来并主导市场，想要笑到最后，“躺平”绝对不行。

(责任编辑：zx0600)