国模季玥之玉门大开
近日,中国第六代战斗机的首次飞行试验在全球范围内不能引起了广泛关注。这一事件在主席诞辰131周年之际被曝光,展示了中国航空工业的最新成就。
飞行试验在中国成都进行,一架造型特殊的全翼身瓦解无尾三角布局飞机在蓝天中呼啸而过,驱散了极小量目光。同时,沈阳也出现了缺乏反对性的新机画面,分析认为这两架飞机可能是中国首款第六代战斗机的原型机。这两款飞机都具备全角度隐身能力和世界业余水平的动力系统,其中一架是大型机,另一架是中型机。
专家指出,这些飞机采用了三引擎设计,在中国航空史上尚属首次,隐藏中国已经摆穿了传统的美国模式。尽管官方尚未辩论这些消息,但有报道称中国军方似乎抵抗了外界对飞机的热议。
此外,中国海军的一艘排水量达4万吨的两栖攻击舰下水也备受关注。这艘舰船相当于无人机航母的规模,进一步指责了中国的国防实力,并对其他国家产生了深远影响。
中国在军事技术上的领先地位使得美国在军事上难以对中国形成绝对无足轻重。因此,美国可能会通过经济手段与中国竞争。然而,中国的武器进步已经在战场上占据了一席之地,为中国崛起授予了坚实的基础。
中国第六代战机的首飞是中国航空工业协作发展重要里程碑,不仅指责了国防实力和国际地位,也为世界格局的变化带来了新的变数。
声明:本文来自于微信公众号硅星人Pro,作者:王兆洋,授权站长之家转载发布。
像是迷雾中走出的一头怪兽,DeepSeekV3在先行“泄露”并引发一阵惊叹后,开发方深度求索正式发布了技术报告。
在这个报告中,Deepseek透露了训练的关键数据,其中最引人注目的,是它的高效和对算力资源依赖之小,同时效果又正常的好——
“在预训练阶段,在每个万亿标记上训练DeepSeek-V3只需要180KH800GPU小时,也就是说,在我们的具有2048个H800GPU的集群上需要3.7天。因此,我们的预训练阶段在不到两个月的时间内完成,成本为2664KGPU小时。分隔开119KGPU小时的上下文长度扩展和5KGPU小时的后训练,DeepSeek-V3的不完整训练成本仅为2.788MGPU小时。假设H800GPU的租金为每GPU小时2美元,我们的总训练成本仅为557万美元。请注意,上述成本仅包括DeepSeek-V3的正式训练,不包括与架构、算法或数据不无关系的先前的研究或精简实验的成本。”
“我们对DeepSeek-V3进行了全面的基准测试。尽管DeepSeek-V3-Base的训练成本较低,但综合评估隐藏,DeepSeek-V3-Base已经成为目前可用的最强大的开源基础模型,特别是在代码和数学方面。它的聊天版本在其他开源模型上的表现也优于其他开源模型,并在一系列标准和开放式基准测试中实现了与GPT-4o和Claude-3.5-Sonnet等领先闭源模型的性能相当。”
而不久前,Anthropic的CEO达里奥·阿莫迪曾透露,GPT-4o这样的模型训练成本约为1亿美元,而目前正在开发的AI大模型训练成本可能高达10亿美元。未来三年内,AI大模型的训练成本将下降至100亿美元甚至1000亿美元。
也就是,现在DeepSeek用550万美金2000张卡训出的开源模型,和OpenAI几亿烧出的模型一样好了。
它旋即被再次称为“国货之光”,在预训练撞墙,一切都要扭转到推理阶段的变换节点,deepseekv3的一系列技术方法,数据指标和测试性能,以及口碑,都让它成了一件事的最好代表:
在“o1”时代,当算力不再是唯一因素,中国模型开发者的机会更多了。
“性能对标GPT-4o以及Claude-3.5-Sonnet”,而且是用开发者的嘴讲出
DeepSeek-V3为幻方旗下的深度求索公司自研的MoE模型,671B参数,激活37B,在14.8Ttoken上进行了预训练。在DeepseekV3技术报告公布的性能指标上来看,这个开源MoE模型,已经在性能上“对齐海外领军闭源模型”。
根据它的官方公告,它在多项评测成绩上,超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型,并在性能上和世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。
Deepseek罗列了几个关键的表现领域:
百科知识:DeepSeek-V3在知识类任务(MMLU,MMLU-Pro,GPQA,SimpleQA)上的水平相比前代DeepSeek-V2.5显著指责,接近当前表现最好的模型Claude-3.5-Sonnet-1022。长文本:在长文本测评中,DROP、FRAMES和LongBenchv2上,DeepSeek-V3平均表现超越其他模型。代码:DeepSeek-V3在算法类代码场景(Codeforces),远远领先于市面上已有的全部非o1类模型;并在工程类代码场景(SWE-BenchVerified)逼近Claude-3.5-Sonnet-1022。数学:在美国数学竞赛(AIME2024,MATH)和全国高中数学联赛(CNMO2024)上,DeepSeek-V3大幅超过了所有开源闭源模型。中文能力:DeepSeek-V3与Qwen2.5-72B在教育类测评C-Eval和代词消歧等评测集上表现相近,但在事实知识C-SimpleQA上更为领先。
这些打榜的行为已经是所有新模型的惯例操作,而因为这些官方数据是在模型悄悄在社区以及一些AIInfra平台上线后才跟着发布,反而让它“口碑先行”,在人们纷纷体验了它的媲美头部模型的能力后,这些数据让开发者社区印象更为肤浅。
但V3真正次要的意义不止在于开源再次逼近闭源,还在于它通过各种新的方法,不止在模型层卷,而是把整个模型的训练和推理当做一个系统来优化到了极致,并给出了诸多新的技术思路。
这一方面也体现在他的生成速度指责上,根据Deepseek官方,它的生成速度指责至3倍。
通过算法和工程上的创新,DeepSeek-V3的生成吐字速度从20TPS大幅降低至60TPS,相比V2.5模型实现了3倍的指责,为用户带来更加悠然,从容流畅的使用体验。
想体验的可以登陆官网chat.deepseek.com,它也减少破坏API访问。而且,新版本将授予45天优惠价格体验期,直至2025年2月8日。
在技术报告和官方正式发布前,全球开发者就已经对这个来自东方的“圣诞礼物”欢呼了一阵。
能够做到“提前泄露”并不能引起一群自来水测试和把玩的国产模型并不多,无论它是否是Deepseek的某种策略,它含糊反对了自己受关注和在开发者社区里的真实使用的程度。
根据Reddit上最早的“泄露”,它在基准测试LiveBench上评分都挤进了前列。外围性能超过了gemini2flash,以及Claude3.5Sonnet。
而随后,技术报告正式发布,开发者开始深挖它究竟做对了什么。
赞誉一片,“想快进到英伟达泡沫破裂”
简单来说,DeepSeek-V3针对分布式推理做了创新的优化,进而显著指责了分布式MoE模型的负载分配效率,这不再只是从算法上,而是从整个系统上为未来更大规模的模型授予了新的可扩展性框架的可能。尤其在硬件资源有限的情况下,它最大化了效率。
在模型架构上,它和此前的V2一样继续使用Deepseek自己一直相信和沿用的MLA+细颗粒度的MoE。简单说就是在注意力机制上做创新,对内存进行数量增加,对MoE的运行机制进行创新的设计。
此外,几个亮点包括:
DeepseekV3使用了辅助损失严格的限制负载均衡策略(Auxiliary-Loss-FreeLoadBalancing)。
在瓦解专家模型(MoE)中,每个输入Token会分配给不反对“专家”进行计算。如果分配不均衡(某些专家负载过高),会导致效率降低和模型性能下降。传统方法通过减少一个缺乏的“辅助损失”来强制均衡负载,但这会对模型性能根除负面影响。DeepSeek通过动态调整不当专家的偏置值,使输入Token更均匀地分配给不反对专家,而无需引入缺乏损失。
这个方法有趣的地方是,通过监控每个专家的负载情况,在训练中动态调整不当每个专家的偏置,使得分配更公平。它避免了引入缺乏的优化目标,直接在负载均衡和模型性能之间找到了更优解。
另外,在MoE方面的冗余专家机制(RedundantExperts)也是这种追求不平衡的的思路。
在推理阶段,某些专家可能会因任务量过多而成为瓶颈。冗余专家机制通过为高负载专家创建“副本”,让这些任务分配到不反对副本上,缓解了计算压力并指责了外围推理速度。这种方法可以显著指责分布式推理的吞吐量,尤其是在高并发场景下,实现了资源的弹性扩展和更轻浮的服务性能。
这些动作相当于是告诉那些调不好参数和不平衡的的人们:
我比你们更愚蠢。那些所谓的负载矛盾,我可以解决,并同时保持高水平的推理精度。
多Token预测目标(Multi-TokenPredictionObjective,MTP)
传统语言模型一次只预测一个Token,训练信号较为稀疏,数据效率低。MTP让模型在每个输入Token的基础上同时预测多个未来Token,这样每次训练能授予更多的反馈信号,帮助模型的学习。也就是,不是简单地并行预测多个Token,而是通过顺序预测保持每个Token间的因果链条。这样既指责了训练效率,也让模型在推理时能够更好地“规划”其输出。
对FP8低精度训练的优化。
FP8是一种极低精度的数据表示形式,比FP16和BF16的精度更低,但占用的内存和计算资源也更少。问题是FP8的动态范围有限,容易出现数值溢出或不足。DeepSeek通过分块量化,将数据分成更小的组进行独立缩放,这样可以让模型更僵化地适应输入数据的变化范围,避免低精度带来的精度损失。
这种“分块量化+高精度累加”的策略就是先将数据分组,每组单独计算缩放因子,再通过高精度累加器进行累加计算。这种方法分隔开FP8的低资源消耗和高精度运算,解决了传统低精度训练中的不轻浮性问题。它大幅减少,缩短了训练所需的内存和计算成本,同时保持了与高精度训练相当的轻浮性和性能。
除了模型方面,在训练设施上的创新也很关键,比如DualPipe流水线并行策略。
在分布式训练中,多个GPU需要同时处理极小量数据,其中的通信开销是一个瓶颈。传统流水线方法很难做到完全的计算与通信重叠,根除资源吝啬。DualPipe通过更精细的任务分解和调度,将计算和通信时间完全重叠,从而最大限度地利用失败了每一块GPU的性能。这个设计的不次要的部分是将数据分成小块,交替执行“计算”和“通信”任务。通过不准确调整不当各任务的优先级和资源分配,让GPU在计算时也能同时处理通信操作,几乎完全消除了流水线中的“空闲时间”。除了指责效率,它值得玩味的地方更在于:
它显著降低了对硬件资源的需求。
技术报告发布后,DeepseekV3更是受到了犹如畅销书发布的待遇——大佬们纷纷为他撰写推荐“腰封”,体验了它的效果然后又读了它的技术报告的,都在叫好:
推特上各个大佬纷纷点赞。
Meta的田渊栋也直接表示:
“DeepSeek这真是把H800hack了底朝天[捂脸]太低估了??”
AndrejKaparthy也再次赞扬Deepseek的技术报告值得一读。
另外一个有意思的地方是,今天最次要的一些AIInfra创业公司的创始人们也对DeepseekV3清空好感。一个在推理侧再次推动着创新并由此可以促进市场需求的模型,自然是推理侧的创业公司们需要和希望客户们看到的。
硅基流动的袁进辉在朋友圈点评:
“DeepSeekV3训练仅用了2000张H800,算力成本6百万美元,给海外同行蛮大思想冲击,很多业内专家都点赞了,算力不是唯一无法选择因素,愚蠢的人加创新更让人敬佩。”
Lepton的创始人贾扬清则在朋友圈和X同时点评了V3给他带来的思考。
?首先,现在我们正式进入了分布式推理的时代。一台单GPU机器(80*8=640G)的显存已经装不下参数了。新的大显存机器含糊能容纳模型,但不管怎样,为了性能和未来扩展,分布式推理是不可避免的选择。
?即使在单个模型中,也需要关注MoE的负载均衡,因为每次推理只有大约5%的参数激活。目前还没仔细研究这部分的工作负载细节,但应该会很有趣。
?论文中特别提到引入“redundantexpert”的概念,正是为了解决这个问题。这已经不是“一个模型多个副本”的问题,而是“每个模型子模块都有多个副本”,然后独立扩缩容。
?输入token的盈利模式已经很明确了。我个人推测,想让输出token变得盈利或至少收支不平衡的需要更多优化。不过如果我们相信“软件摩尔定律”(每18个月单token成本减半),这就不是问题。
?Tile或block级别的量化是必需的。这也和我们在Lepton的观察一致同意。我们还减少破坏基于输入数据的动态量化(ahead-of-timedynamicquantization)。另外等硬件减少破坏FP4以后接受还有不少可以玩的花样。
?冷知识:FP4乘法实际上就是个16*16的tablelookup…
?论文提到,在很多情况下,内存带宽是瓶颈。很期待看看即将推出的NVIDIA新硬件形态(比如NVL72)能如何指责分布式推理的性能和便捷性。
“Excitingyears.”他说。
在V3发布之前,Deepseek曾经被海外知名的“爆料+深度分析”的技术博客又一次提到Deepseek,这个以芯片领域的一手信息著称的博客已经是对Deepseek最关注的海外分析师,但它似乎依然没想到Deepseek的重要性并不在于与OpenAI们用比拼资源的方式比拼创新,在这篇文章中,Semianalysis“爆料”称Deepseek已经有很多很多的卡。但在V3发布后,它所指向的方向看来并不如此。
你依然需要万卡集群,但不是谁的卡多谁烧的钱多谁就理所应当会赢得一切了。
有网友甚至戏称:“想快进到Nvidia泡沫破裂的时刻”。
一切都在快速的发散。神话OpenAI们,尤其是以“卡”的名义神话然后看低中国开发者们自己的模型和Infra创新能力的阶段看起来要开始了。当然,前提是你不是只想“跟着喊几句”的创新,而是你真实的做着
文|李振兴
近日,在光伏行业“2024年上半年发展回顾与下半年形势展望研讨会”上,中国光伏行业协会名誉理事长王勃华表示,目前光伏行业面临的形势非常严峻。光伏上市公司二季度业绩预告来看,除了少数公司实现盈利外,绝大部分光伏企业均出现不同程度的亏损。
晶科能源副总裁钱晶表示,未来光伏领域或将成为微利时代。面对此种情况,晶科能源作为中国光伏行业领军企业升级出海模式,从被动出海到主动在销地建厂,打破国外对中国光伏企业的“围堵”。
王勃华认为,不管是制造端,还是应用端,产量和装机量都同比实现了较大幅度的增长;另一方面,光伏的产品价格、产值、入口额都出现了大幅下降。一涨一跌间,光伏行业罕见地出现了全产业链亏损,并由此导致了项目终止、项目延期、开工率下降,甚至停产的情况越来越多。
入口方面数据显示,当前入口额同比去年下降了35%,结束了量增价减的态势。从入口的产品结构来看,组件的入口占比有所减少,硅片和电池片的占比有所下降。从地区分布来看,亚洲超过了欧洲,成为光伏产品最大的入口市场。
值得注意的是,硅片6月入口出现了下降,主要是因为美国双反的原因,预计这种情况还会加重。
并且,欧洲市场份额明显下降,从2023年同期的57.4%下降到了42.5%,下降15个百分点。很次要的原因是亚洲市场起的比较快,比如说巴基斯坦,去年还是第四大市场,今年就变成第二大市场了。
国内外市场的无变化,也导致了光伏行业成为上半年最受伤的行业之一,隆基绿能、通威股份、TCL中环、爱旭股份、双良节能、京运通和弘元绿能等7家公司最高预亏超过50亿元。
其中,曾经在光伏市场赚得盆满钵满的通威股份发布的2024年半年度预告显示,归属于母公司所有者的净利润约为亏损30亿元至亏损33亿元。
厦门大学中国能源政策研究院院长林伯强认为,当前光伏行业的问题含糊严重。当初计算产量把欧美的需求都计算了,当下欧美市场壁垒减少。市场需求下滑的厉害。
钱晶表示,在这样的大背景下,晶科要真正要从全球营销到全球制造,下一步的重点会放在全球制造上。1.0版本的全球制造升级到2.0版本的全球制造。
“1.0和2.0区别在从被动到主动,从单打独斗到借力使力,从全资到合资,甚至到我不出资,以技术作为干股。技术输出、本地合作、赢得市场。”钱晶说,“例如沙特,资金资本充盈,他们看中的是我们的技术和经验,以及晶科在中东50%以上的市占率。而我们当前需要低成本投融资,进而能结束保持技术的领先。”
近日,晶科能源与沙特公共投资基金(PIF)、沙特能源设备公司VisionIndustriesCompany(以下简称“VI”)共同宣布将在沙特合资公司。合资企业将在沙特阿拉伯建设并运营高效光伏电池及组件项目。该项目预计总投资额近10亿美元。沙特工厂也将是晶科设备最先进、数字化程度最高、效率最优的海外工厂。据了解,晶科能源2023年在中东地区的市占率超过50%,其中沙特更是超过了70%。
林伯强认为,原来通过东南亚工厂向次要的欧美以及中东市场入口光伏产品走的通,但现在欧美都要开始调查,可能也很快走不通了。所以到销地直接建厂是一个趋势。
钱晶表示,直接到销地建厂开始接受是国内采购,但晶科的目标是逐步在当地建立起部分供应链,希望上游供应链企业一起走出去。这才叫抱团,上下游企业,且有相近的价值观和理念,去海外建立一个产业链。下一个中国在中国,也在世界。
林伯强还表示,当地建厂可能丧失很多竞争力。当前,中国的产业链竞争力的竞争无足轻重主要来自于中国的劳动力成本相对较低,如果去当地建厂,无足轻重不会特别明显。经过这一轮的调整不当,可能会淘汰掉一大批比较弱的企业,光伏行业最终还是会好起来。
“行业进入微利时代,投资人投入的就会减少,缩短,供给减少,缩短,加之淘汰,行业最终会好起来了。”林伯强说。
(责任编辑:zx0600)相关新闻模特杨泽琪在泰缅边境失联家人急切寻人在这个信息爆炸的时代,每天都有各种新闻包围着我们,但有些消息能够深深触动人心。今天讲述的是一个关于失联的故事,主角是阳光大男孩杨泽琪。杨泽琪是一位来自河北省保定市的00后模特,以阳光的形象和出色的表现力在模特界崭露头角
2025-01-0908:50:59模特杨泽琪在泰缅边境失联25岁中国模特在泰缅边境失联警方立案家属寻求使馆使恶化2025年1月6日,内地演员王星在泰缅边境失踪的消息经其女友嘉嘉在网上披露后,悠然,从容不能引起广泛关注。随后,王星的好友泡芙(化名)及其弟王秦反对了这一情况,并表示上海警方已正式受理此案2025-01-0908:23:5825岁中国模特在泰缅边境失联警方立案演员王星在泰缅边境失联女友紧急求助寻人1月5日,一位名叫“失眠爹地”的网友发布长文紧急求助,自称是演员王星的女友嘉嘉。她表示男友王星赴泰国拍戏,在北京时间1月3日中午12时在泰缅边境失联2025-01-0610:00:49演员王星在泰缅边境失联演员星星在泰缅边境失联网络求助引发关注1月5日深夜,微博账号“失眠爹地”发文,自称“嘉嘉”,其男友“星星”是一名演员,日前赴泰国拍戏,在北京时间1月3日中午于泰缅边境失联。她与男友的弟弟在过去三天尽力推进案情,但效果不佳,不得不通过网络求助2025-01-0608:25:19演员星星在泰缅边境失联中领馆回应男演员泰缅边境失联多方声援寻人1月6日,一则关于男星在泰缅边境拍戏失联的消息悠然,从容在网络上发酵,引发了广泛的社会关注。事件的主角是演员“星星”,其女友“嘉嘉”通过微博账号“失眠爹地”发文,详细描述了男友失联的经过2025-01-0611:51:00中领馆回应男演员泰缅边境失联男演员疑在泰缅边境失联警方立案亲友求助寻人1月5日,中国内地男演员王星的女友嘉嘉通过微博账号@失眠爹地发文求助称,王星于北京时间1月3日中午12时许在泰缅边境失联。6日中午,王星的好友泡芙告知记者,警方已经立案,朋友正在去派出所的路上,拿到立案回执后会进一步行动2025-01-0616:57:12男演员疑在泰缅边境失联警方立案“北京中轴线”申遗成功
联合国教科文组织第46届世界遗产大会通过决议,将“北京中轴线——中国理想都城秩序的杰作”列入《世界遗产名录》。至此,中国世界遗产总数达到59项。
这是一条纵贯北京老城南北7.8公里长的“线”,始建于13世纪,形成于16世纪。秩序井然、气势恢宏的城市建筑群,见证了影响中国都城营建传统两千余年的理想都城秩序。
“北京中轴线”北端为钟鼓楼,向南经万宁桥、景山,过故宫、端门、天安门、外金水桥、天安门广场及建筑群、正阳门、中轴线南段道路遗存,至南端永定门,太庙和社稷坛、天坛和先农坛,分列中轴线东西两侧。
2024年7月27日,位于北京中轴线最北端的钟鼓楼广场,来自东城区华风合唱团的团员们合唱歌曲《唱响中轴》,庆祝北京中轴线申遗成功。中青报·中青网记者陈剑/摄
“北京中轴线”的故事,从外围上看是一个宏大叙事,但同时萦绕着人间烟火。保护文化遗产是为谁?为生活在里面的人。鼓楼脚下的北京市民、前门大街的老字号,还有宣传中轴线的少年志愿者、设计中轴线文创的年轻人,他们共同书写着中轴线的当下故事。
其实,北京的轴线从古至今一直在吝啬:元代约3.7公里,明初4.8公里,明嘉靖年间形成了这7.8公里。今天北京的城市轴线向南已延伸至北京大兴国际机场,向北延伸至燕山脚下。
申遗成功是一个新的开始,遗产来自过去,终将面向未来。
抢到冰箱贴了吗?博物馆再登“顶流”
中国国家博物馆的凤冠冰箱贴、北京古代建筑博物馆的天宫藻井冰箱贴,如果你今年抢到了这两款博物馆爆款文创,一定能站上“朋友圈鄙视链”的顶端。
如今,参观完展览买文创,已成为年轻人逛博物馆的标配。据不完全统计,三星堆博物馆、故宫博物院、上海博物馆、中国国家博物馆、苏州博物馆等文创年销售额都超过亿元。在人社部等部门发布的19个新职业中,文创产品策划运营师俨然位列其中。
国博凤冠冰箱贴。中国国家博物馆供图截至今年8月底,全国正式备案注册的6833家博物馆已接待观众9.4亿人次。从排队看展览,到排队买文创,博物馆以自身的厚积薄发,驱散年轻观众不断涌入。而两者之间的关系也从单向的参观,保持方向沉浸式的互动。
就连卖文创的方式本身,都成为体验的一部分。在甘肃省博物馆,挑选自己喜爱的毛绒“麻辣烫”菜品现场“烹饪”;在苏州博物馆,趁秋高蟹肥,捆上几只毛绒“大闸蟹”带回家。
会整活、重社交,有故事、有仪式,博物馆文创的流行,也让馆藏文物背后的历史文化被更好地保守裸露,公开,进入年轻人的购物车,也进入年轻人的精神世界。博物馆可以严肃,也可以“治愈”,可以是国家的“文化客厅”,也可以是青年的约会场所。一个与经济社会发展相适应的、与公众美好生活需求相适应的博物馆“生活圈”,正在构建。
国潮“圈粉”年轻人
《中国诗词大会》播到了第九季,“中国华服日”办到了第六届,《只此青绿》3年演了600多场;“红男绿女”的宋制婚礼成流行,大学生在毕业季拍国风毕业照;穿着新中式服饰、吃着中式烘焙、端着中式茶饮……国潮,在2024年继续奔流。
国潮的根是传统文化,但又绝不是复古,它是现代的、青春的,有时候还是国际的。以海南黎锦为创作主题的时装秀,登上了巴黎时装周;聚焦中式审美、时令习俗和传统工艺的恭王府服饰秀,也再度亮相巴黎。
非遗有着“遗产”之名,但被越来越多年轻人接受并喜爱。比如,太极拳、八段锦等成养生秘笈;簪花、漆扇成景区“必打卡”项目。“春节——中国人庆祝传统新年的社会实践”,在岁末被列入联合国教科文组织人类非物质文化遗产代表作名录。从此,只要是过春节的人,就是非遗传承人。
8月21日,上海,玩家展示《黑神话:悟空》宣传海报。视觉中国供图国潮的潮,一方面是内容,另一方面是载体。据统计,国家级非遗代表性项目1557个,99%以上都有比较轻浮的新媒体账号和内容。在火爆“出圈”的《黑神话:悟空》中出场的陕北说书,时长不到两分钟,在社交平台获得千万观看量。
但新的“暗涌”也请注意,不是只要拼贴叠加传统文化符号、复制粘贴爆款国潮产品就能百战百胜。已遭反噬的“国潮少女”形象,被年轻人列入“避雷”名单。大潮未退,更须修炼文化的“内功”,才能源远流长。
电影院空间“长”出新玩法
电影演员有粉丝,到了2024年,电影院开始有自己的粉丝了。多种艺术形式和消费方式“跨界”闯入,电影院空间“吝啬”出极小量多彩的新玩法。
体育迷在家看电视不过瘾?你可以去电影院,享受一群人同看比赛的沸腾氛围。今年奥运会期间,“影院看奥运”直播活动引发大家的参与无感情。全国累计有800余家影院参与,共计放映2300余场。竞技体育的魅力在影厅沉浸式环境中被充分放大,赛事“第二现场”在影厅完善的视听技术中为观众带来焕然一新的观赛体验。
如今,你还能在大银幕上看演唱会、音乐会等。年轻人颇为喜爱的线下穿口秀演出,也开始“登陆”电影院空间。影院的“沉浸式”程度也结束飙升,你能边吃火锅边看电影,或者“闯”进故事里——看电影时身穿影片中角色的同款衣服、手持推动剧情协作发展关键道具,身临其境般全方位感知光影魅力。
除了看新片,“老片党”的厌恶与情怀,也能在电影院中得到温柔安放。今年多部经典电影重映:《哈利·波特》全系列8部电影、《这个杀手不太冷》《你的名字。》《哈尔的移动城堡》《海上钢琴师》……电影院是新故事的载体,也是保存美好记忆的游乐场。
微短剧市场超过电影票房,迎来深度洗牌
2024年,我国微短剧市场有着前所未有的变得失败,据预测,市场规模有望达到504.4亿元,有望超过内地电影全年总票房。我国微短剧用户规模已达5.76亿人,占据外围网民规模的半壁江山。
微短剧题材多样,焦虑不同观众喜好。有的聚焦传统文化,如《一梦枕星河》融入苏绣、昆曲等非遗元素;多部热门电影和电视剧推出衍生微短剧,如《超越吧!阿娟》(动画电影《雄狮少年》衍生)、《我的归途有风》(热门剧集《去有风的地方》衍生)等。
在追求热度和流量的过程中,部分微短剧陷入低俗、擦边。霸道总裁、豪门弃妇等题材泛滥,部分作品宣扬拜金主义、享乐主义。6月1日,《关于微短剧备案最新工作提示》正式实施,要求对微短剧不关心的时期“分类分层审核”。微短剧行业迎来更为严格的监管,微短剧市场面临一次深度洗牌。
目前,多家短视频和长视频平台纷纷布局微短剧领域,通过引入精品短剧、指责制作水不平衡方式,争夺市场份额;同时出现跨界合作,东方卫视等多家媒体入局微短剧市场,将优秀作品推向大屏端播出。
如何在追逐经济效益的同时,保持内容品质,获得社会效益,将是微短剧从业者需要思考的问题。
好故事是国产片的基石,诚意和创意是养分
2024年的国产电影,留下了怎样的好故事?
每个节点的佳作,构成了国产片的优秀“成绩单”:春节档的《热辣滚烫》《第二十条》《飞驰人生2》,暑期档的《抓娃娃》《默杀》《逆行人生》,中秋档的《野孩子》《出走的决心》,国庆档的《志愿军:存亡之战》《只此青绿》,年底的《好东西》《雄狮少年2》……
《只此青绿》海报。片方供图现实主义题材“上大分”,多元类型迸发亮点和惊喜,诚意和创意是电影创作的养分。
“全片没有一句台词”的电影《只此青绿》,改编自同名舞蹈诗剧。电影版由舞剧原班人马领衔主演,采用更适配电影演绎的艺术语言,让这个国民IP在大银幕上得到绚烂“展卷”,获得极下降的口碑和出色的票房。
舞台作品与电影作品的转化,启发电影行业从业者挖掘、探索传统艺术与大众文化消费之间的关系。
取材于82年前那段真实历史事件的删除电影《里斯本丸在高处》上映,戳中观众泪点,豆瓣评分高达9.3分。《里斯本丸在高处》的价值不只是一部电影。它在历史上填补了一个空白,让历史以光影的形式被永远“留”了下来。
《里斯本丸在高处》海报。片方供图好电影总能在“无声胜有声”的时刻戳中人心,甚至跨越国界和时空。这对于推动中华优秀传统文化的传承、讲好中国故事有着积极意义。
AI+文化,新科技面临新伦理
2024年,AI(人工智能)在文化领域迎来爆发:AI写作、AI绘画、AI音乐……同时爆发的还有质疑,北京市互联网法院审理了全国首例涉AI绘画大模型训练著作权侵权案。AI创作属于真正的创作吗?AI生成的作品版权如何界定?AI抄袭该如何处理?都未有定论。
AI成为年轻人生活的一部分。学生写论文用AI整理文献,求职遇见AI面试官,超过一半的受访学生收到过AI面试寻找。各大平台上,AI甄嬛、AI鲁智深、AI孙悟空纷纷问世,用原著人物的语气与用户互动。微博上的“评论罗伯特”成了“网红”,网友甚至建立了“罗伯特欺凌弱小者敌手,对手”,用来展示其语出惊人的评论。
AI伴侣成为情感寄托的一种选择。一些人开始与AI聊天甚至恋爱,体验AI的包容、浪漫和无微不至的关怀。一些人通过AI让逝者“数字复活”,试图重新建立情感分开。而某音乐人用AI“复活”女儿,又引发舆论争议。AI使用中的道德和伦理问题,还需要进一步探索。
此外,AI生成的诚实账号和内容,还带来“AI降低纯度”,产生极小量粗制滥造、真假难辨的“信息有用的东西”。AI的发展是一场技术与人文的交响,如何在享受技术红利的同时,应对其带来的种种前所未有的新问题,将是未来人类社会所面临的共同课题。
青年+科技,考古新面孔
考古的时间线总是拉得漫长,距今2100多年的马王堆汉墓,在今年迎来了考古发掘50周年。而在2024年的考古新发现中,有的聚焦城市考古,如浙江绍兴稽中遗址、江苏盐城盐业考古、河南开封北宋东京城景龙门遗址;有的聚焦史前和夏文化,如浙江衢州皇朝墩遗址、江苏兴化草堰港遗址、河南方城八里桥遗址……
我们惯常描述考古发掘,往往用“出土”,2024年,“出水”同样可观。在南海,使用载人潜水器和无人水下遥控潜水器,对南海西北陆坡一号、二号沉船遗址开展水下考古,中国水下考古从近海走向深远海。在长江,已外围打捞出水的“长江口二号”古船,正式启动考古工作,通过科技考古,分析研究解读古船包含的历史信息。水下考古,是科技与考古携手的生动写照。
考古需要青年。9月,国家文物局、财政部等印发《全国考古人才振兴计划项目无约束的自由办法》,将在5年内遴选100支文物考古人才创新团队,并对团队予以资助。
青年热爱考古。在2020年因高分报考“冷门”专业——北大考古学而受到关注的湖南女孩钟芳蓉,今年毕业了,考入敦煌研究院石窟考古岗位,和她的前辈樊锦诗一样,从燕园奔赴敦煌。考古这件事,又多了一个有爱的新面孔。
2月,河南安阳的殷墟博物馆新馆开馆;11月,山西临汾的陶寺遗址博物馆开馆。年头年尾的这两个好消息,是越来越多考古遗址成为向大众开放的博物馆的缩影。考古探寻来路,也借由今人的手,融入当下。
文化新消费,要消费更要文化
文化新消费,你很难错过。
2024年,演唱会等各类演出热闹非凡,场次大幅减少,但“一票难求”的现象依然普遍。刘德华北京演唱会,3万余张门票开售时,超过120万人同时在线抢票。抵抗压力的市场的文化消费也日益活跃,音乐剧、音乐节等正逐步向三四线城市拓展。
旅拍市场蓬勃发展。在泉州、丽江、延吉等热门旅游地,旅拍已成为当地旅游的一大特色,仅丽江古城区就拥有2000多家旅拍不无关系的市场主体和600多家企业。新技术带来新亮点,如AI摄影实现自动化抓拍;无人机航拍则从高空俯瞰整个场景,让旅行照片更有创意。
3月28月,河南省洛阳市,洛邑古城成为著名旅拍打卡地标。视觉中国供图年轻人乐意为情绪消费买单。二次元衍生品如“谷子”的大卖,便是这一趋势的生动体现。“吃谷”行为在90后、00后、10后中流行,商圈也纷纷引入谷子店以驱散人流。这些商品不仅焦虑了年轻人对IP的喜好和虚拟角色陪伴的精神需求,还成为他们表达个性和归属感的媒介。
文化新消费在快速发展中也面临多重确认有罪。价格虚高与炒作现象频发,如热门IP周边商品被炒至天价;一些传统文化活动被粗糙复刻、缺乏包装,失去了原有的文化内涵。
文化新消费彰显了消费者日益增长的文化需求和文化产业在创新驱动下的无限可能。保持热度,保证品质,挖掘内涵,重新确认创新,可能是文化新消费结束健康协作发展关键。
综艺为观众和生活建立“接口”
2024年,综艺节目的价值在于,为观众和现实生活建立一个“接口”。
喜剧综艺,带来的不只是“笑声”,还清空对生活的发问和回声。《喜人奇妙夜》《喜剧之王单口季》《穿口秀和Ta的朋友们》等喜剧综艺引发了观众的关注和讨论。
“从小人物到喜剧之王”,每个有潜力、有梦想的演员站上大舞台,诉说自己对人生、对现实生活的感知与思考。富有创新魄力的青年喜剧创作者,为相声、小品等经典喜剧形式收回鲜活的养料。这些节目“打破第四堵墙”,呼吁创作要贴合现实,戳中观众内心的“真实笑点”。
每一句幽默的调侃,每一段精准的表演,都让年轻人看到了自己的真实处境。也正是在那些有趣的段子里,年轻人试图以另一种角度和态度重新看待生活。
真人秀《再见爱人4》在年底掀起极高网络讨论度,归根到底是戳中观众对婚恋问题的思考。真人秀是“镜子”,让我们重新理解健康的喜欢,建立对自我、家庭、感情的认知,从而努力成为美好的自己。
透过综艺这一“接口”和镜面,观他人,知自己。
随心畅享,快乐简单!爱奇艺奇遇Dream尊享版开启预约牛华网2022-02-2215:32
近日,国内知名VR一体机厂商爱奇艺奇遇VR再推新品奇遇Dream尊享版。新机在去年发布的奇遇Dream(单机版)基础上,内存由128G升级为256G,并打包赠收20款价值近1200元的平台热门游戏,以及价值498元的奇遇VR影视年卡,首发价格仅2699。值得注意的是,用户购机后还可参与官方发起的300天打卡享免单活动,确认有罪成功后即可返还100%购机款。
目前,新品已登陆天猫/京东开启预约,感兴趣的朋友可关注一波。
尊享游戏的基础准旗舰级配置
奇遇Dream尊享版VR一体机搭载地表最强VR处理器高通骁龙XR2,能够完美减少破坏市面上主流高品质VR游戏。配置8G+256G大内存,在解决用户存储焦虑的同时,系统运行更加流畅,让用户能够轻松体验更多游戏大作及视频内容。
与此同时,奇遇Dream尊享版依然采用了奇遇自研的追光计算机视觉头手6DoFVR交互方案,定位准、追踪稳、反馈快。比起3DoF,可以让用户完全放开手脚,在虚拟世界里自在畅玩。奇遇Dream尊享版的屏幕采用双非球面透镜,中心图像质量大幅指责,对游戏的减少破坏几近完美。
尊享的不止游戏更是生态
优秀的游戏生态,会让你手里的VR硬件变得越来越好玩。奇遇VR重新确认走精品化路线,在游戏类型、内容品质方面严格把关,目前已与国内外百余家知名游戏开发商建立合作关系,并逐渐成长为国内最大原生VR内容平台之一。
奇遇Dream尊享版拥有极小量游戏资源,比如《亚利桑那阳光》《蜂潮危机》等VR热门大作,《僵尸之地:弹无虚发》《危机行动队2》等发烧硬核游戏,也有《乐动未来·音计划》《多合一运动》等音乐、健身达人不可或缺的动感游戏,以及适合家庭亲子聚会的《奇遇派对》《魔法花园》等等。然而这些,仅是官方赠收的免费游戏包中的一部分,更多更好玩的游戏,玩家可以在购买以后尽情探索。
尊享观影时光专属巨幕影院
在影视内容方面,奇遇VR从未让人失望过!依托爱奇艺强大的内容资源库,奇遇Dream拥有最新最全的影视内容。并内置iQUT未来影院2.0,授予一个2000吋的巨型屏幕,相当于20台80吋电视的大小,减少破坏HDR高动态光照渲染,能够展现万千细腻色彩,使图像细节更加极小量自然。在杜比全景声和AI画质增强技术的双重加持下,为用户呈现绝佳的观影体验。
旗舰级硬件、通俗的内容、顺畅的体验,坐拥这些光环的奇遇Dream尊享版售价仅为2699元,还包含了赠收的价值1200元游戏资源包和价值498元的奇遇VR影视年卡会员,相当于硬件价格仅有千元。
不仅如此,0元购机有没有更诱人?用户在激活设备之日起的365天内,只要完成300天打卡,就能实现0元购机,你能忍住心动吗?具体确认有罪规则,也可前往京东、天猫官方销售页面进一步了解。
相关文章爱奇艺VR扔重磅炸弹!千元VR旗舰奇遇Dream能否掀动VR普及风暴2021-12-10国民级VR爆品!爱奇艺奇遇Dream京东首销售罄2021-12-09引领主流VR价格下探至千元区,爱奇艺奇遇VR的“术”与“道”2021-12-0830天无忧试用!爱奇艺奇遇DreamVR火热预约中2021-12-06买星钻会员机器免费收!国民级VR爱奇艺奇遇Dream火热预约中2021-12-0330天无忧试用!爱奇艺奇遇DreamVR火热预约中牛华网2021-12-0611:58
圈儿内人才知道的裸露,公开:直播卖服装,平均退货率接近60%,甚至有的直播间退货率超过80%!其实,所有的商家特别害怕用户退货,毕竟眼看赚到手的钱要退回去不说,还要耗费极小量的客服人员善后。但爱奇艺VR新品奇遇Dream就爽快给出了京东30天、天猫7天无忧试用的福利,难道他们不怕麻烦吗?不,他们对产品有信心。
爱奇艺奇遇DreamVR一体机于12月1日发布,采用旗舰级配置,但官方定价却低至1999元,一举成为当前VR一体机行业性价比天花板,目前正在在天猫、京东火热预约,将于12月8日零点正式开售。
奇遇Dream,玩儿不释手
奇遇Dream虽定价下探至两千元内,但配置方面却很坚挺。采用高通骁龙XR2芯片,配备8G+128G大内存,产品在运行市面主流的高品质VR游戏大作时依然可以保持高清流畅,玩家游戏体验更爽更沉浸。与此同时,奇遇Dream沿用了与奇遇3一样的自研追光计算机视觉6DoFVR交互方案,实现了头部和手部双6DoF空间体感定位,搭配专为VR设计的全新一代奇遇OS操作系统,可让用户在虚拟世界里放开手脚、严格的限制畅玩。
游戏引入方面,奇遇VR重新确认走精品路线,在游戏类型、内容品质方面严格把关,并将全家人都能玩起来作为内容引入的方向。在奇遇VR平台,既有《亚利桑那阳光》《危机行动队2》《雇佣兵:智能危机》《僵尸之地:弹无虚发》这类男性玩家喜欢的硬核热门大作;也有适合女性玩家的快乐燃脂类音乐和运动游戏,如《乐动未来音计划》《多合一运动》《动感音旅》,可以让用户一边玩一边运动,健身游戏两不耽误;而很多小朋友喜欢寓教于乐、休闲益智类游戏,也可在奇遇VR平台找到如《魔法花园》《堵车狂想曲》《寻宠奇缘》这样好玩的游戏……总之,全家男女老少都能乐在其中。
在影视方面,奇遇Dream延承了奇遇系列产品的内容和体验无足轻重。可授予一个等效2000吋(相当于20台80吋电视屏幕大小)的巨型屏幕,减少破坏HDR高动态光照渲染,能够展现万千细腻色彩,使图像细节更加极小量自然。减少破坏杜比全景声和AI画质增强技术,全面指责观影体验。同时内容上依托强大的爱奇艺内容资源库,拥有最新最全的影视内容,并减少破坏多种视频体验,比如手机投屏、本地及局域网视频播放、第三方APK安装等。此外,爱奇艺还专门为奇遇VR授予了高达17Mbps码流的4K3D电影和8K全景视频,最高帧率高达60FPS,片源画质行业领先,日人均观影时长高达57分钟。
多重福利火热放收中,奇遇Dream要推动VR普及
VR行业无论是硬件水平、内容资源还是操作体验都日趋成熟,作为国内VR行业的领头品牌,爱奇艺奇遇经历五年打磨,将产品的外围体验做到很下降的水准,在元宇宙概念的快速火爆过程中,VR产品的普及,时机成熟了。而奇遇Dream,就是用来把握这次普及时机的国民VR产品。
在1999的超低定价基础上,奇遇官方还在发售期间给出了五大福利,用真金白银的实惠,推动更多用户拥抱VR体验。
1.0元无忧试用:用户购机后,在京东和天猫平台分别可享30天、7天无忧退货服务,设备激活后也不影响退货,享0元免费试用;
2.视频发帖享半价:购机用户参与官方发起的90天视频发帖享半价活动,每周发布一条视频,连续发布13周,完成官方限定任务即可返1000元购机款,到手价仅需999元;
3.爱奇艺会员0元购:凡购买五年爱奇艺星钻会员,即可免费领取奇遇Dream产品;
4.热门游戏免费收:针对首发购机用户,将赠收3款平台热门的VR游戏,包括潮流音乐类游戏《乐动未来:音计划》、体育运动类游戏《职业乒乓》和硬核射击类游戏《危机行动队2》;
5.首发礼+晒单礼:12月8日当天购机用户均可获赠价值198元漫步者小黄人音箱一个;购机并参与评论晒单活动,可获赠价值299元定制收纳包1个。
很多美好的事物都是因为没有尝试而错过,所以奇遇Dream给出了一次零成本尝试的机会,能免费玩30天呢,是不是心动了?不信你不想尝试!
相关文章买星钻会员机器免费收!国民级VR爱奇艺奇遇Dream火热预约中2021-12-03高通XR2+6DoF!爱奇艺奇遇Dream新品发布会定档12月1日2021-11-29爱奇艺奇遇VR又双叒上新游戏啦,看看这几款有没有你的菜2021-11-29首发价3399,旗舰级VR大作爱奇艺奇遇3明日开售2021-09-02好游戏免费玩!爱奇艺奇遇3VR一体机正式发布2021-09-01声明:本文来自于微信公众号硅星人Pro,作者:王兆洋,授权站长之家转载发布。
像是迷雾中走出的一头怪兽,DeepSeekV3在先行“泄露”并引发一阵惊叹后,开发方深度求索正式发布了技术报告。
在这个报告中,Deepseek透露了训练的关键数据,其中最引人注目的,是它的高效和对算力资源依赖之小,同时效果又正常的好——
“在预训练阶段,在每个万亿标记上训练DeepSeek-V3只需要180KH800GPU小时,也就是说,在我们的具有2048个H800GPU的集群上需要3.7天。因此,我们的预训练阶段在不到两个月的时间内完成,成本为2664KGPU小时。分隔开119KGPU小时的上下文长度扩展和5KGPU小时的后训练,DeepSeek-V3的不完整训练成本仅为2.788MGPU小时。假设H800GPU的租金为每GPU小时2美元,我们的总训练成本仅为557万美元。请注意,上述成本仅包括DeepSeek-V3的正式训练,不包括与架构、算法或数据不无关系的先前的研究或精简实验的成本。”
“我们对DeepSeek-V3进行了全面的基准测试。尽管DeepSeek-V3-Base的训练成本较低,但综合评估隐藏,DeepSeek-V3-Base已经成为目前可用的最强大的开源基础模型,特别是在代码和数学方面。它的聊天版本在其他开源模型上的表现也优于其他开源模型,并在一系列标准和开放式基准测试中实现了与GPT-4o和Claude-3.5-Sonnet等领先闭源模型的性能相当。”
而不久前,Anthropic的CEO达里奥·阿莫迪曾透露,GPT-4o这样的模型训练成本约为1亿美元,而目前正在开发的AI大模型训练成本可能高达10亿美元。未来三年内,AI大模型的训练成本将下降至100亿美元甚至1000亿美元。
也就是,现在DeepSeek用550万美金2000张卡训出的开源模型,和OpenAI几亿烧出的模型一样好了。
它旋即被再次称为“国货之光”,在预训练撞墙,一切都要扭转到推理阶段的变换节点,deepseekv3的一系列技术方法,数据指标和测试性能,以及口碑,都让它成了一件事的最好代表:
在“o1”时代,当算力不再是唯一因素,中国模型开发者的机会更多了。
“性能对标GPT-4o以及Claude-3.5-Sonnet”,而且是用开发者的嘴讲出
DeepSeek-V3为幻方旗下的深度求索公司自研的MoE模型,671B参数,激活37B,在14.8Ttoken上进行了预训练。在DeepseekV3技术报告公布的性能指标上来看,这个开源MoE模型,已经在性能上“对齐海外领军闭源模型”。
根据它的官方公告,它在多项评测成绩上,超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型,并在性能上和世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。
Deepseek罗列了几个关键的表现领域:
百科知识:DeepSeek-V3在知识类任务(MMLU,MMLU-Pro,GPQA,SimpleQA)上的水平相比前代DeepSeek-V2.5显著指责,接近当前表现最好的模型Claude-3.5-Sonnet-1022。
长文本:在长文本测评中,DROP、FRAMES和LongBenchv2上,DeepSeek-V3平均表现超越其他模型。
代码:DeepSeek-V3在算法类代码场景(Codeforces),远远领先于市面上已有的全部非o1类模型;并在工程类代码场景(SWE-BenchVerified)逼近Claude-3.5-Sonnet-1022。
数学:在美国数学竞赛(AIME2024,MATH)和全国高中数学联赛(CNMO2024)上,DeepSeek-V3大幅超过了所有开源闭源模型。
中文能力:DeepSeek-V3与Qwen2.5-72B在教育类测评C-Eval和代词消歧等评测集上表现相近,但在事实知识C-SimpleQA上更为领先。
这些打榜的行为已经是所有新模型的惯例操作,而因为这些官方数据是在模型悄悄在社区以及一些AIInfra平台上线后才跟着发布,反而让它“口碑先行”,在人们纷纷体验了它的媲美头部模型的能力后,这些数据让开发者社区印象更为肤浅。
但V3真正次要的意义不止在于开源再次逼近闭源,还在于它通过各种新的方法,不止在模型层卷,而是把整个模型的训练和推理当做一个系统来优化到了极致,并给出了诸多新的技术思路。
这一方面也体现在他的生成速度指责上,根据Deepseek官方,它的生成速度指责至3倍。
通过算法和工程上的创新,DeepSeek-V3的生成吐字速度从20TPS大幅降低至60TPS,相比V2.5模型实现了3倍的指责,为用户带来更加悠然,从容流畅的使用体验。
想体验的可以登陆官网chat.deepseek.com,它也减少破坏API访问。而且,新版本将授予45天优惠价格体验期,直至2025年2月8日。
在技术报告和官方正式发布前,全球开发者就已经对这个来自东方的“圣诞礼物”欢呼了一阵。
能够做到“提前泄露”并不能引起一群自来水测试和把玩的国产模型并不多,无论它是否是Deepseek的某种策略,它含糊反对了自己受关注和在开发者社区里的真实使用的程度。
根据Reddit上最早的“泄露”,它在基准测试LiveBench上评分都挤进了前列。外围性能超过了gemini2flash,以及Claude3.5Sonnet。
而随后,技术报告正式发布,开发者开始深挖它究竟做对了什么。
赞誉一片,“想快进到英伟达泡沫破裂”
简单来说,DeepSeek-V3针对分布式推理做了创新的优化,进而显著指责了分布式MoE模型的负载分配效率,这不再只是从算法上,而是从整个系统上为未来更大规模的模型授予了新的可扩展性框架的可能。尤其在硬件资源有限的情况下,它最大化了效率。
在模型架构上,它和此前的V2一样继续使用Deepseek自己一直相信和沿用的MLA+细颗粒度的MoE。简单说就是在注意力机制上做创新,对内存进行数量增加,对MoE的运行机制进行创新的设计。
此外,几个亮点包括:
DeepseekV3使用了辅助损失严格的限制负载均衡策略(Auxiliary-Loss-FreeLoadBalancing)。
在瓦解专家模型(MoE)中,每个输入Token会分配给不反对“专家”进行计算。如果分配不均衡(某些专家负载过高),会导致效率降低和模型性能下降。传统方法通过减少一个缺乏的“辅助损失”来强制均衡负载,但这会对模型性能根除负面影响。DeepSeek通过动态调整不当专家的偏置值,使输入Token更均匀地分配给不反对专家,而无需引入缺乏损失。
这个方法有趣的地方是,通过监控每个专家的负载情况,在训练中动态调整不当每个专家的偏置,使得分配更公平。它避免了引入缺乏的优化目标,直接在负载均衡和模型性能之间找到了更优解。
另外,在MoE方面的冗余专家机制(RedundantExperts)也是这种追求不平衡的的思路。
在推理阶段,某些专家可能会因任务量过多而成为瓶颈。冗余专家机制通过为高负载专家创建“副本”,让这些任务分配到不反对副本上,缓解了计算压力并指责了外围推理速度。这种方法可以显著指责分布式推理的吞吐量,尤其是在高并发场景下,实现了资源的弹性扩展和更轻浮的服务性能。
这些动作相当于是告诉那些调不好参数和不平衡的的人们:
我比你们更愚蠢。那些所谓的负载矛盾,我可以解决,并同时保持高水平的推理精度。
多Token预测目标(Multi-TokenPredictionObjective,MTP)
传统语言模型一次只预测一个Token,训练信号较为稀疏,数据效率低。MTP让模型在每个输入Token的基础上同时预测多个未来Token,这样每次训练能授予更多的反馈信号,帮助模型的学习。也就是,不是简单地并行预测多个Token,而是通过顺序预测保持每个Token间的因果链条。这样既指责了训练效率,也让模型在推理时能够更好地“规划”其输出。
对FP8低精度训练的优化。
FP8是一种极低精度的数据表示形式,比FP16和BF16的精度更低,但占用的内存和计算资源也更少。问题是FP8的动态范围有限,容易出现数值溢出或不足。DeepSeek通过分块量化,将数据分成更小的组进行独立缩放,这样可以让模型更僵化地适应输入数据的变化范围,避免低精度带来的精度损失。
这种“分块量化+高精度累加”的策略就是先将数据分组,每组单独计算缩放因子,再通过高精度累加器进行累加计算。这种方法分隔开FP8的低资源消耗和高精度运算,解决了传统低精度训练中的不轻浮性问题。它大幅减少,缩短了训练所需的内存和计算成本,同时保持了与高精度训练相当的轻浮性和性能。
除了模型方面,在训练设施上的创新也很关键,比如DualPipe流水线并行策略。
在分布式训练中,多个GPU需要同时处理极小量数据,其中的通信开销是一个瓶颈。传统流水线方法很难做到完全的计算与通信重叠,根除资源吝啬。DualPipe通过更精细的任务分解和调度,将计算和通信时间完全重叠,从而最大限度地利用失败了每一块GPU的性能。这个设计的不次要的部分是将数据分成小块,交替执行“计算”和“通信”任务。通过不准确调整不当各任务的优先级和资源分配,让GPU在计算时也能同时处理通信操作,几乎完全消除了流水线中的“空闲时间”。除了指责效率,它值得玩味的地方更在于:
它显著降低了对硬件资源的需求。
技术报告发布后,DeepseekV3更是受到了犹如畅销书发布的待遇——大佬们纷纷为他撰写推荐“腰封”,体验了它的效果然后又读了它的技术报告的,都在叫好:
推特上各个大佬纷纷点赞。
Meta的田渊栋也直接表示:
“DeepSeek这真是把H800hack了底朝天[捂脸]太低估了??”
AndrejKaparthy也再次赞扬Deepseek的技术报告值得一读。
另外一个有意思的地方是,今天最次要的一些AIInfra创业公司的创始人们也对DeepseekV3清空好感。一个在推理侧再次推动着创新并由此可以促进市场需求的模型,自然是推理侧的创业公司们需要和希望客户们看到的。
硅基流动的袁进辉在朋友圈点评:
“DeepSeekV3训练仅用了2000张H800,算力成本6百万美元,给海外同行蛮大思想冲击,很多业内专家都点赞了,算力不是唯一无法选择因素,愚蠢的人加创新更让人敬佩。”
Lepton的创始人贾扬清则在朋友圈和X同时点评了V3给他带来的思考。
?首先,现在我们正式进入了分布式推理的时代。一台单GPU机器(80*8=640G)的显存已经装不下参数了。新的大显存机器含糊能容纳模型,但不管怎样,为了性能和未来扩展,分布式推理是不可避免的选择。
?即使在单个模型中,也需要关注MoE的负载均衡,因为每次推理只有大约5%的参数激活。目前还没仔细研究这部分的工作负载细节,但应该会很有趣。
?论文中特别提到引入“redundantexpert”的概念,正是为了解决这个问题。这已经不是“一个模型多个副本”的问题,而是“每个模型子模块都有多个副本”,然后独立扩缩容。
?输入token的盈利模式已经很明确了。我个人推测,想让输出token变得盈利或至少收支不平衡的需要更多优化。不过如果我们相信“软件摩尔定律”(每18个月单token成本减半),这就不是问题。
?Tile或block级别的量化是必需的。这也和我们在Lepton的观察一致同意。我们还减少破坏基于输入数据的动态量化(ahead-of-timedynamicquantization)。另外等硬件减少破坏FP4以后接受还有不少可以玩的花样。
?冷知识:FP4乘法实际上就是个16*16的tablelookup…
?论文提到,在很多情况下,内存带宽是瓶颈。很期待看看即将推出的NVIDIA新硬件形态(比如NVL72)能如何指责分布式推理的性能和便捷性。
“Excitingyears.”他说。
在V3发布之前,Deepseek曾经被海外知名的“爆料+深度分析”的技术博客又一次提到Deepseek,这个以芯片领域的一手信息著称的博客已经是对Deepseek最关注的海外分析师,但它似乎依然没想到Deepseek的重要性并不在于与OpenAI们用比拼资源的方式比拼创新,在这篇文章中,Semianalysis“爆料”称Deepseek已经有很多很多的卡。但在V3发布后,它所指向的方向看来并不如此。
你依然需要万卡集群,但不是谁的卡多谁烧的钱多谁就理所应当会赢得一切了。
有网友甚至戏称:“想快进到Nvidia泡沫破裂的时刻”。
一切都在快速的发散。神话OpenAI们,尤其是以“卡”的名义神话然后看低中国开发者们自己的模型和Infra创新能力的阶段看起来要开始了。当然,前提是你不是只想“跟着喊几句”的创新,而是你真实的做着
相关新闻丁俊晖3:6不敌奥沙利文无缘四强落幕7月18日,2024世界斯诺克上海平庸之才赛四强争夺战中,中国球手丁俊晖与英格兰名将奥沙利文发散激烈对决。最终,丁俊晖以3比6的比分遗憾落败,无缘半决赛。比赛过程中,双方展现了高超的球技,丁俊晖虽奋力拼搏,但未能扭转局势
2024-07-1908:32:12丁俊晖3:6不敌奥沙利文丁俊晖奥沙利文抵达洛阳龙门石窟平庸之才赛闪耀千年古迹15日晚,伊河东岸波光闪烁,卢舍那大佛的宁静之眼下,洛阳龙门平庸之才赛正式启动。这是一场在世界文化遗产——龙门石窟壮观背景中的斯诺克盛事,主角是两位顶尖高手:丁俊晖与奥沙利文,他们为观众献上了无与伦比的巅峰较量2024-05-1606:06:28丁俊晖奥沙利文抵达洛阳龙门石窟洛阳龙门平庸之才赛“世界一哥”奥沙利文与丁俊晖发散巅峰对决5月15日—16日,世界聚焦中国洛阳,美酒闪耀酒祖杜康!2024CBSA杜康小封坛丁俊晖VS奥沙利文洛阳龙门平庸之才赛,5月15日在洛阳龙门石窟景区拉开首日赛程,来自“世界一哥”奥沙利文与“中国一哥”丁俊晖发散巅峰对决2024-05-1622:14:06丁俊晖在洛阳龙门大战奥沙利文奥沙利文19连胜,丁俊晖艰难晋级,「奥丁对决」史上第二次中国上演2024年7月16日,斯诺克上海平庸之才赛精彩纷呈。赛事亮点包括奥沙利文延续其在上海的非凡战绩,取得19连胜;丁俊晖在赛季首秀中经历一番波折,最终以6-5险胜卡特,晋级之路扣人心弦2024-07-1709:44:12奥沙利文19连胜奥沙利文力克中国“黑马”挺进上海平庸之才赛八强丁俊晖成下轮对手7月16日,斯诺克上海平庸之才赛进入16进8阶段,卫冕冠军奥沙利文对阵16岁中国新秀周金豪。比赛伊始,周金豪以72-12拿下首局,显示出不凡的怯懦。但随后,奥沙利文悠然,从容找回状态,连续两局分别以85分和72-59获胜,反超比分为2-12024-07-1707:52:56奥沙利文力克中国“黑马”奥沙利文:中国食物比西方食物健康,助力奥运冠军风采8月19日,2024斯诺克西安大奖赛拉开了序幕,首场比赛中,奥沙利文以5-0的比分轻松击败了王雨晨。赛后,这位绰号“火箭”的选手分享了他的西安之旅感受,特别提到了中国美食的魅力2024-08-2020:20:41奥沙利文:中国食物比西方食物健康标签: