大摩-DeepSeek对于科技和更广义经济的含义
3.0
2025-02-19
4
4
2.63MB
70 页
10龙币
侵权投诉
创意
2025
年
1
月
28
日
04
:
54 GMT
技术|北美
DeepSeek对于科技和
更广义经济的含义是什
么?
要
我们看到DeepSeek的成本创新正在导致更快的GenAI
产品创新、可用性和应用渗透……随着我们进入推理能力
增强的时代,我们的团队讨论了跨半导体、互联网、软件、
能源、硬件和非技术领域的应用用户
点
DeepSeek模型表明,训练GenAI模型的成本将大幅下降。
……我们看到,美国科技巨头仍计划在2025/2026年投入~6500亿美元用于总
资本支出,这将推动更快的GenAI产品创新和可用性
但计算机的历史表明,较低的成本加速了使用和需
不断下降的计算成本和不断上升的使用渗透率应该会推动互联网和软件行
业(由GOOGL/META/AMZN/MSFT领导)的GenAI ROIC提高
引发了对与出口管制和LLM商品化相关的半成品的担忧,
求
我们还将讨论以下4个议题,包括1)美国LLM领导人的回应
2)地缘政治影响3) 对A S I C 芯片未来发展的乐观预期4)蒸馏能力
创新找到了一种方法,使得训练和开发LLM的能力成本得以下降:上周,中国初创
公司DeepSeek发布了两款模型(DeepSeek-R1-zero 和DeepSeek-R1),探索了
LLM在没有任何监督数据的情况下发展推理能力的潜力,重点是自我-
通过纯粹的强化学习过程实现进化。值得注意的是,DeepSeek-R1-
zero已经达到了与OpenAI-o1(仅使用训练后强化学习)和成本大大降低
定价中反映的推断(见附表4用于定价)。
据称DeepSeek-v3(DeepSeek-R1-zero和DeepSeekR-1的基础模型来源)基于
280万H800 GPU小时的计算资源进行了估计560万美元的训练(远低于训练
Meta Llama 3 405B所需的~30.8百万H100 GPU小时)。虽然实际的训练成本仍有
待商榷,但这一水平训练和GPU时间成本降低(由多头潜在注意力机制、多头模型
、FP8混合精度训练、GRPO等驱动)将成为推动更快LLM启用和生成式AI产品创
新、消费者和企业采用以及生成式AI启用的ROIC和经济生产力提升的重要因素。
更多详情请参阅我们的关于GenAI早期采用和扩散赢家的分析,请参见我们在《人
工智能变化率的揭示》中的最新工作。
摩根斯坦利 研
究
摩根士丹利公司
Brian Nowak,CFA
Keith Weiss,CFA
约瑟夫·摩尔
斯蒂芬·C·伯德
Meta A马歇尔
埃里克·伍德林
安德鲁·S·佩尔科
安赫尔·卡斯蒂略
David Arcaro,CFA
马特·邦巴塞
布伦达·杜弗斯
西奥多·J·图恩
因特 网
北美洲
行业视图吸引物
摩根士丹利公司与之合作
摩根士丹利研究覆盖的公司。因此,投资者应该意识到
,该公司可能存在利益冲突,可能会影响摩根士丹利的
客观性
研究。投资者应该考虑摩根斯坦利
研究只是他们在做出投资决定时的一个单一因素。
有关分析师资格认证和其他重要披露,请参阅本报告末
尾的披露部分。
创意
2
摩根斯坦利
研究
展品1:我们看到下降的培训/推理成本推动了更快的GenAI
随着我们沿着多年周期前进,我们如何采用和扩散技术
资料来源:公司数据,摩根士丹利研究
性能表示自ChatGPT发布以来截至2025年1月27日的中位数回报率,不包括OpenAI,因为其处于私有状态
附件2:
物质性
增加的
股票回报率和敞口均存在
资料来源:Eikon,MS Research。过往业绩并不代表未来业绩。
显示的结果不包括交易成本
表3:各公司在传达其投资和股权故事方
面取得了稳步进展
与AI相关
资料来源:摩根士丹利研究;AI暴露和重要性映射的>3,700只股
票的完整excel数据库
对科技的影响:下降的培训/推理成本可能导致更快的创新、可用性和采用
……以及(更大的)推理
机遇在前:我们现在将把注意力转向Interne t、软件、半导体、人工智能能源、网
络、硬件和体化AI/TSLA等领域的具体见解,以及从这里关注的4个高层次辩论。
半成品:我们不认为迪普斯的成功会改变半导体行业
投资计划;也就是说,有许多因素需要考虑。我们
从大量行业消息来源收集到的反馈是一致的,那就是这不会影响GPU扩建计划。
DeepSeek的技术是
令人印象深刻,但并没有利用大型CSP必然投资不足的技术。事实上,我们所看到
的许多被认为是突破性的技术,包括FP8中的训练、多令牌预测、MLA、自定义
PTX代码和组
相对策略优化(GRPO)强化学习框架,所有数据
回到6个月大的DeepSeek v-2和DeepSeek数学模型或更广泛的人工智能研究文献中
。请参见这里, 在这里f或者举例说明。也就是说,如何实现这些技术非常重
要,DeepSe ek已经通过所有
账户提供了一个高效的设计。然而,考虑到围绕星门的注水时间,Meta在2025年对
GPU的增量需求,微软的重申
创意
摩根斯坦利
研究
他们的800亿美元财政支出上限指导,以及信实在印度的3Gw项目,大部分都是
DeepSeek所做的工作是那些接入模型生态系统的人所知道的。
算法改进的历史表明,我们不应低估低成本、更高级功能和持续扩展所带来的渐进
需求。在描述变压器发明的论文中,作者写道:“我们的基础模型超越了所有先前发
布的模型……而训练成本却低得多”(此处)。 英伟达表示,他们已经
看到了这一点
在过去十年中,算法效率提高了>1000倍,超过了单芯片推理性能的提升。在这
种情况下,10倍的减少是可能的
当每个模型的训练需求每年增长10倍时,DeepSeek建议的训练计算对LTGR的影响
并不大
潜在的成本降低可以加速推理的采用,从而加速推理的需求。
但出口管制仍然是一个风险:显然,技术限制中国只能使用H20
绩效水平并没有阻止中国发展LLM。目前很难回答这对政府政策意味着什么。设
定更低的
性能门槛将为中国国内硅产业注入一剂强心针
拜登提出的限制人工智能的提案——目前被暂停——将限制集群规模,但这将产
生同样的影响。该提案
也会让其他国家获得支持中国人工智能发展的许可证。
开源相对于其他开源软件的性能差距正在缩小
封闭模型:我们在展望中强调(人工智能仍然是主要驱动力,但是
预计2025年会有更小的惊喜)人工智能交易面临三大风险,其中之一是
基础模型开发领域的公司数量可能会减少,因为与不断增长的竞争对手竞争变
得越来越困难
更多的廉价开源选项。DeepSeek的R1重新点燃了这些风险
这给人工智能领域最大的支出者带来了压力,迫使他们合理化越来越大的训练运行
,而不是以较低的价格利用他人的工作。
关于半决赛的更多详细想法,请参见:关于Deepseek和其他的最新想法 关注
点;为什么我们仍然对人工智能半决赛保持乐观
互联网:降低成本障碍以推动产品创新和采用:我们看到DeepSeek的架构和预训
练带来的任何成本效率
这些改进对我们的消费者来说是一个积极的信号,因为他们正在寻找
开发新的模型和LLM支持的产品。实际上,我们看到了ROIC上的
GenAI资本支出上升……但资本支出上升的可选性也可能较低。大型科技公司有
能力打造更多创新产品
驱动消费者效用、可扩展性(通过更高效的架构)和
采用率更高。在这里,我们看到GOOGL、META和AMZN最有可能从这些较低的成
本中获益,因为它们拥有庞大的资本支出、用户基础以及提取DeepSeek改进并将
其应用于自己模型的能力。也就是说,
更高效的架构可以导致更广泛的(成本更低的)GPU支持
我们覆盖范围内的小型企业的产品。有关我们如何在我们的覆盖范围内推广支持
gpu的采用情况,请参见Who Will Be the
摩 根 士 丹 利 研 究
3
摘要:
展开>>
收起<<
创意2025年1月28日04:54GMT技术|北美DeepSeek¶ÔÓÚ科技和更广义经济的含义是什么?要我们看到DeepSeek的成本创新正在导致更快的GenAI产品创新、可用性和应用渗透……随着我们进入推理能力增强的时代,我们的团队讨论了跨半导体、互联网、软件、能源、硬件和非技术领域的应用用户点DeepSeek模型表明,训练GenAI模型的成本将大幅下降。……我们看到,美国科技巨头仍计划在2025/2026年投入~6500亿美元用于总资本支出,这将推动更快的GenAI产品创新和可用性但计算机的历史表明,较低的成本加速了使用和需不断下降的计算成本和不断上升的使用渗透率应该会推动互联网和软件行...
声明:本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击侵权投诉。
分类:实用文档
价格:10龙币
属性:70 页
大小:2.63MB
格式:PDF
时间:2025-02-19


冀公网安备13010802002329