蝴蝶谷 No Priors谈大模子异日市集趋势：小模子，高性能

图片开首：No Priors蝴蝶谷

Z Highlights

大语言模子市集的整合与各异：大语言模子市集存在整合的趋势。一方面，东说念主工智能发展的基础产业是本钱密集型的，市集整合对于大语言模子市集的本钱撑持是必要的。另一方面，为尽可能提高算法的泛化才气，单个大语言模子也需要集成多种翻新功能。市集汇注度的提高使得企业需要进一步筹商大语言模子的各异化。芯片的发展与本钱身分派置：大语言模子等东说念主工智能居品的发展需要硬件层面上的进一步支柱，硬件市集的本钱输入是必要的，然则对其发展趋势的展望可能是贫寒的。因此，在投资关联企业时，应当筹商企业之间的互动结构。

大语言模子市集的发展趋势？——功能整合与各异化竞争并存

Sarah Guo：今天，Elad和我将浮浅聊聊大语言模子的整合、芯片的进展。我认为，看成一家AI公司，怎样评估风险、冲破界限以及关键交游是一个有趣的动态话题。第一个话题，大语言模子的市集是否如故整合？

Elad Gil：这是个很有趣的问题——咱们基本上看到一些圭臬公司正在让团队加入更大的企业，可能是边幅变化的一部分，或者是Character的一部分，或者是其他公司的部分，比如Adapt或AWS。因此，模子方面有一种动态存在，许多公司仍在运作，他们的一些居品还在运行，并以不同的方式被使用。

同期，宽阔的本钱壁垒正在造成，旨在推动基础模子达到最大的规模。如果你不雅察这些公司，它们咫尺从超等运筹帷幄公司（如亚马逊和微软）或主权基金那里筹集了数十亿致使上百亿好意思元。因为这些是独一能够提供数十亿资金的东说念主。风险投资行业规模太小，无法撑持这些公司的下一轮融资。

melody marks 肛交

因此，全球都在寻找合营伙伴。那么，对市集上的其他玩家来说，怎样得到不休增长的本钱呢？他们会与谁合营？苹果最终会有合营伙伴吗？三星会有吗？XYZ公司会找到合营伙伴吗？你可以将所有这个词潜在的合营伙伴与模子公司匹配起来，望望这一切会怎样发展。同期，超等运筹帷幄公司有能源资助这些公司，因为这在某些情况下也会滚动为更多的云运筹帷幄使用。激发机制启动在风投、云运筹帷幄、策略合营伙伴和主权基金之间发生变化。

似乎越来越难以设想，大多数公司如果莫得在模子架构或磨炼就本、推理成本以及后续磨练等方面取得根人性冲破，很难保持竞争力。是以，我认为这是一个相配有趣的通达性问题，但嗅觉咱们正在插足一个越来越多整合的阶段。你奈何看？

Sarah Guo：我合计大部安分容是有有趣的。我认为在往时一年半里，市集竞争化愈加领悟，而不是减少竞争。也许竞争是在你所说的那些领有本钱壁垒况兼有某种规模冲破的玩家之间张开的。但至少从消耗端来看，性能在不休大幅培植，基准测试中的竞争加重，价钱鄙人降。同期，还有确切的开源玩家。因此，市集可能正在整合，但参与者偶然都在盈利。

Elad Gil：我认为你淡薄了一个相配有趣的问题，不应该被忽视，那即是在往时的18到24个月里，API成本着落了大要200倍操纵。我的团队成员David践诺上汇总了所有这个词模子的价钱图表，夸耀了这些价钱随时分的变化。从百万符号的价钱来看，降幅横暴常显贵的。

因此与此关联的是，如果运行这些模子或进行推理的成本着落了200倍，一部分原因是蒸馏时代，另一部分原因是你使用的GPU等硬件，从使用的角度来看，践诺可用的利润和收入都在加多。但至少看成一家API业务公司，仅靠模子进行竞争变得越来越贫寒。这让你不得不转向专科化，或是定制化的模子、特定类型的后期磨练或垂直诈欺等领域。

Sarah Guo：我认为，另一种看待整合的方式是从买卖角度来看本钱达到整合后的规模有什么真义？许多未言明的事情是，AGI（ZP注：通用东说念主工智能）仍然是中枢业务。会有新的模子、步履和才气出现，它们要么找到为咱们赢利的方法，要么它们的价值将变得可想而知。但我认为，在更短期的两到三年内，消耗业务将主要依赖于告白或订阅诈欺，而咫尺还莫得公司确切走上告白道路，或者是企业行状的业务模式。

这两种模式今天都是确切存在的。但我认为这更像是一场居品之争。Anthropic和Open AI分歧礼聘了Mikey K和Kevin Wheel这样的分量级东说念主物。我认为，玩家们正在围绕他们的本钱壁垒和筹商后果构建护城河，不单是是作念聊天界面。

是以，我认为两边都会试图让客户走上一条更为锁定的旅途，尤其是在API方面。咱们如故看到AWS在存储桶方面的复杂化。你将看到指示缓存、JSON输出接口、微调功能的集成，这使得如果东说念主们给与这些功能，市集就不再是一个皆备的商品市集，因为使用变得愈加方便。

Elad Gil：我认为你指的是Anthropic在缓存方面所作念的举措，这在成本、时分和蔓延方面产生了有趣的影响。

Sarah Guo：我看成消耗者，对界面有很大的期待。不是说聊天会灭绝，但你可以设想愈加智能的聊天，带有自动高下文和不同的界面边幅。因此，我认为天然有市集整合的趋势，但咱们仍然会看到玩家之间的竞争。

市集上的挑战是，可能有东说念主会取舍相配不同的推理方法。你可以得到所需的本钱，达到竞争规模，因为你可以叠加之前如故完成的使命。此外，由于硬件高出继续鼓舞，规模变得愈加可行。有东说念主正在探索自我博弈的数学和代码，这很故真义。天然这不皆备是新的架构，但它推动了下一个规模水平。还有一个通达问题是小型模子的学问蒸馏和微调的关联性，以及东说念主们将怎样践诺使用这些模子。

Elad Gil：我认为有必要重申的是，咱们在这里主要评论的是语言模子。异日还有许多其他类型的模子会出现，比如物理学、 生物学、材料科学、图像生成等。在某些情况下，这些模子将是多模态的，但在许厚情况下蝴蝶谷，它们将针对不同的领域有孤立的模子。咫尺，咱们酌量的主淌若中枢的大语言模子市集，以及它的演变。

此外，还有其他可以叠加在语言模子之上的身分，比如推理模子和Agent使命流，它们简直是一个正交的维度。第三个方面则是模子基础方法的各异化。你提到的缓存是一个例子，长高下文窗口、RAG（检索增强生成）亦然一些例子。因此跟着这些时代的发展，咱们将在所有这个词三个维度上看到进化。咱们咫尺酌量的中枢问题是，怎样构建更大、更好的语言模子以及它将怎样演变。

从某种角度来看，确乎嗅觉市集如故有些整合了。但有趣的是，当你追想酬酢采集的历史时，全球曾认为一家公司叫Friendster会得手，接着东说念主们又认为MySpace会赢，然则Facebook自后崛起。比及Facebook出当前，全球又说这只是一个商品市集，莫得耐久的各异化，但最终Facebook赢得了中枢的酬酢市集。即便在那之后，你还有Instagram、Twitter、Snapchat，最终还有ByteDance和TikTok。是以即便在全球宣告酬酢末端之后，仍然有一波波的新兴公司出现。我认为在这里的情况也会雷同，会有一些企业启动霸占市集的一部分。LinkedIn成为了所谓的企业身份酬酢采集或简历酬酢采集，而Facebook成了一个中枢酬酢平台。然后还有Instagram占据了一部分市集，Twitter占据了一部分市集等。Twitter更多是对于新闻和及时信息。相似的情况可能也会在这里发生。

图片开首：No Priors

Sarah Guo：你合计其他领域，比如视频或音频模子的标的，也会走向这种商品化吗？

Elad Gil：我认为现实是，一些领域会有通用模子，而其他诈欺领域则会有专门的模子。这可能是错的，这要看模子的通用性到底有多高，不仅是模子才气的通用性，还有其附近用具的通用性。用具是否需要与模子垂直集成？举例，你有一个相配好的图像生成居品，它可能有艺术诈欺，也可能有图形诡计或UI诡计的诈欺。是归并个模子讲求所有这个词这些任务吗？如故一个大模子讲求其中一个方面，然后有许多微调或专门的模子讲求其他任务？这是一个很大的通达性问题。

对于AGI（通用东说念主工智能）或更通用的智能问题也存在雷同的酌量。比如，如果你不雅察大脑的运作方式，它践诺上是一个很是专门化的模块荟萃，贬责视觉、情谊等不同的功能。情绪学文献中有许多有趣的案例，比如有东说念主因为事故脑部被钢梁穿透，落幕失去了某种情谊功能，但其他功能却完整无损。是以问题是，这些模子会有何等专门化，或者说会有何等通用？雷同，这个问题也适用于图像生成领域。你会为图形诡计使用不同的模子吗？这些问题咫尺莫得明确的谜底。

在往时几个月中，图像生成市集似乎启动升温。之前全球合计MidJourney将成为孤立玩家中的默许赢家，自后又出现了一些多模态的东西，比如Dolly和OpenAI的技俩，或者是Gemini的一些技俩。但咫尺有越来越多的公司崛起，它们的模子精度相配出色。

“更小的模子、更高的性能”：芯片和磨练模式的翻新偏执风险

Sarah Guo：有时让我感到有些愚蠢的是，天然我服气图像、视频和音频模子会飞速培植才气并缓缓商品化，但仍然对其进展速率感到诧异。举例，Sora的发布是一个惊东说念主的筹商冲破，但同期也有一种嗅觉，谁能确切赶上它？咫尺你可以说，有一些公司展示了出色的视频生成才气，它们并不是小公司远远过时于前沿公司，比如Runway、Pika等。而且正如你提到的，从图像生成到视频生成，你有像Ideogram、Hotshots等小公司或中期公司，它们的推崇令东说念主印象深刻。筹商东说念主员构成的五东说念主团队，领有未几的本钱，却能与市集上大型公司的居品相比好意思，比如LumaLabs的竖立。

这一丝对我来说是一个念念维上的更新。让我感到诧异的是，跟着时分推移，模子的体积正在减轻，而性能却不休培植。这可能是通过蒸馏结束的，也可能是其他时代推动的，但总体上咱们看到的是，越来越小的模子能够提供越来越高的性能。我认为，几年前莫得预猜测这一丝。在领先的遐想中，东说念主们知说念某些方面可以被压缩，但没猜测能走这样远。大脑省略是一个很好的例子，评释这种可能性。毕竟大脑是一个耗电唯有20或30瓦的开拓，但它可以很好地进行图像识别和其他任务，而且性能还可以。从这个角度来看，咱们还有很大的高出空间。

Elad Gil：我认为咱们行将能看到大语言模子在被用于贬责音像、图像和视频等方面信息时，给东说念主们相配酷的体验。跟着模子变得更小、更好，它们也会变得愈加及时化。我认为今天的坐褥环境中，及时诈欺的规模还不够大。但一朝它们结束规模化，用户体验会大不相通。正如Mark提到的，当你可以一边语言一边生成图像时，这与“我是一个艺术家，正在生成输出”的体验皆备不同。我认为异日几个月咱们会看到这种变化。

对于咱们酌量的这些内容，其实有两个翻新领域值得暖热，咱们可能应该触及这两个方面。一是芯片层，可能会进一步加快某些领域的发展；二是你对输出、磨练数据等内容的践诺贬责方式，以及你在这方面欢悦走多远、怎样冲破限制。如果你追想Google的早期发展阶段，那时围绕Google的争议相配多。Google所作念的事情是索引所有这个词这个词华集，执取全球漫衍的所有这个词内容，包括新闻、用户发布的内容等等。Google那时的作念法被视为一种采集执取步履，因为他们在获取所有这个词的内容，然后通过这些内容盈利。他们会展示一个叫“摘录”的小部分文本，出咫尺Google搜索落幕中，紧跟其后的是汇注。有些东说念主认为这些摘录不允洽版权法的“合理使用”原则，即是否可以在不付费的情况下使用少许版权内容。于是，围绕新闻内容和这些所谓的“摘录”，Google遇到了多告状讼。

多年后，事情大致有了四个落幕。第一，他们发明了一种叫作robots.txt的文献，这是一种网站缔造，奉告像Google、Bing这样的采集爬虫是否允许索引你的信息。第二，摘录最终被认为允洽版权法下的合理使用。第三，Google与一些内容提供商达成了内容供给公约，尤其是针对相配专科的内容，Google从这些开首获取内容并将其整合进他们的一些居品中。第四，一些新闻机构阻滞到，不在Google的索引中践诺上会让他们失去多数流量，因此他们从头请求被索引。

这一切耗时近十年或十五年，才缓缓显深化落幕。Google通过仔细筹商法律问题，建造了一支留意的团队，专门筹商版权和其他关联领域，最终得胜渡过了这段难关，简直莫得受到太大的毁伤。对于其他公司来说，你怎样看待这种演变？终点是那些靠近质疑的公司，举例图像生成和音频领域的公司？看成初创公司，你应该承担些许风险？

Srah Guo：咱们可以从这些历史案例中得到有价值的鉴戒。举例，像Airbnb和Uber这样的公司，它们挑战了传统的租出限制和出租车行业的监管，这些行状的出现让许多消耗者受益。如果这些公司莫得冲破现存的框架，它们可能根蒂不会存在。通过规模化的发展，它们缓缓造成了市集力量，最终才和监管机构酌量并制定政策。

我认为许多AI公司也将靠近雷同的问题。对于某些公司来说，热切的问题可能是：“Google会不会因为你执取YouTube数据而告状你？”毕竟，要大规模获取视频数据而不波及YouTube，简直是不行能的。我认为，面对这种情况，企业需要从买卖风险的角度来筹商。就像你提到的对于合理使用和Google的案例——为什么Google允许某些业务存在？如果他们对YouTube取舍特定态度，是否在法律上与其中枢业务存在矛盾？

Elad Gil：天然，也有一些公司因为受到买卖风险的冲击而皆备灭绝了，比如Napster。音乐行业告状了Napster，简直让它歇业了。在音乐行业，有许多因为诉讼而堕落的公司。

风险分为几种：第一种是法律诉讼风险，这不老是与限定一致。第二种风险是监管风险，是否在法律尚不解确的领域取舍行为。比如加密货币领域，AI领域也存在一些雷同的问题。第三种则是声誉风险，你允许生成什么样的内容？Grok在这方面相配有趣，因为它明确示意不会过多限制输出，相较于其他公司，这更接近东说念主类步履。而许多公司则专注于拖拉不同类型的内容输出。

在某些情况下，这种作念法看起来像是为了用户的利益，而在某些情况下，它似乎具有很强的政事动机。因此，我认为这是一个正在进行的相配有趣的实验，社会到底对模子的输出有多注重？在允许与不允许之间，模子输出与社会现存的言论措施或创造性抒发的措施比较，它们之间的界限在那里？

许多公司践诺上对模子的拘谨超越了社会的全体措施。有一小部分东说念主对某些事情有热烈的看法，但对大多数社会成员而言，似乎对某些类型的内容有更平庸的容忍度。天然，有些事情你长期不想看到，比如确切令东说念主不安或不法的内容输出。但我认为，不雅察这一切怎样发展会相配故真义。

Sarah Guo：我认为这亦然一个形而上学性的问题，你是在限制生成内容，如故在限制内容的分发？如果你掌管一个平台，戒指某些内容的分发是你的职守，这一丝论证会更有劲。而生成内容更像是解放言论的范畴，但这果然是一个复杂的问题。咱们应该谈谈半导体吗？

远景复杂、暖热架构：本钱将如安在半导体市集流动？

Elad Gil：我想咱们之前酌量的两个主题，一是内容和风险，二是半导体。因为半导体性能撑持了当下AI的所有这个词使命，岂论是磨练如故推理。

你怎样看待最近涌现的半导体初创公司或系统初创公司？我合计六七年前曾有一波波涛，包括Grok、Cerebras等公司。而咫尺又出现了一波新公司，比如Maddox、Etched，以偏执他一些公司，部分公司行将参与咱们的播客。你合计这个市集有哪些有趣的场地？有什么动态值得暖热？

Sarah Guo：正如你所说，五年前的波涛值得钦佩，有些公司有远主见认为，AI的使命负载需要不同的运筹帷幄方式。但是，提前这样多年押注芯片和系统诡计横暴常贫寒的事情。大要七年前，全球还无法预感到Transformer模子会成为如斯热切的使命负载。是以，我认为这个市集以相配不行展望的方式演变。而咫尺有一些公司相配专注于优化Transformer架构，尤其是在矩阵运算方面分派了更多的面积。

接下来一个有趣的问题是，这些公司是否能超越AMD和NVIDIA的经济效益和性能？它们一直横暴常快速的翻新者。尤其是AMD，在最近通过ZT收购后，似乎正在取得进展。但芯片投资的要津是，你欢悦押注哪种架构？因为你需要经验一个多年的周期，请托速率和性能价钱比怎样匹配是要津。我合计这是值得的赌注。公司们对需求形态的看法也很有趣。如今，有许多主权云的需求，这对公司来说是一个有趣的契机。

图片开首：ChatGPT

Elad Gil：你怎样看待AMD收购ZT？你合计他们为什么这样作念？主张是什么？AMD咫尺的举措是什么？

Sarah Guo：我合计市集对AMD能否具有竞争力存在不合。如果你看一下他们需要的组件，他们需要更好的软件，尤其是在CUDA方面的竞争力。如果你筹商AMD在之前收购Silo时，那次收购践诺上是一个价值约6亿好意思元的东说念主才收购，招募了数百名AI工程师和筹商东说念主员，这些东说念主曾在AMD使命过。那么这是软件层面的一个补充。接下来你还有采集部分，AMD是UA Link（开源NV Link的竞争敌手）的一部分。ZT收购填补的表面缺口是，如果你将ZT视为一个一到两亿好意思元的系统诡计团队收购，招募了一千名系统诡计东说念主员来支柱大型AI业务的数据中心和机架，而不单是是个别芯片或组件。NVIDIA咫尺确切销售的是完整的系统，通过多年策略徐徐请托这些系统，基本上是筹商实验室的数据中心。问题在于，AMD能否拼装这些组件，进而结束这种主张？但你可以说，这些都是他们正在整合的必要部分。

Elad Gil：好的，我想时分差未几了。

Sarah Guo：我很期待和Etched、Maddox、Cerebras等公司酌量下一波波涛的到来。应该会相配抖擞东说念主心。

原文：No Priors Ep. 81 | With Sarah Guo & Elad Gil

https://www.youtube.com/watch?v=c83JI8zYZxw

编译：Entong Zhang

-----------END-----------蝴蝶谷