要道字: [亚马逊云科技， 大小模子， 应用场景， 相反分析体育游戏app平台， 模子尺寸， 算力增长]

这段演讲主要先容了大模子和小模子的区别及应用场景。演讲者解释了大模子能够通过教唆词适配不同任务，而小模子则需要针对特定任务进行微调。他还共享了一些践诺案例，比如使用小模子推断C++代码实践期间，以及将大模子与小模子结伴使用的方法。终末，演讲者对大模子和小模子的改日发展漠视了我方的看法，以为算力将是决定模子发展的要道成分。

以下是小编为您整理的本次演讲的精华。

在咫尺期间，东谈主工智能(AI)仍是成为一个炙手可热的话题。行动AI的一个挫折分支，机器学习正在引颈着技能的发展潮水。而在机器学习界限，深度学习则是一种具有里程碑风趣的技能，它操纵深度神经麇集行动底层模子，通过线性组合和非线性映射构建复杂的映射关系。

深度学习不错分为有监督学习、无监督学习和强化学习三大类，但这种分类时势并不太科学，因为有监督和无监督自己即是一个二分类问题。这种分类更多是为了将业务问题归类到不同界限，再界说不同的模子尝试治理。比如，深度学习常用于视觉、声息、文本、图像等复杂输入场景，以及对用户行动序列建模，如推选系统。

伸开剩余93%

在深度学习的匡助下，模子能够自行从复杂输入中索取特征，在压缩的低维空间中完成卑劣任务，从而替代了东谈主工索取特征的传统时势。而大模子则是深度学习的一种稀奇体式，其参数目频繁极端广泛，以GPT-3为例，其参数目高达1750亿。

东谈主们发现，跟着模子尺寸和输入数据量的增大，模子会取得更好的“智能”，这被称为scaling law(缩放定律)。但并非悉数模子齐能取得这种加持，需要稀奇的缱绻。总的来说，东谈主工智能是最大的分支，机器学习是其下的一个分支，深度学习是机器学习的一个子类，而大模子则是深度学习的一种稀奇体式。

在当然说话处理(NLP)界限，说话模子(Language Model，LM)是一种稀奇的场景，其目的是推断下一个token，频繁是词。生成式AI(Generative AI)不同于经典的判别模子，它能够基于已知的分散生成新的数据分散。大模子通过推断下一个token的时势生成文本，可视为一种生成式AI。

除了说话界限，大模子还可应用于视觉、图像等多模态场景。举例，咱们不错将像素视为token，在二维画布上“书写”图像，完了图像生成。这种将图像视为翰墨的念念路，为大模子在视觉界限的应用通达了新的大门。

深度学习在上世纪80年代时曾一度被淡忘，只好少数东谈主相持下去，它才能走到今天的应许发展。其中，辛顿解释在促进深度学习发展方面作念出了超卓孝顺，并于前不久取得了诺贝尔物理学奖。

为了匡助行家更好地贯通深度学习、机器学习、经典机器学习和通用AI之间的区别，咱们不错借助一个生动的例子。假定缇娜想参加一个厨艺比赛，但她我方不会作念饭，于是找了一个AI来匡助她。若是现在让一个AI去作念饭，其难度要高于让模子画画、写著述或生成图像。

经典机器学习即是让机器在数据中探索模式，将探索出的模式称为模子，一个模子即是一个映射函数。而深度学习则是采用深度神经麇集行动底层模子的函数，通过线性组合加非线性映射来构造复杂的映射关系。

通往强东谈主工智能的谈路不啻一条，只是沿着机器学习这条路走得更远。机器学习的宗旨是让机器从数据中学习，而深度学习则是机器学习的一种完了时势，操纵深度神经麇集行动模子函数。

固然这个例子可能不太贴切，但它向咱们展示了不同AI技能之间的区别和策动。咱们不错径直看论断:AI践诺上是一个更大的界限，包含了机器学习这一分支。除了机器学习除外，还有其他分支，比如类脑计较，通过硬件成立模拟东谈主脑神经元的运行时势。但这个标的咫尺仍活跃在学术界，工业界也有一假寓品，但已被机器学习或深度学习大模子所覆盖。

在践诺应用中，咱们会遭受各式千般的场景和需求。比如，有一家公司的业务是对海上大型风力发电机进行检测，判断是否需要维修。他们会顶住工程师到现场，使用无东谈主机拍摄风力发电机的图像，然后将这些图像输入到一个机器学习模子中，让模子判断风力发电机是否需要维修或者叶片是否需要爱戴。

这是一个典型的有监督学习的分类问题，给定一张图片，模子需要离别出风力发电机是否需要维修。但工程师发现，仅依靠他们拍摄的百十张图片来考试一个全新的计较机视觉模子是行欠亨的，因为数据量太少，难以达到所需的准确度。

在这种情况下，他们不错从一个已知的模子动身，采用一个用于分类的预考试模子，然后使用他们拍摄的图像数据对模子进行微调(fine-tuning)，频繁能取得相比好的成果。也即是说，从一个已知的模子动身，为它赋予新的数据，这践诺上即是微调的过程。

但在莫得大模子和基础模子的期间，你不可简略采用模子进行微调，因为模子之间的界限相反很大。比如，若是你要对大风机是否需要维修进行分类，那使用一个识别东谈主或狗的图像模子就不太合适，你只可采用与现时业务界限策动的模子，比如用于成立检测的模子。

现在有了大模子，情况就不相似了。咱们不错遐想，大模子能够处理NLP界限实在悉数的任务，比如文天职类、厚谊识别、内容生成、翻译等等。也即是说，咱们拿一个大模子，只消通过符合的教唆词对它进行适配，它就能够治理咱们在大模子考试时所能够囊括的任何任务，这仍是成为咱们使用大模子斥地的一种常见技能。

在NLP界限，当然说话处理(Natural Language Processing)的出生历史不错回首到说话模子。NLP底层包括当然说话贯通(NLU)和当然说话生成(NLG)两个标的。NLU指的是贯通当然说话，而NLG则指的是生成当然说话，不错是翻译、内容总结，或者随心序列到序列的退换。

咱们不错举一个例子，现在有一些居品不错将当然说话转机为SQL查询说话，这么业务东谈主员在不写SQL的前提下，就不错通过对话的时势查询数据库中的常识。比如，雇主不错说:“你给我查一下咱们公司客岁每个月的GMV同比环比几许?哪个渠谈增长最高?”之前，他只可找个东谈主写SQL，作念个陈述。但现在有了AI，他只需这么说，AI就不错将当然说话转机为SQL，实践查询并复返收尾。

不外，这种技能有一个巨大的问题，即是它的长尾效应很重。也即是说，你可能有100个问题齐转机正确，但总有那些说话无法正确转机的情况，导致用户体验欠安。因为大模子和小模子，乃至机器学习自己，齐是概率模子。

若是你想取得一定进程的细目性，有一个决议是不将当然说话转机为SQL，因为SQL说话是图灵完备的，相对复杂。你不错界说一种更浮浅的说话，比如方针、维度、过滤要求等，让大模子将用户的查询转机为对这些方针的组合。固然天真性会缩短，但难度会大大简化，样本也更容易准备，不错进行微合并优化。

接下来让咱们望望如何让模子“吃掉”翰墨。模子只可接纳数字化的输入，岂论给它什么，齐必须经过数字化处理。图像很容易，骨子上即是二维或三维矩阵。但翰墨是什么呢?咱们必须将翰墨转机为某种暗示，即embedding。

Embedding的骨子是将无法径直被计较机处理的输入转机为向量，以便模子不错计较。至于如何转机为向量，以及转机为什么样的向量更好，这即是各式embedding模子之间的区别了。

咱们不错贯通为，模子将语料库空间中的每个翰墨压缩成向量空间中的一个向量，在这个向量空间中，它就能取得语义，因为压缩技能赋予了它这种才智。压缩技能的成见行家可能有所了解。

接下来咱们望望如何生成说话。岂论是大模子如故小模子，说话生资骨子上齐是一个分类的过程。假定模子的词表只好1万个词，也即是它只可输出1万个词。那么，它如何生成一段翰墨呢?

它会把柄要求(在大模子期间，这个要求频繁是一段教唆词)分析悉数的输入，经过神经麇集计较后，会输出一个1万维的概率分散向量。每一个元素代表了对应词出现的概率，悉数词的概率加起来应该等于1。

举例，若是前边的输入是“很久很久昔时”，那么下一个词“龙”出现的概率就会很高。模子贯通过某种采样算法，在这个概率分散中抽取一个词。需要平稳的是，大多数模子在输出词时会保留一定的当场性，这亦然大模子的一个优点，能够产生一定的创意和天真性。

但是，咱们对大模子的期待不单是是与东谈主聊天或生成图像，咱们还但愿它能作念一些愈加具体的使命，就像一台精密的机器相似，给定什么输入就输出什么收尾。在这种情况下，咱们也不错通过某种技能来尽可能保险输入输出的一致性。

每天，咱们齐在使用NLP技能，尤其是在搜索和推选界限。搜索的骨子是一个转头问题，即计较用户的查询和文档之间的相似度或点击概率。推选系统亦然如斯，需要结伴用户历史、其他用户数据等，决定哪些文档最策动。

固然分类和转头只是对复杂问题的一个简化，但咱们许多践诺问题齐是对多个任务的组合。比如大模子生成序列，骨子上是一个自转头的过程，每输出一个词齐要筹商之前的输入和已输出的词，造成一个要求概率空间，然后推断下一个token。这种自转头的平允是不会跑偏，缺点即是慢。

关于一些复杂的使命任务，需要输出大齐词元，以上的生成时势就会导致恭候期间过长。于是，现在也有一些技能更动了这种作念法，按照“文生图”的时势并行生成悉数词元，而不是“文生文”。这在学术界极端多见，但在工业界还未几。

回到NLP，咱们在践诺工程中会有一些技能采用决议。行家要记着一个名词，叫作念BERT，它是Transformer的一种体式。BERT出现后，许多东谈主说NLP已死，因为行动一个NLP工程师，若是从新考试一个模子，它的成果粗略率不如BERT，除非你的水平极端高。

而大模子的出现，又让东谈主质疑是否还需要使用BERT。其实，关于具体任务，结伴大模子和小模子的上风会更合适。咱们不错举一个具体例子:有一个客户想推断一段代码在大数据平台上的实践期间。

这个需求看似浮浅，但践诺上极端复杂。代码的实践期间不仅与代码自己的复杂度联系，还与集群情景、配置、表结构等多方面成分策动。一开动，咱们尝试让大模子径直推断实践期间，但收尾极其不靠谱，用户响应很差。

其后，咱们改为使用BERT这么的小模子。咱们通过东谈主工的时势对输入的代码进行特征索取，举例代码长度、嵌套深度、详尽语法树宽度深度、SQL语句数目等，粗略有十几二十个特征。然后将这些特征与代码的践诺实践期间数据沿途考试一个小模子。

这个小模子考试起来只需要一台GPU或CPU机器，可能只需半个小时就能完成，况兼收尾极其精确。是以，咱们最终让大模子调用这个小模子，将小模子当成一个用具，行动大模子的一个模块被调用。剩下的使命就很浮浅了，大模子调用小模子取得实践期间推断，然后基于这个期间进行编码，生成对应的解释和讲明。

通过这个例子，咱们想讲明，不要悉数的问题齐一股脑地让大模子去治理，大模子在某些场景下也会存在谬误。

咱们链接久了探讨大模子和小模子在不同场景下的应用。对话是大模子的一个常见应用场景。咱们不错看到，只消能够贯通教唆词，它就属于大模子的界限，需要稀奇的应用斥地考量。

把柄对话的目的和需求，咱们不错将大模子居品分为三大类:问答类、对话类加Agent类，以及多模态类。

问答类不需要管制凹凸文，是一问一答的模式，最多只好一个历史纪录。而对话类则需要模子能够记着之前的对话内容，了解用户的性格和对话纪录，需要作念检索。偶而咱们还但愿对话系统不仅能聊天，还能完成一些具体的任务，比如订票，这就需要赋予它用具，使其成为一个Agent。若是一个Agent无法完成某项复杂任务，咱们还不错让多个Agent互助，尤其是在一些科研场景中，多个Agent能够探索东谈主类的盲区。

当然说话生成(NLG)任务中，铁心要求越少，对模子泛化才智的要求就越高。咱们不错将NLG任务按照铁心要求由多到少进行排序，从翻译、总结到无要求生成，对模子要求苟且提高。

翻译任务的按次是要尽可能作念到信达雅，对底层架构要求相对较低，轨范的Transformer就能很好地完成。而生成任务则需要模子有实足强的布景常识和生成才智，频繁收受Decoder-only Transformer架构，能够更好地享受Scaling Law带来的性能晋升。

跟着数据量和参数目的增长，Decoder-only Transformer的性能会收敛提高，直到达到现时的极限。为了进一步晋升性能，咱们将眼神转机到了推理端，出现了Debusic等推理模子。这些模子在接纳问题后，会先消耗一定期间进行推理，再输出收尾。在数学、逻辑推理等任务上，通过更大的算力，它们能够取得更好的收尾。

接下来，咱们计划一下大模子和小模子在NLP界限的应用相反。大模子不错通过教唆词适配多种NLP任务，如文天职类、内容生成、翻译等。除了教唆词，咱们还不错收受Prompt、微调、蒸馏等技能，使大模子更好地治理某一类任务。

而小模子则需要针对特定任务进行适配，比如分类、厚谊分析等。BERT模子的出现使到手工考试模子的成果时时不如径直使用BERT。而大模子的出现，又让东谈主们质疑是否还需要使用BERT。

事实上，关于具体任务，结伴大模子和小模子的上风会更合适。咱们之前讲过的阿谁推断代码实践期间的例子，就体现了这少许。通过让大模子调用针对特定任务考试的小模子，咱们能够取得极端精确的收尾。

在使用大模子进行推理时，咱们频繁将处理教唆词和输出第一个token分为两个阶段。预填充阶段不错缓存静态内容的教唆词，以提高效劳。而模子尺寸越大，其后劲就越大，但对最终用户体验的影响并不十足取决于模子尺寸。

顶尖模子之间的相反并不通晓，信得过的相反在于模子适配和居品方面。因此，改日大多数从业者的使命可能是基于大模子构建小模子，或斥地应用和AGI(东谈主工通用智能)。

在内容生成任务中，铁心要求越少，对模子泛化才智的要求就越高。生成任务频繁收受Decoder-only Transformer架构，能够更好地享受Scaling Law带来的性能晋升。而在推理端，则收受了Debusic等推理模子，通过更大的算力取得更好的收尾，尤其是在数学和逻辑推理方面。

终末，咱们来看一个践诺案例。有一家公司的业务是对门铃视频进行分析，了解视频中发生的事情，比如老东谈主跌倒、撞车、快递小哥取快递等。

若是让大说话模子径直分析视频流，成果是不太梦想的。更好的时势是先通过计较机视觉技能将视频抽帧，识别出每一帧中的东谈主、车、狗、谈路等物体，然后将这些识别收尾行动教唆词输入给大说话模子，让它输出对应的事件描述。

这个例子讲明，在自动驾驶、高速公路车辆流量检测等视觉场景中，最佳的作念法是先使用成心的宗旨检测模子识别出物体及数目，然后将收尾输入给大说话模子进行进一步处理，而不是径直让大说话模子处理视频流。这种单干合作的时势，不错发挥各个模子的所长，取得更好的成果。

总的来说，大模子和小模子各有本性，咱们需要合理操纵它们的上风，并结伴应用场景的具体需求，才能最大适度地发挥它们的后劲。改日，决定模子发展的永久成分是算力，而短期成分则是数据。跟着算力和硬件的增长，模子的参数目可能会无铁心增大，直到达到现时硬件能够承受的极限。

在这个过程中，可能会出现新的模子架构，打破现时Transformer的局限性。而从业者的使命，则可能会转换为基于大模子构建特定场景的小模子，或斥地应用和AGI。岂论是哪种标的，与模子策动的东谈主工智能技能齐将为咱们的生存带来天崩地裂的变化。

底下是一些演讲现场的精彩一刹：

The speaker acknowledges the large crowd of tens of thousands of people and jokes that the event will last until 4 PM， with him speaking the entire time， despite the host initially saying it would end at 2 PM.

A company uses machine learning to detect if wind turbines need maintenance by fine-tuning a pre-trained model on images taken by drones， allowing them to achieve better accuracy than training from scratch with limited data.

The speaker explains how natural language can be converted into SQL queries or simpler indicator combinations， allowing business users to query databases through conversation without writing SQL code， while acknowledging the challenges of language models in achieving 100% accuracy.

通过将复杂任务明白为多个方法，操纵使命历程和多个模子互助完成，不错处理大规模输入并确保输出的褂讪性和一致性。

大说话模子不错识别图像中的车辆数目和类型，但使用成心的微型宗旨检测模子愈加高效和精确。

大模子和小模子在东谈主工智能界限上演着不同的扮装。大模子凭借其苍劲的泛化才智，能够通过浮浅的教唆词适配于世俗的任务，如当然说话处理、生成式AI等。但是，关于一些特定的任务，小模子由于专注于某一界限，时时能够提供更精确的收尾。

在践诺应用中，咱们不错将大模子和小模子结伴使用。大模子不错承担通用的语义贯通和生成任务，而小模子则专注于特定界限的细分任务。通过使命流的时势，将复杂任务明白为多个方法，由不同的模子互助完成，从而发挥各自的上风。

改日，算力和数据量的增长将链接推进模子规模的扩大。但同期，新的模子架构和表征时势也可能出现，以提高效劳。咱们需要把柄具体场景，衡量模子规模、精度和资本等成分，采用合适的模子和斥地时势。总的来说，大模子和小模子在东谈主工智能发展中上演着互补的扮装，需要天真组合使用。

咱们正处在Agentic AI爆发前夕。2025亚马逊云科技中国峰会漠视，企业要从“资本优化”转向“立异驱动”，通过完善的数据战术和AI云工作体育游戏app平台，把抓全球化机遇。亚马逊将干预1000亿好意思元在AI算力、云基础设施等界限，通过朝上的技能实力和匡助“中国企业出海“和”工作中国客户立异“的丰富素质，助力企业在AI期间打破。

发布于：新加坡