原文作者：Tanya Malhotra
泉源：Marktechpost
近年来，大型语言模子（Large Language Models，LLMs）在全天下受到了普遍赞赏，并在自然语言处置领域备受迎接。这使我们能够使用比以往任何时刻都更好、更清晰的语言明白来形貌智能系统（Intelligent Systems）。
诸如 GPT-3、T5、PaLM 等 LLMs 的性能有了显着提高，而且这些模子将继续存在，由于它们可以完成从通过学习阅读来模拟人类，到天生文本和总结长段落内容的所有事情。而凭证一些深入的研究，若是 LLM 的规模很大，那么它的显示就会很好。通过在大量数据上训练这些模子，它们可以明白人类语言的语法、语义和语用学。
由 OpenAI 开发的盛行的大型语言模子 ChatGPT 之以是生长得云云之快，正是由于接纳了人类反馈强化学习（RLHF）等先进手艺。通过 RLHF，机械学习算法连系并使用人工输入提高了模子的性能。它针对预训练的 LLM 举行了微调，用于开发谈天机械人、虚拟助手等义务。
此外，ChatGPT 等 LLMs 所基于的预训练基础模子也获得了显著的改善。这主要是由于三个方面的转变：
,,,,telegram中文搜索引擎（www.tel8.vip）是一个Telegram群组分享平台，telegram中文搜索引擎包括telegram中文搜索引擎、telegram群组索引、Telegram群组导航、新加坡telegram群组、telegram中文群组、telegram群组（其他）、Telegram 美国 群组、telegram群组爬虫、电报群 科学上网、小飞机 怎么 加 群、tg群等内容。telegram中文搜索引擎为广大电报用户提供各种电报群组/电报频道/电报机器人导航服务。www.326681.com采用以太坊区块链高度哈希值作为统计数据，联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口，支持多语言接入。
1.实践证实，模子的扩展性（Scaling）对提高其性能很有辅助。以 Pathways 语言模子（Pathways Language Model，PaLM）为例，该模子通过扩展小样本学习（few-shot learning）大大影响了其性能，小样本学习可以削减凭证详细应用调整模子所需的特界说务训练实例的数目。
通过使用 Pathways 语言模子在 6144 TPU v4 芯片上扩展和训练 5400 亿个参数，PaLM 展示了重复扩展的利益，其显示跨越了种种传统模子，并显示出很大的提高。因此，深度和宽度的扩展都是提高基础模子性能的一个主要因素。
2.另一个转变是在预训练时增添符号数目的历程。像 Chinchilla 这样的模子（开源语言模子）已经证实，通过增添预训练数据，大型语言模子的显示会更好。
Chinchilla 是一个盘算最优模子。在相同的盘算预算下，在 70B 参数和比 Gopher 模子多四倍的数据上举行训练，Chinchilla 的显示一致优于 Gopher，它甚至比 GPT-3、Jurassic-1 和 Megatron-Turing NLG 等 LLMs 效果更好。这清晰地形貌了对于每一个盘算最优的训练，符号的数目应该响应地缩放——即模子巨细的两倍，因此训练符号的数目应该是两倍。
3.第三个转变是使用清洁和多样化的预训练数据。Galactica 的性能证实晰这一点，它是一种存储、夹杂和推理科学知识的大型语言模子。经由几篇科学论文文本的训练，Galactica 的显示优于 GPT-3、Chinchilla 等模子。另一个大型语言模子 BioMedLM 是一种针对生物医学文本的特定领域 LLM，在针对特定领域数据举行训练时，它显示出了伟大的性能提升。它清晰地解释，在特定领域的数据上举行的预训练胜过在通用数据上的训练。
结论
LLMs 的乐成无疑归功于多种因素的夹杂，包罗 RLHF 的使用和预训练基础模子的生长。这三个转变极大地影响了 LLMs 的性能。此外，GLaM（通用语言模子）通过使用希罕激活的夹杂专家架构（Mixture-of-Experts architecture），以更少的训练成本扩展模子的容量，从而显着提高了性能。因此，这些转变为更高级的语言模子开拓了蹊径，而这些模子将继续让我们的生涯变得轻松。
查看更多
