近年来，大型语言模型（LLM）如GPT-3在自然语言处理领域备受关注。它们只需要提供自然语言的任务描述和几个示例，就可以通过提示完成许多自然语言处理任务。

但是，LLM也存在许多问题，如需要大量计算资源，只能通过API访问，不容易部署等。

针对这一问题，CMU的研究人员提出了一个叫做Prompt2Model的框架，可以只通过自然语言提示就训练出一个专用的小模型，并易于部署。

通过提示词，生成一个精确的小型模型

该框架包含数据集检索模块、数据集生成模块和模型检索模块。给定一个提示，它可以检索相关的已标注数据集，使用LLM生成合成的数据集，并挑选一个合适的预训练语言模型进行微调。

实验证明，在问答和时间表达式规范化两个任务上，其生成的小模型分别比GPT-3提高了20％和25%的性能，但是模型大小只有GPT-3的千分之一到万分之一。

Prompt2Model框架结合了提示编程的简易性和专用模型的高效部署性。它可以快速构建小而强的NLP系统，缩短从原型设计到实际部署的鸿沟。

该体系结构旨在实现核心机器学习开发过程的自动化，使我们能够从一个提示词中训练一个小而准确的模型

该框架模块化设计，各组件可自定义实现，提供一个端到端的提示驱动型模型训练平台。它有望进一步推动自然语言处理领域在模型蒸馏、数据集生成、合成评估等方面的进步。

总之，Prompt2Model框架让我们离自动构建NLP系统又近了一步。只需要提供简单的自然语言提示，它就可以自动搜集数据、选择模型并训练出一个高质量的专用模型。

GitHub - neulab/prompt2model: prompt2model - Generate Deployable Models from Natural Language Instructions

#GPT##大型语言模型LLM##Prompt的重要性##prompt##机器学习#