提示工程，这一新兴学科的核心，在于精细化地创建和优化提示，这是高效利用语言模型（LMs）在各种应用和研究议题上的关键。通过掌握提示工程，您将更深入地理解大型语言模型（LLMs）的潜能与边界。

提示工程的应用领域

• 研究领域：研究者借助提示工程，可提升LLMs在广泛且复杂的任务中的表现，如解答开放式问题和进行逻辑推理等。
• 开发领域：开发者利用提示工程，能够构建强大而高效的提示系统，这些系统与LLMs及其他工具无缝对接，确保稳健性和效率。

提示工程远不止于提示的设计与开发。它是一套全方位的技能和技术组合，旨在优化与LLMs的交互和功能开发。这不仅是构建有效交互界面的关键技能，也是深入理解LLMs能力的途径。通过提示工程，还可以增强LLMs的安全性，并通过集成领域专业知识和外部工具来扩展其能力。

提示工程资源

鉴于日益浓厚的兴趣和对LLMs的不断探索，我们编制了这份全新的提示工程指南。它集成了最前沿的研究论文、学习路径、实用模型、研讨会、必读参考资料，以及LLMs的最新功能和与提示工程紧密相关的工具。

导读

提示工程是解锁LMs全潜力的关键，它要求我们不仅开发和优化提示，还要全面理解LLMs的能力和局限性。无论是研究人员希望在多样化任务中提升LLMs的表现，还是开发人员期望构建与LLMs以及其他工具的高效接口，提示工程都是不可或缺的技能。

本指南旨在为您提供关于如何与LLMs互动和利用提示进行指导的基础知识。它将带您了解提示工程的基础，探索其在现实世界应用中的实际价值，并提供启发性的示例。

实用注释：请注意，除非另有说明，本指南中的所有实践示例都是在OpenAI的playground上使用text-davinci-003模型进行的，该模型的默认设置为温度=0.7，顶部-p=1。这些设置可能需要根据您的特定需求进行调整。

LLM配置参数

当涉及到与大型语言模型（LLM）的互动时，理解并精确调整各种配置参数变得至关重要。这些参数不仅影响模型的响应质量和多样性，还对其生成的内容的创造性和相关性有着直接的影响。

关键配置参数及其影响

• 温度：
  • 定义：控制生成文本的随机性的参数。
  • 影响：较低的温度值导致输出更加确定性和一致性，而较高的值则激发更大的多样性和创造力。
  • 应用案例：事实性内容生成（如问答任务）通常倾向于使用较低温度，而创意写作或诗歌创作等则可能从较高温度中受益。
• Top_p：
  • 定义：通过核采样方法，这一参数决定了模型从可能的下一个词汇集合中进行选择的范围。
  • 影响：较低的值倾向于产生更确定、事实性的输出，而更高的值则鼓励响应的多样性。
  • 最佳实践：推荐单独调整温度或Top_p，避免同时大幅改变两者，以维持输出的可预测性和质量。
• 最大长度：
  • 定义：限制模型生成的令牌（词）数量的参数。
  • 应用案例：通过设定一个上限，可以防止过长或离题的回应，同时也是成本控制的有效策略。
• 停止序列：
  • 定义：一组指定的字符串，当模型生成这些字符串时会立即停止进一步的文本生成。
  • 应用案例：有效控制输出的长度和结构，如限制列表项的数量或结束特定格式的回应。
• 频率惩罚：
  • 定义：根据令牌在给定文本中的出现频率递增地对其施加惩罚。
  • 影响：高频率惩罚能减少重复词汇的出现，促进语言多样性和丰富性。
• 存在惩罚：
  • 定义：对任何重复出现的令牌施加统一的惩罚，不论其在文本中出现的频率。
  • 策略：根据任务类型，可通过调整存在惩罚来鼓励创新或保持话题的连贯性。
  • 最佳实践：与调整温度和Top_p一样，推荐更改频率惩罚或存在惩罚中的一个，以维持响应的一致性。

注意事项

在实践中，需注意LLM的不同版本和设置可能会导致不同的输出结果。因此，深入理解和细致调整这些参数，对于实现高质量的、目标导向的模型输出至关重要。

提示工程基础

在与先进的大型语言模型（LLM）互动时，提示工程的角色显得尤为关键，它涉及到精确地构造提示，以引导模型生成预期的输出。优质的提示能够有效沟通任务需求，并为模型提供足够的上下文，从而实现高质量的、目标导向的结果。

精细化提示的艺术

优化提示的过程不仅需要对所需信息的明确指示，还需要在提示中融入恰当的上下文和示例。这不仅增强了语言模型的理解能力，还有助于产生更为精确和相关的输出。

考虑以下基础示例：

提示：

天空是

输出：

蓝色的

此实例展示了模型如何在给定“天空是”这一上下文时，自然地延续字符串。然而，输出可能并不完全符合预期，或与特定任务不太相关。这强调了为模型提供更多上下文信息和明确指示的重要性。

为了优化这一点，我们可以稍作调整：

提示：

完成这个句子：天空是

输出：

蔚蓝的，就像无尽的海洋，广阔而深邃。。

在这里，通过简单地加入“完成这个句子”作为指示，模型的回应更具相关性和目标性。这种精细的提示构建方法是提示工程的核心，旨在精确地引导模型完成特定任务。

LLM的应用范围极广，从文本摘要、数学推理，到代码生成等高级任务，其性能往往与提示的质量和精确性紧密相关。

提示格式的多样性

在构建提示时，标准化的格式可以为模型提供清晰的指示和预期。以下是一些常见的提示结构：