type
status
date
slug
summary
tags
category
借助本指南，你将在两个小时内不使用任何代码建立一个产品。
Hello！欢迎! 👋🏻
本指南是为了帮助理解和利用GPT-3而编写的，GPT-3是OpenAI开发的最先进的语言生成模型。在本指南中，您会发现大量关于GPT-3功能的信息，以及使用它来构建您的第一个产品的实用技巧和最佳实践。
本文参考：
🤖 GPT-3 概况
简要解释一下什么是GPT-3，以及它与以前的语言生成模型有什么不同。
官方视频：什么是 GPT-3？
GPT-3（Generative Pre-trained Transformer 3）是一个由OpenAI开发的最先进的语言生成模型。它使用深度学习技术，根据它所训练的海量数据，生成类似人类的文本。GPT-3可以理解并生成各种语言和格式的文本，包括自然语言、代码和结构化数据。
GPT-3使用一个转换器架构，这是一种在自然语言处理任务中非常有效的神经网络类型。GPT-3的深度学习神经网络是一个拥有超过1750亿个机器学习参数的模型。该模型在来自互联网的庞大文本数据集上进行了预训练，这使它能够理解其生成的文本的背景和含义。GPT-3可以生成通常与人写的文本无法区分的文本。
假如要向一个10岁的孩子解释什么是 GPT-3 的话：（以下内容由GPT-3生成）
GPT-3是一个计算机程序，可以像人一样理解和写作。这就像有一个超级聪明的朋友，可以帮助你写故事或回答问题。计算机使用一种叫做 "转化器 "的东西来理解你给它的文字，就像你用你的大脑来理解别人对你说的话。在你开始使用它之前，它也被教了很多东西，比如它已经读了很多书和文章，所以它知道很多不同的主题。它是如此聪明，以至于它能做出听起来像真人写的句子。它也有很多 "脑力"，有超过1750亿个微小的部分，帮助它理解和造句。
GPT-3被认为是用于多个行业的最先进的语言生成模型之一，如客户服务、市场营销和内容创作。凭借理解和生成自然语言的能力，GPT-3被认为是在各行业实现任务自动化和提高效率的有力工具。GPT-3也被用来生成有创意和有吸引力的内容，并使客户服务任务自动化，如回答客户问题。
总的来说，GPT-3是一个强大的工具，有可能彻底改变许多行业和我们与计算机互动的方式。它是自然语言处理领域的一个令人兴奋的发展，可以大大提高许多任务的效率和效果。
OpenAI 简史
OpenAI是一个私人人工智能研究实验室，由营利性的OpenAI LP和其母公司、非营利性的OpenAI Inc.组成。它由伊隆-马斯克、伊利亚-苏茨克沃、格雷格-布罗克曼、萨姆-奥特曼、沃伊切赫-扎伦巴和约翰-舒尔曼于2015年12月成立，目标是负责任地推广和发展友好型人工智能。该公司的创建目标是以有利于全人类的方式开发和推广友好的人工智能。
2016年，OpenAI发布了其第一个重要的人工智能项目，即无监督语言模型GPT-1，它可以完成广泛的语言任务。2018年，OpenAI发布了GPT-2，一个更强大的模型版本，可以生成类似人类的文本。
2020年，OpenAI发布了GPT-3，它是在一个更大的数据集上训练出来的，能以很高的精度完成一系列任务，包括文本生成、语言翻译和问题回答。
在 GPT-3 之前的众语言模型们
在GPT-3之前，OpenAI和其他组织还创建了其他几个语言生成模型。
- GPT-1和GPT-2：GPT-3是GPT系列模型的第三代，之前是GPT-1和GPT-2。GPT-1和GPT-2也都是由OpenAI开发的，使用的变压器架构与GPT-3相似。然而，GPT-1和GPT-2是在较小的数据集上训练的，其能力比GPT-3少。
- BERT：BERT（来自变压器的双向编码器表示法）是谷歌开发的一个模型，在互联网的大量文本数据集上进行训练。BERT主要用于自然语言理解任务，如文本分类、情感分析和问题回答。
- ELMO: ELMO(Embeddings from Language Models)是由艾伦人工智能研究所开发的模型，它也是在互联网上的大量文本数据集上训练出来的。ELMO主要用于自然语言理解任务，如文本分类和问题回答。
- ULMFiT：ULMFiT（通用语言模型微调）是由fast.ai开发的一个模型，它是在互联网上的大型文本数据集上训练出来的。ULMFiT主要用于自然语言理解任务，如文本分类和情感分析。
- XLNet。XLNet是谷歌人工智能开发的一个模型，它使用了一种基于排列组合的训练方法。XLNet主要用于自然语言理解任务，如文本分类、情感分析和问题回答。
- NLG：微软的图灵自然语言生成（NLG）模型是一个由微软研究院开发的最先进的机器学习模型。它基于被称为图灵架构的基于变压器的神经网络架构，该架构由微软研究团队在2018年推出。2019年，微软在一个大规模的文本数据集上对该模型进行了微调，并将其作为一个通用的自然语言生成模型发布。该模型可以执行广泛的任务，如文本生成、语言翻译和问题回答。它被广泛用于各种应用，如聊天机器人、虚拟助手、内容生成和自然语言理解。
GPT-3是自然语言处理领域的一个游戏规则，有可能彻底改变我们与技术互动的方式。学习GPT-3可以帮助你在职业生涯中保持领先并利用其能力。
现在，我们开始吧！
💻 GPT-3 是如何运行的？
🧠 关于 OpenAI API 和 Playground
什么是 API?
API，即应用编程接口，是一套允许不同软件程序相互通信的规则和协议。它定义了软件组件应该如何互动，API在不同的软件系统之间充当 "中间人"。
API通常用于允许第三方开发者从现有的应用程序或服务中访问某些功能或数据。例如，一家经营电子商务网站的公司可以通过API提供其库存数据，以便其他公司可以建立他们的应用程序来显示和销售这些产品。
API也可以连接一个应用程序或服务的不同部分，允许不同的组件进行通信和共享数据。它们经常被用来连接网络应用程序和数据库，或者在面向服务的架构中连接不同的微服务。
API可以基于各种协议，如REST（Representational State Transfer）或SOAP（Simple Object Access Protocol），并可以使用不同的数据格式，如JSON或XML。
⚒️ 使用 GPT-3 创作
有几种方法可以用GPT-3创造产品，这取决于所需的结果和可用的资源。一些常见的方法包括：
- 使用OpenAI API。OpenAI API允许开发者在其应用程序中访问GPT-3的功能。开发者可以使用该API来创建广泛的产品，如聊天机器人、自动写作和内容生成工具，以及问题回答系统。
- 使用 OpenAI API 创建一个封装器。开发人员可以围绕OpenAI API创建一个封装器，使非开发人员更容易访问和使用GPT-3的功能。
- 使用预建的集成。有几个预建的集成，允许用户将GPT-3与其他工具和平台连接，如Zapier、Integromat和IFTTT。这些集成使自动化任务和创建新产品变得容易。
- 创建一个使用GPT-3作为服务的产品。您可以创建一个将GPT-3作为服务使用的产品，提供一个平台或网站，用户可以访问GPT-3的功能并使用它们来生成文本、回答问题、翻译语言等。
在此之前，你还必须了解提示词开发（Prompt Engineering）和微调（Fine Tuning），才能开始创建产品。
提示词开发 （Prompt Engineering）
提示词开发是设计和微调给GPT-3的输入或 "提示 "的过程，以控制输出和实现特定的结果。它是一种用于控制模型行为的技术，引导它产生特定类型的文本或回答特定的问题。
提示词开发包括精心设计模型的输入文本，称为 "提示"，以引导模型产生所需的输出。这可以包括添加特定的关键词或短语，提供背景信息，甚至包括特定的约束或规则。
提示词开发的目标是最大限度地提高模型的性能和准确性，生成与特定任务相关和有用的文本。它是使用GPT-3和其他语言生成模型的一个重要部分，因为它允许用户实现特定的结果并微调模型的性能。
提示词开发可以通过试错和实验来完成，测试不同的提示，看看哪种提示对特定任务最有效，这很重要。
同样重要的是要注意，虽然提示词可以有效地控制GPT-3的输出，但它并不是一个万无一失的方法，因为GPT-3仍然可能产生意想不到或不需要的文本。
虽然提示词开发有很多关于在Playground上进行实验的内容，但有几个原则你应该牢记：
- 提示引导模型产生有用的输出。当模型收到提示时，它利用其从海量数据中获得的丰富的人类语言知识，生成与提示中描述的背景和任务相一致的文本。该模型可以根据提示生成连贯的、语法正确的、遵循特定风格的、包含特定信息的、或采用特定格式的文本。
- 尝试多种形式的提示，以获得最佳的生成结果。制作一个好的提示的过程往往是反复的，需要进行实验。不同的提示形式会导致不同的输出，而且预测模型对特定提示的反应可能是一个挑战。针对用例、受众和领域测试生成的输出也很重要。基于这种反馈，可以进一步对提示进行微调，以获得最佳的生成。此外，同样重要的是要注意，提示应该足够具体，以指导模型，但也应该足够普遍，以允许模型探索不同的可能性。
- 详细描述任务和一般环境，以获得更好的结果：背景越清晰，反应越好。请看下面的例子（绿色为GPT-3的反应）。
- 向模型描述你希望看到的结果。在提示中添加例子是实现良好迭代的关键方法之一。
微调（Fine Tuning）
微调（Fine-tuning）指的是使预先训练好的GPT-3模型适应特定任务或领域的过程。这是通过在特定于任务或领域的较小的数据集上训练模型来完成的，这样它就能更好地理解上下文并生成更准确和相关的文本。
微调的过程包括使用预训练的模型作为起点，然后在针对任务或领域的小型数据集上进行训练。这可以通过使用OpenAI API来完成，它允许开发者访问GPT-3模型，并使用不同的数据集来微调模型。
在微调过程中，模型学会了调整其权重和偏差，以更好地适应新的数据集，并开始生成与特定任务或领域更相关的文本。这一过程可用于各种任务，如语言翻译、文本总结、文本完成、文本生成等。
值得一提的是，微调GPT-3需要大量的计算资源，而且可能很耗时。然而，这是一个强大的方法，可以提高模型在特定任务和领域的性能。
微调GPT-3通常包括以下步骤。
- 收集和准备数据集。第一步是收集一个特定于你想要微调模型的任务或领域的数据集。这个数据集应该足够大，以便为模型提供对背景和相关信息的良好理解。
- 创建一个提示。下一步是创建一个提示，这是一个文本输入，引导模型产生有用的输出。提示应该以特定于任务或领域的方式来写，它应该为模型提供足够的信息来生成相关的文本。
- 微调模型。一旦你访问了API，你可以使用数据集和提示来微调模型。这通常包括在数据集上对模型进行一定数量的训练，并调整参数以提高性能。
- 评估模型。在对模型进行微调后，重要的是在一个单独的数据集上评估其性能，以确保它能生成相关和准确的文本。你可以使用诸如BLEU、METEOR或其他指标来评估模型的性能。
- 部署该模型。微调后，模型可以部署在生产环境中，如网站或移动应用程序，这取决于使用情况。
你可以使用这个工具来进行微调，而无需编码：
💡如何借助 GPT-3 找到好的idea？
我们中的许多人在想出点子时都很费劲，因为我们把这个过程复杂化了。当我们了解到创意是由以下因素构成时，创意的产生就变得容易了：
- 识别问题：这可以来自你的生活经验或观察你周围的世界
- 发挥创造力：这是以新的方式看待事物并提出原创/创新解决方案的能力。
- 激情：这源于你的兴趣或你喜欢做的活动。
我们已经了解了GPT-3是如何工作的，以及它的能力；在此基础上，我们可以通过以下两种方法思考问题。
解决问题
最好的想法是解决一个特定的/具体的问题，大的和小的。确定一个问题应该是你产生想法过程的开始。
不要先想出一个解决方案，然后再试图去找到一个问题（不要拿着锤子找钉子）
建立一个以问题为导向的解决方案是很重要的，因为它允许你专注于解决一个特定的需求。这可以帮助你创建一个更有针对性的、有效的和急需的解决方案。它还可以帮助你更好地了解你的用户的需求，以及你的解决方案如何解决它。
敏锐地观察你的周遭。你的问题、你的家庭、同事、社区、社会，然后是整个世界
- 你是否想过一些可以高效、更好或更快的事情，不管是大是小？特别是想一想，你希望在你的生活中没有哪些小的问题？
- 你的组织中是否有一个职能部门一直在抱怨/唠叨着什么？深入挖掘，找出是否有机会建立一个简单的解决方案
- 朋友/家人是否经常讨论某个应用中的某个功能或某个用例？听一听，你会发现他们一直在谈论。
- 你在试图完成一项工作时，会遇到哪些路障/问题？观察和评估（例如，遛狗，决定买什么，等等）
这里是一些由观察驱动想法的例子
阅读和关注有趣的人。思想领袖谈论应该存在的东西，在Reddit、Twitter或其他地方表达挫折感。大多数人都忽略了人们对挫折的抱怨和表达，但是如果你每次看到有人表达痛苦时都暂停一下，这可能是一个建立的机会。
- 社会媒体是寻找人们所面临的问题的一个好方法。你需要以这样的方式策划你的饲料，即你正在关注那些分享有价值的知识的人。
- 推特上有很多人在谈论针对具体问题的产品。Sharath Kuruganthy做了一个项目来寻找这个，叫做RequestforProduct
- 寻找产品评论或论坛，人们在那里分享现有产品的反馈和问题。
社区中的讨论和会面。碰撞想法并获得快速反馈。通过顿悟的时刻产生想法。
改进现有流程
在我们的日常工作流程中，有许多重复的语言任务。GPT-3可以通过自动化涉及自然语言处理的任务来改善当前的工作流程，如写作、总结和翻译文本。它还可以通过提供类似人类的反应和洞察力来协助客户服务和数据分析等任务。此外，GPT-3可以用来产生新的想法和内容，这可以帮助提高创造力和生产力。总的来说，GPT-3可以帮助简化工作流程，节省时间和资源，使专业人士能够专注于更高层次的任务。
🤯 【实例】0 代码做一个 GPT-3 应用
Idea: 冷邮件（Cold Email），如果写得好，可以打开许多机会。但是，一封好的冷邮件有几个组成部分，很多人都错过了。我们将使用GPT-3来建立一个冷邮件写手，写出更有可能得到回应的电子邮件
开始之前
- 确定冷邮件应该具备的结构和主要内容：
- 写信人的背景和他/她给收信人带来的价值
- 收件人的背景
- 邮件的目的和明确的行动呼吁
点击这里体验最终效果
📚 参考资料
- 作者:Ryan
- 链接:https://blog.gaoran.xyz/article/GPT-3-playbook-CN
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
