中国航天日来袭NLP神器GPT-3现身网友亲测一句提示即可开启奇幻续写之旅
写作不仅是每个行业的基石，更是职业发展的重要技能。虽然它被看作基础，但要掌握并不简单，尤其是在创意枯竭或合作方案绞尽脑汁的时候。想象一下，如果有一个全能的大师指导你，或直接完成这些任务，那将无比完美！近期，一位Twitter用户体验了AI神器GPT-3后，惊喜地发现自己的愿望实现了！这款“百科全书式”写作助手由Open AI开发，是基于GPT-3自然语言处理模型的一款AI文本生成工具，它可以根据提示自动续写下文。
官方宣称，这款GPT-3拥有1750亿参数，远超市场上的其他AI文本生成模型，并且在性能上达到了目前最佳水平（SOTA），甚至能够媲美人类的写作水平。尽管如此，对于实际效果，我们也只能猜测。但两月前，Open AI决定对这款商用GPT-3模型进行开源，现在任何人都可以使用它作为个人或企业的写作辅助工具。
最近，有一位名为Delian的创业投资者在试用过之后，在Twitter上分享了他难以置信的体验。在他的测试中，他询问如何召开有效董事会会议？然后，他向GPT-3输入了相关信息和建议。这段内容涉及公司初期建设高质量董事会成员对于公司成功至关重要，以及招募成员时应涵盖多个领域专家等方面。
令人印象深刻的是，即使是专业人员也可能难以给出相应回应。而接下来GTP-3生成的下文让他非常满意。以下是翻译部分：
CommonCrawl数据从2016年到2019年，每个月下载41个分片中的数据，大致相当于45TB压缩明文和570GB过滤后的数据。这意味着在训练过程中采样策略并非按大小排序，而是偏好质量较高的数据集，因此CommonCrawl和Books2等少量出现，而其他大部分采样次数更频繁。这可能导致了一定的过度拟合，但换取了更好的训练结果。
因此，由于其庞大的规模与数据库支持，在预训练阶段，该系统表现出了极佳性能。不过，从之前测试来看，它也有局限性，比如常识性问题处理得很好，但对一些直观的问题则可能出现错误，如：
Q：烤面包机和铅笔哪一个重？
A：铅笔比烤面包机重。
虽然存在不足之处，但在逻辑性问题或者阅历理解任务中，几乎达到人类水平，因此在很多场景下可作为优秀的人类辅助工具。
相关链接：雷锋网、论文地址、https://delian.substack.com/p/quick-thoughts-on-gpt3、https://lambdalabs.com/blog/demystifying-gpt-3