全球科技热潮GPT-3文本神器网友亲自体验
写作：每个人都可能需要的超能力
深夜论文无灵感、合作方案难以起笔，这些痛苦经历让人渴望有一个全能的大师指引方向或直接完成。近日，一位Twitter网友在尝试一款AI神器后，发现了自己的愿望竟然得以实现。这款名为GPT-3的AI文本生成器，是Open AI开发的一种自然语言处理模型，它可以根据提示自动续写下文。据称，GPT-3涵盖了1750亿个参数，远超现有的其他AI文本生成模型，其创作水平甚至与人类相当。
尽管如此，对于实际效果，我们也只能相信官方的话。在过去两个月里，OpenAI将这款耗资1200万美元的商用GPT-3模型对外开源，使得任何人都可以作为自己的写作助手使用。一位名为Delian的网友，即一家风投公司创始人，在体验完GPT-3后，他在Twitter上分享了令人震惊的使用效果。他希望通过输入关于召开有效董事会会议的问题来测试该工具，并且他提供了一段相关背景信息，以便GPT-3能够更好地理解问题内容。
Delian提到，公司创始人通常没有意识到招募高质量董事会成员对于初期发展至关重要。他建议在完成A轮融资之后开始招募董事会成员，并确保其专业领域覆盖广泛。此外，他还举例论证了这一观点。
鉴于上述内容涉及商业运营和投资领域，对此类问题进行回应并不容易。但是，当Delian将这些内容输入给GTP-3时，他获得了满意的回答。这表明，即使是复杂的问题，只要提供足够多和正确的情境描述，就能够得到相应解决方案。
值得注意的是，在训练过程中，并非按大小对数据集进行采样，而是采用较高质量数据集采样频率更高，因此在训练过程中CommonCrawl和Books2数据集采样的次数少于一次，而其他数据集则采样了2 - 3次。这意味着接受一定程度过度拟合，以换取更高质量的训练数据。因此基于超大型模型和数据库，与之交互后的预先培训阶段表现出极好的性能。
然而，从之前测试结果来看，虽然GPT-3在常识性问题上的表现优异，但它仍存在局限性。在处理一些“不言而喻”的问题时，它可能出现错误，如：
Q: 烤面包机与铅笔哪个重？
A: 铅笔比烤面包机重。
虽然存在这样的缺陷，但是在逻辑性任务或阅历理解方面,GPT-2几乎可以达到人类水平。因此，在许多场合，可以作为非常好的辅助工具。
相关链接：雷锋网、雷锋网、雷锋网
论文地址：https://arxiv.org/abs/2005.14165
https://delian.substack.com/p/quick-thoughts-on-gpt3
https://lambdalabs.com/blog/demystifying-gpt-