2021年中国科技风云GPT-3文本神器网友亲测惊喜
写作作为跨越各行各业、各种职业的基础技能，虽不复杂却常让人苦恼。深夜论文无头，合作方案难以构思，这些痛苦或许可以通过一个“万能大师”的引导或直接完成来缓解。最近，一位Twitter用户在使用AI神器后，不仅实现了自己的愿望，还发现这款AI文本生成器GPT-3简直是理想中的助手。
GPT-3，基于Open AI开发的自然语言处理模型，是一款涵盖1750亿参数的“百科全书式”写作助手，它能够根据提示自动补全下文。尽管它在技术上远超前辈GPT-2和其他AI文本生成模型，但真正体验的人数有限。为了证明产品性能，Open AI两月前将其1200万美元商用版本开源，让每个人都能成为拥有此工具的小伙伴。
一位名为Delian的创始人，在体验完GPT-3后，在Twitter分享了令人震惊的使用效果。他希望这个AI能帮助他召开有效董事会会议，并提供了一段背景信息：公司初期建立高质量董事会至关重要，但创始人往往忽视这一点。他建议在完成A轮融资后开始招募，并确保成员来自不同领域专家，以增强决策能力。
接下来，他提供了一个案例论证他的观点。这份内容涉及商业运营和投资领域，对非专业人士来说很难给出相应回答。但当他输入这些内容到GTP-3中时，得到的回应令他满意。（话题涉及主观看法暂不论对错）
翻译部分：
CommonCrawl数据从2016年到2019年，每个月下载41个分片共45TB压缩明文和570GB过滤后的数据，大约相当于4000亿字节。在训练过程中采样频率较高质量数据集更高，因此CommonCrawl与Books2采样次数少，而其他数据集则多次采样。这意味着接受一定程度的过度拟合换取更优质训练数据，使得基于超大型模型与数据库的大型语言模型如GPT-3能够表现出极佳预训练性能。
虽然存在局限性
然而，从之前测试中我们也看到了GPT-3在某些问题上的局限性，比如常识性问题方面，它表现非常好，如网上抓取信息寻找答案。但对于一些“不言而喻”的问题，它可能出现错误，如烤面包机和铅笔哪个重的问题。
尽管如此，在逻辑性问题或阅历理解任务上，GPT-2几乎达到人类水平，因此可以作为辅助工具。在很多方面，都能为人类带来便利。
相关链接：雷锋网雷锋网雷锋网
论文地址：https://arxiv.org/abs/2005.14165
https://delian.substack.com/p/quick-thoughts-on-gpt3
https://lambdalabs.com/blog/demystifying-gpt-3