人物熟悉平板电脑最新资讯系统，体验AIOpenAI大规模无监督语言模型GPT-2续写故事功能达到人类水平。雷锋网 AI 科技评论按：模型大小的比拼还在继续！自谷歌大脑的2.77 亿参数的语言模型 Transformer-XL 之后，OpenAI 也完成了自己具有15 亿个参数的语言模型 GPT-2，而且这个模型还有一项惊人的能力，就是从短句续写成篇的文章。
GPT-2 是 GPT 的直接技术升级版本，有多 10 倍的模型参数，多达 15 亿个，并在多 10 倍的数据上进行训练。训练数据是来自互联网的高质量语料，具体来说这些语料来自 Reddit 论坛中出现的高评分外链页面；高评分表示这些页面中的内容有较高的质量。
此次发布论文介绍了 OpenAI 的新型人工智能系统，它基于 Transformer 架构，用先在大规模语料上进行无监督预训练、再在小得多的小样本数据集上为具体任务进行精细调节（fine-tune）的方式，不依赖针对单独任务设计技巧就一次性在多个任务中取得了很好的表现。这也是近年来自然语言处理领域研究趋势，就像计算机视觉领域流行 ImageNet 预训练模型一样。
OpenAI 的研究人员们发现，由于数据库有足够高文本质量和足够高文本多样性，模式也有很高容量，即便这样简单训练目标也得出了惊人的结果：模式不仅可以根据给定的文本流畅地续写句子，甚至可以形成成篇文章，就像人类创作文章一样。虽然有时会出现失败，比如文字重复、错误世界常识，但成功例子中生成文本有许多种可能性，对事件描述煞有介事，与人类表达接近，而且段落之间甚至全篇保持连续一致，这非常令人震惊。
OpenAI 研究人员通过尝试发现，对于常见话题，如英国脱欧、指环王或歌手 Miley Cyrus 等话题，大约一半尝试都能生成合理可信度强大的文本；而对于较少见的话题，如技术讨论或者哲学内容，则效果差很多。此外，该系统也能进行「无样本学习」，即不经过任何特定任务专用数据集就能测试，也取得优异成绩。这让人推测所有这些任务都是通用语言建模的一个子集，因此自然能够表现出良好效果。
除了其基础功能之外，该系统还有进一步精细调节能力，可以根据亚马逊评价等特定领域数据集调整风格，使其更关注评分和商品类别等信息。此外，还可以应用到各种各样的「无样本学习」场景中，在没有任何特定任务专用数据集中仍然表现出色。
最后，我们通过一些 OpenAI 提供的一些示例了解到了该系统所展现出的文档生成水平。在翻译过程中，我们感觉到尽管有些混乱，但这款软件既能够找到合适风格，又补充了许多细节，其结构与上下文联系紧密且几乎没有错误，从而显得非常真实可信。
