在过去十年的人工智能浪潮中，深度学习技术以其强大的计算能力和广泛的应用实践，已经基本实现了视觉、听觉等感知智能的突破。然而，这些进展并未能解决思考、推理等认知智能的问题。
4月9日，在AI TIME青年科学家——AI 2000学者专场论坛上，哈尔滨工业大学计算机学院副研究员丁效发表了题为《基于神经符号的认知推理方法》的报告。在这次讲座中，丁效教授分享了最新的神经网络在执行符号推理任务中的进展，以及将符号知识注入神经网络以及如何将神经网络与符号系统相结合的思路。
首先，我们来看一下自然语言处理（NLP）领域的情况。在这个领域里，预训练模型规模每年都在快速增长，每年约10倍。随着模型规模的扩大，其通用智能水平也得到了显著提升。这一发展不仅促进了模型性能的大幅提升，还为后续研究提供了一定的基础。
尽管如此，我们仍然面临着问题，比如GPT-3这样的预训练语言模型对于复杂的问题如“烤箱和铅笔哪个更重？”或“脚有几只眼睛？”给出的回答往往是错误或者缺乏逻辑性。这表明这些模型缺少对知识进行推理的能力，以及对推理结果可解释性的关注。
那么，我们该如何解决这一问题？丁效教授提出了一个新的计算范式，即融合基于感知深度学习和基于认知符号计算。传统基于符号表示，如分词，将文本中的每个词转换成1万维向量，而分布式表示方法则通过神经网络学习出每个词向量，这种低维稠密实数值向量能够捕捉文本语义信息。
利用符号系统和上下文表示有什么区别呢？首先，对于单词理解来说，上下文语义理解是必不可少的。例如，“小明离开星巴克”与“乔布斯离开苹果公司”，虽然都是离开，但前者可能指消费完毕而后者可能指辞职，因此两者的语义截然不同。
在传统NLP任务中，从语料库中提取特征，然后使用统计关系建模语义结构属于一种手工提取特征并输入到统计模型进行分类或预测的一种方式。而基于神经网络分布式语义表示则省略了特征提取步骤，有几个特点：单词用稠密低维向量表示，上下文语义由单词组合得到；需要大量数据训练；能够得到任务特异性质单词代表。此外，它们拥有远超以前性能但也有缺点，如需大量数据、可解释性差及依赖于表面特征等问题。
那么我们可以怎样将这两个不同的方法优势互补呢？目前有三种方法供参考：
神经网络执行符号推理任务，其中可以帮助我们把句子进行泛化。
符号知识注入神经网络，可以通过损失函数设计、正则化约束或数据增广操作来实现。
神经网络与符号系统相融合，不仅不是完全依赖于图灵机，也不是完全依赖于脑海，而是进行有机融合，以达到既能保持人类直觉又能具备高级逻辑分析能力的人类智慧水平。
为了获得类人方式学习和思考的人工智能，我们需要在四个方面努力：语义合成、推理常识学习以及学会学习。此外，在多项选择问答等典型NLP任务中，要建立起双过程理论，即直觉系统和逻辑系统协同工作，使得我们的算法能够像人类一样迅速作出决策，同时保证答案正确且具有解释性。
