在人工智能的领域，Gary Marcus和Yann LeCun最近在推特上进行了一场激烈的讨论。Marcus曾经与Elon Musk争吵过，并且他再次卷入了一个新的争议，这次是与LeCun。
事情是这样的：几天前，有人在推特上提出了一个问题：“机器学习中最美丽、优雅的想法是什么？”这个问题引起了网友们的大量回应，他们提到了多重权重更新算法、核技巧、降维等概念，以及一些关于熵和信息论的讨论。大家还就机器学习研究中的美学性进行了探讨，有些人认为理论计算机科学家和物理学家也在谈论美学，而另一些人则认为，机器学习更多地关注应用而非纯粹数学。
谷歌大脑的一个研究员Chris Olah评论说：“ML的优雅是一种生物学上的优雅，而非数学或物理上的那种。”这让LeCun感到熟悉，他一直试图让他的同事相信梯度下降所具有不可思议的力量。在1989年，他发表的一篇论文使用梯度下降训练了CNN用于图像识别，梯度下降后来成为了计算机视觉研究中的基础理论。
LeCun还回忆起2000年的丹佛NIPS会议，当时一位杰出的ML研究人员问道：“我们在ML中学到的最重要的是什么？”LeCun回答说：“梯度下降”，对方目瞪口呆地表示不认可。这种“仇”记得很久...
那么，“梯度下降”是不是最优雅的ML算法？有人赞成有人反对。这一点无疑，是过去十年AI进步背后的核心驱动力。但Marcus不同意，他觉得AI需要补充，而不是替换。他引用2018年的文章“Deep Learning: A Critical Appraisal”，指出尽管存在问题，但并不意味着要抛弃深度学习。相反，我们应该重新定义它作为众多工具之一。
Marcus还认为即使有新的方案，也应该围绕DL进行封装，而不是替换。而LeCun希望如果有新方案，它仍然应该被封装在DL之内，以实现规模扩展。不过看起来两人对于讨论对象和观点存在误解。
那么大家怎么看呢？
