在西安疫情最新资讯的背景下，Gary Marcus又一次与深度学习领域的另一位大师Yann LeCun发生了争执。Marcus一向乐于批评深度学习，而LeCun则是深度学习的一个重要奠基人。最近，他们关于最优雅的机器学习算法以及梯度下降在其中作用的问题再次引发了激烈讨论。
事件源远始于几天前，一位网友在推特上提出了一个问题：在机器学习中，最优雅美丽的idea是什么？这个问题似乎触及到了许多人的内心，因为它不仅涉及到技术本身，还牵涉到数学和物理学家的审美观念。网友们纷纷给出了自己的答案，从多重权重更新算法到核技巧，再到降维和变分推理，每个人都有自己独到的见解。
然而，这场讨论很快就扩展到了更广泛的话题——即机器学习研究中的美学性质。在这场辩论中，有些人认为，理论计算机科学家和传统物理学家对优雅有一种特殊的理解。而另一些人则认为，机器学习更多地关注实用性而非纯粹性的探索。
谷歌大脑的一位研究员Chris Olah加入了讨论，他认为ML（Machine Learning）的优雅来自生物学，而不是数学或物理。他指出，即使是梯度下降这样的基本算法，也能创造出令人难以置信的结构和行为，就像进化创造出的自然复杂性一样。
LeCun回忆起2000年丹佛NIPS会议上的经历，当时他回答了一位杰出的ML研究人员的问题：“我们在ML中学到的最重要的是什么？”他的回答是“梯度下降”，这让对方感到惊讶。这段经历成为了他与Marcus之间“旧账”的部分之一。
Marcus持反对意见，他认为尽管梯度下降是一个强大的工具，但它并不足以构建真正的人工智能。他提出需要补充DL（Deep Learning），而不是完全替换，并引用了他2018年的文章《Deep Learning: A Critical Appraisal》作为证据，该文章阐述了DL的一些局限性，并呼吁将其视为众多工具中的一个，而非通用的解决方案。
LeCun并不认同Marcus的观点，他坚持认为，如果未来出现新的方法，那么这些新方法仍然应该被封装进DL之中，以实现规模扩展。而Marcus则主张新的方法应该围绕着DL进行混合与补充，这样可以实现更全面的AI解决方案。
此时，此事已成为网络热议话题，每个人都有自己的看法。但正如LeCun所说，“基于梯度的优化是一种学习过程，但并非人类级别的人工智能全部组成。”那么，在未来的发展趋势中，我们会看到什么样的创新？是否存在一种能够超越现有技术限制、真正接近人类智能水平的人工智能系统？所有这些问题，都留给我们继续探索和讨论。
