在芯片查询的道路上，存储器成为了阻碍AI发展的难题。边缘计算性能的提升给存储器设计带来了挑战，这也导致了不同应用市场中需要进行更复杂的权衡。芯片架构正在与新市场一起发展，但数据在芯片、设备之间以及系统之间如何移动并不总是很清楚。
汽车和AI应用中的数据正变得越来越多和复杂，但芯片架构在处理时有时不清楚如何优先处理数据。这让芯片设计人员面临抉择，是选择共用内存降低成本，还是增加不同类型内存提高性能和降低功耗。所有这些都是以安全为前提，并且不同的市场设计的要求也不一样。
解决内存问题有一些方法，其中一种是片上存储器，也就是将存储器分散地集成在运算单元旁，最大程度减少数据搬移。这种方法的目标是通过减少负载和存储的数量来突破内存瓶颈，也能降低功耗。“存算一体可能是模拟的、数字的，或两者都有。”Cadence Digital＆Signoff Group的一位高级首席产品经理Dave Pursley说，“虽然在内存中进行计算的想法可能是日益增长的趋势，但在这种计算中实际发生的情况似乎大不相同。”
SRAM和DRAM仍然是主流。尽管市场出现了新的变化，但片上SRAM和片外DRAM仍然占据主导地位。已经有专家预测DRAM多年后将“死亡”，但它仍然是最经济和可靠的大脑部分。在高速操作方面，它具有高密度、简单架构、低延迟、高性能特性，同时兼具耐用性和低功耗特性。
不过，对于技术创新而言，DRAM密度增速正在放缓，而HBM2等新架构允许通过堆叠模块垂直增加密度，这种方式还让DRAM更靠近处理单元。此外，SRAM价格昂贵且密度有限，但其高速性能多年来已被验证。
“所有这些要求都会影响选型，以及访问每个互连系统之间复杂性的权衡。”Arm的一位高级物联网架构师Ryan Lim表示。而对于那些追求极致效率的人来说，无论是在7nm还是其他尺寸上的线路，都会对电池寿命产生重要影响，因为线路中的RC延迟会消耗更多能源，有时候甚至会破坏输入输出信号完整性的安全保障。
然而，即便如此，对于手持移动设备来说，有些专家认为极低功耗再次成为关键点：“这些记忆体具有极高效能，可提升电池供电设备速度并节省能源。”Rambus杰出的院士Steven Woo说。“它们可以根据需要切换工作模式，从待机状态迅速切换到更高性能/更大功率模式。”
开发这样的记忆体是一项巨大的挑战。当设计这类记忆体时，它们支持广泛范围的事务速率，而且往往比传统较慢而又非常节能的事务要快得多。这通常由几个主要应用驱动，所以它必须面向一个拥有足够大市场规模的大行业，比如手机制造商，他们希望获得能够延长电池寿命，更有效使用能源的手持设备配置。
当然，在任何情况下，只要你想要从历史上看到成功案例，那么手机市场就一直是一个强劲推动者。如果与不同的手机制造商交谈，他们都希望获取更好的性能与更加节省能源用的记忆体，以此来维护用户满意度，并保持竞争力。不过，不管怎么样，这样的合格品可能运行各种各样的事务速率，但是这个范围通常不会太宽广，因此制造商可以决定哪些部件适合全速运行，而哪些则只需半速或三分之二速度即可满足客户需求，从而实现所谓“binning”。
因此，当我们探讨人工智能如何利用这一进步时，我们必须考虑到空间限制意味着某些任务无法轻易完成——尤其是在终端推理环境中。但另一方面，将一些组件移到内部或者减少外部连接可以显著提高整体效率，就像减少CPU核心数量一样，让资源集中到真正需要的地方去做事情。在任何情况下，GDDR看起来像是其他类型的心脏（如DDR或LPDDR），因为它们既可以集成到标准PCB板上，又能够用类似的生产工艺制作；而HBM则涉及堆叠以及插入连接卡（interposers），因为HBM每个堆栈将包含大量相互连接，每个接口均需要高度精细化结构，使得它们远超PCB能力处理所需连接数目的水平。
无论何种选择，最终结果都取决于PPA（Power, Performance, Area）三个因素：除了物理大小，还包括执行速度以及消耗多少电子能量——这是每个人工智能项目必不可少的一个考量因素，因为如果没有持续改善我们的技术以应对不断增长的人类需求，那么未来将变得非常困难。而今夜，一场关于未来的辩论即将开始，我预计几十年后回望这段时间，我们会发现自己站在一条既充满挑战又令人兴奋的地图之巅，其深邃的地形涵盖着人类知识界限尽头处尚未探索过的地方。我期待那天早晨醒来，用新的眼光审视这个世界。我知道我不是唯一一个人这样思考。你呢？
