在芯片设计的道路上，存储器的挑战就如同一座难以逾越的高山。边缘计算带来的数据洪流，让存储器的选择和配置变得更加复杂。汽车和AI应用对数据处理能力的诉求日益增长，但芯片架构却在如何优先处理这些数据上迷茫不解。这让设计人员面临着一个艰难抉择：是否要选择共用内存以降低成本，或是增加不同类型内存以提升性能和降低功耗？
安全性始终是我们考虑的前提，而不同的市场有不同的需求。在汽车中，各种图像传感器产生的大量数据需要本地处理，而AI芯片则希望性能能够翻番。但解决内存问题有一种方法——将存储器分散集成在运算单元旁，这样可以最大程度减少数据搬移，从而突破内存瓶颈并降低功耗。
尽管市场出现了新的变化，SRAM和DRAM仍然是主流。虽然市场预测DRAM多年后将“死亡”，但它依旧是最经济、可靠且具有高密度、架构简单、高性能及耐用与低功耗特性的选择。而新架构如HBM2通过垂直堆叠模块方式而非DIMM来增加密度，使得DRAM更接近处理单元。
然而，SRAM价格昂贵且密度有限，但其高速性能已被验证。片上存储器的问题在于采用分布还是共用的方式，在某些情况下，为保证安全性还需增加冗余。
另一个关键问题就是功耗，其中存储器类型和配置等因素都能影响到功耗。在7nm的存储器中进行数据操作可能消耗更多功率，因为线路中的RC延迟。但较慢的片外数据使用高带宽内存在节省功耗方面起到了作用，并且速度也能与高速GDDR6媲美。
对于手持移动设备来说，更需要极低功耗的存储器，如电池驱动边缘设备所需的一体化解决方案，它们既能提供极高效能，又能适应手机等产品快速切换工作模式。
开发这种低功放技术是一项挑战。“当设计这些时，它们支持广泛速率范围，而且相对于其他类似型号，这些速率往往很快。”Steven Woo说。不过，这通常由几个主要应用市场驱动，所以必须面向一个巨大的行业才能催生新的技术。而手机市场正是成功实例之一，那里制造商都希望获得更好的性能与电源效率，以延长电池寿命。
人工智能发展中，空间有限，但速度快又小巧的是目标。因此，大型机房用于训练AI芯片比用于推理终端设备大。此外，还有减少一些外部缓冲区或限制向内核发送大量信息来提高吞吐量的一种方法。
无论何种方法，都涉及到竞争激烈的地平线，其中包括GDDR、HBM以及标准PCB板上的其他类型DRAM。大部分工程师认为GDDR看起来像是其他标准类型DRAM，只是在生产过程中稍微调整一下制造工艺即可。而HBM则利用堆叠结构，每个堆栈连接数千次，因此需要非常精细互连技术，比PCB表面的互连强大很多。这也是为什么有些公司正在使用特殊内部插件（interposers）来实现这一点，即使它们位于CPU附近也有如此多连接线路，可以得到更多连接点一样效果。
最后，无论应用场景如何，Power, Performance and Area（PPA）的三驾马车永远都是重要指标，不仅因为它们决定了整个系统效率，也因为它们影响着用户体验——尤其是在能源敏感领域，如便携式设备或者自动驾驶汽车，一旦实现，就会显著改善整体系统表现。
