在AI的高速发展中，存储器却成为了阻碍其前进的难题。边缘计算性能的提升，为存储器设计、类型选择和配置带来了挑战，这也导致了不同应用市场中需要进行更复杂的权衡。芯片架构正与新市场一起发展，但数据在芯片、设备之间以及系统之间如何移动并不总是很清楚。
汽车和AI应用中的数据正变得越来越多和复杂，但芯片架构在处理时有时不清楚如何优先处理数据。这让芯片设计人员面临抉择，是选择共用内存降低成本，还是增加不同类型内存提高性能和降低功耗。
所有这些都是以安全为前提，并且不同的市场设计的要求也不一样。比如，汽车中的各种类型图像传感器（如激光雷达和摄像头）的大量数据需要在本地处理。AI芯片则希望性能能够提升100倍。
解决内存问题有一些方法，其中一种是片上存储器，也就是将存储器分散地集成在运算单元旁，最大程度减少数据搬移，这种方法的目标是通过减少负载和存储数量来突破内存瓶颈，也能降低功耗。
“虽然‘‘做计算的地方”这一概念可能听起来像是模拟或数字或者两者都有的，但是实际上发生的情况似乎大不相同。”Cadence Digital＆Signoff Group高级首席产品经理Dave Pursley说，“尽管SRAM仍然是主流，但随着HBM2等新架构出现，我们正在逐渐看到DRAM密度放缓。”
尽管市场出现了新的变化，但SRAM和DRAM仍然占据主导地位。已经有专家预测DRAM多年后将“死亡”，但它仍然是最经济、可靠且具有高密度、高速度、高性能特性的选择。此外，虽然DRAM密度增速正在放缓，但HBM2等新架构允许通过堆叠模块而不是使用DIMM垂直增加密度，这种方式还让DRAM更靠近处理单元。
另一方面，SRAM价格昂贵且密度有限，但其高速性能已被验证。在一些情况下，为保证安全性需要增加冗余。“所有这些要求都会影响存储器的类型和数量的选择，还涉及片上与片外之间的权衡，以及访问每个互连复杂性。”Arm高级物联网架构师Ryan Lim表示。
低功耗成为关键
然而，在这个追求效率、速度并兼顾能源消耗的大环境下，对于未来技术来说，无论是在车载还是移动设备领域，都必须考虑到怎样才能实现最佳平衡点。
"从历史看手机行业是一个成功例子。如果与不同的手机制造商交谈，他们都希望获得更好的性能与电源效率，因为他们希望延长电池寿命。而对于其他想要使用超低功耗技术的人们，他们会庆幸其他人正在帮助他们实现这一点。"
通常这意味着合格的一些产品可能运行于几种不同的速率范围之下，而这可以使内存在生产过程中进行所谓分级。当某些部件没有全速运行时会发生这种情况，但是制造商依旧会出售这些内忆，因为有些客户需要以更便宜价格购买较低性能型号。这就叫做Binning（合并）操作。
"当我们谈论Binning的时候，我们是在谈论那些满足一定标准但是不能达到最高标准那一类产品，它们通常被认为是一般规格或者准入品。但由于它们提供了一个相对较好的价钱，而且对于许多用户来说足够好，所以它们依旧非常受欢迎——尤其是在智能手机领域，那里消费者往往更加注重价格竞争力而非绝对表现质量。"
至于Artificial Intelligence（人工智能），它无疑扮演着几乎每个新技术背后的关键角色。而Storage Memory又深深嵌入其中，以至于极端高速以及极微小消耗量成了CPU一直追求的事项。不过这并不总是一个有效答案，因为空间有限。但它解释为什么Data Centers用于训练的人工智能硬件比那些直接用于终端推理设备上的硬件要大得多。一种方法就是减少一些外部RAM卡，以此提高吞吐量并通过设计减少到RAM距离，或限制外部流量。
无论哪种情形，外部RAM竞争主要集中在GDDR6 HBM之间。
"从工程角度出发，从生产角度出发看GDDR好像跟其他类别一样简单，比如DDR4 LPDDR." Steven Woo指出,"你可以把它集成到标准PCB板上，就用同样的制造工艺。你甚至可以用类似的材料制作HBM，只不过因为HBM涉及堆叠，它就显得更加独特，每个栈子连接数千次，因此确实远远超过PCB能力。这就是为什么有些公司开始使用interposers ——因为这样你可以蚀刻线路非常接近，就像放在晶圆上一样，可以获得更多连接."
尽管如此，由于是为了最高绩效最优化，所以成本很高，更重要的是时间也很多要花费去开发出来。在GDDR DRAM 和Processor 之间互联就会稍微简洁一点，不那么强调信号完整性方面的事情——至少不会那么关注这样的东西。大概这是为何人们特别关心PAS (Power, Area, Speed) 三者的关系——即真正驱动一切变革因素之一：是否能同时保持功能性、成本控制以及节能效果？
最后，在任何场景里，无论是什么应用场景，最终决定因素永远都是力量需求：即使是在手持移动设备或边缘设定下的极致节能策略也是如此；再加上PSA (Performance, Safety, and Affordability) 的三重考量，那么我们终于明白了什么才真正重要：如何应对这一挑战，同时维持创新循环？
