AI芯片难题：存储器为何成为了它的“价格表”上的阻碍？
边缘计算性能的提升给存储器的设计，类型的选择和配置都带来挑战，这也导致在不同的应用市场中需要进行更复杂的权衡。芯片架构正在与新市场一起发展，但数据在芯片、设备之间以及系统之间如何移动并不总是很清楚。汽车和AI应用的数据正变得越来越多和复杂，但芯片架构在处理时有时不清楚如何优先处理数据。这让芯片设计人员面临抉择，是选择共用内存降低成本，还是增加不同类型内存提高性能和降低功耗。
所有这些都是以安全为前提，并且不同的市场设计的要求也不一样。比如，汽车中的各种类型的图像传感器（如激光雷达和摄像头）的大量数据需要在本地处理。AI芯片则希望性能能够提升100倍。
解决内存问题有一些方法，其中一种是片上存储器，也就是将存储器分散地集成在运算单元旁，最大程度减少数据搬移，这种方法的目标是通过减少负载和存储的数量来突破内存瓶颈，也能降低功耗。
“store-in-memory computing”可能是模拟、数字或两者的结合。“虽然这个想法日益增长，但实际发生的情况似乎大不相同。”Cadence Digital＆Signoff Group高级首席产品经理Dave Pursley说。
SRAM和DRAM仍然主流
尽管市场出现了新的变化，但片上SRAM和片外DRAM仍然占据主导地位。已经有专家预测DRAM多年后将“死亡”，但它仍然是最经济、可靠的一种选择。DRAM具有高密度、高架构简单性、低延迟、高性能兼具耐用性与低功耗特点。
尽管DRAM密度增速正在放缓，但是HBM2等新架构允许通过堆叠模块而不是使用DIMM垂直增加密度，这样的方式还让DRAM更靠近处理单元。此外，SRAM价格昂贵且密度有限，但其高速性能多年来已被验证。而对于片上存储器，其挑战是在于采用分布还是共用的方式，在某些情况下，为保证安全性需要增加冗余。
“所有这些要求都会影响对不同型号及数量选取，以及决定哪些应该放在CPU内部，与那些应放在外部.”Arm高级物联网架构师Ryan Lim表示。”
低功耗成为关键
除了以上因素之外，还有一个关键问题，那就是功耗。在7nm以下规模进行数据访问可能会消耗更多电力，因为线路中的RC延迟。不过，由于较慢但是带宽极高的心形DDR6可以节省能源并达到与GDDR6相同速度，因此做出决策涉及到许多因素，比如平均售价以及所选记忆体技术。在手持移动设备中，有着极端低能见识需求，如智能手机及其周边设备。
"这些记忆体提供非常好的效率，可以显著提升电池供电设备功能，同时保持快速切换至更高效率模式，从待机状态迅速转入满足手机或平板电脑需求，而非仅需大量能源才能进行信息操作." Rambus杰出的院士Steven Woo说。
此类记忆体支持多种封装方式，让它们能够嵌入手机内部或PCB上，以适应智能手机轻薄化需求，同时也支持平板电脑等消费品容量较大的记忆体配置。
毫无疑问，对于开发这种超级能效型记忆体是一个巨大的挑战。“当设计超级能效型记录卡时，它们必须支持广泛范围的事务速率，而这通常远超过普通记录卡。”Woo解释道。“这往往由几个主要应用驱动，所以只有拥有庞大市场份额行业才会推动新的记录卡技术。如果我们从历史看的话，那么手机行业就成功展示了这一点——如果你向任何一家制造商询问，他们都希望获得既快速又节能能力强记录卡，因为他们想要延长电池寿命，对其他寻求超级能效型技术的人来说，他们会感到幸运。”
通常，这些合格产品可能以几种不同的速率运行但接近：“有些产品每秒4.2千兆比特；另一些每秒3.2千兆比特。”他解释道，“这样做使得生产者可以实现所谓‘binning’—即生产出同样质量但各自具有不同功能性的条目。当部分零件无法全速工作时就会发生这种情况。但制造商依旧销售这样的零件因为某些客户愿意以较便宜价格购买相对较弱效果款式。”
人工智能如何受到影响？
人工智能几乎涵盖了现代科技进步中的每个方面，而且人们发现，在其中扮演核心角色的是那支称作微观晶圆（SoC）的特殊团队，它包括中央处理单元（CPU）、图形处理单元（GPU）、网络控制单元（NPU），以及用于保存重要信息的一系列固态闪烁驱动程序（SSDs）。由于这一点，我们知道为什么训练模型所需的大量计算资源意味着不断扩展我们的硬件基础设施，以保持竞争力。而另一方面，我们知道，即使小巧灵活的小型机智终端也有其独有的价值，不仅要能够执行任务，而且还要尽可能减少对电源供应的问题。
然而，就像我们看到过的一个例子一样，无论是在车辆领域还是工业自动化领域，都存在关于微观晶圆相关组件持续改进，以确保随着时间推移，其有效性不会衰退。在车辆领域尤其如此，因为它涉及到一个巨大的未来的投资项目，并且考虑到了潜在用户群众对可靠性的高度关注。此外，无论应用场景是什么，一致正确执行命令总是一个基本原则，因此对于任何重视业务连续性的企业来说，无论他们是否处于创新阶段，都应当考虑到如何最大限度地利用现有的资源，同时避免未来遇到的风险。
