高通的这次决定:让AI开发者兴奋不已的新篇章
在追逐智能化进程中,边缘芯片公司面临着一个棘手的问题——如何将复杂的应用场景落地?而AI开发者则苦于缺乏统一的开发平台。消费者的体验也提出了对AI智能程度的期待,但现实中的实现还远未达到理想状态。
为了克服这些挑战,各大存储芯片公司不断探索解决方案。高通技术公司最近推出了其最新产品——高通AI软件栈(Qualcomm AI Stack),旨在提供硬件、软件和工具的一体化解决方案,让OEM厂商或开发者通过一次开发,便能跨越智能手机、物联网、汽车、XR等多个领域。
然而,这项任务并不轻松。Ziad Asghar、高通技术公司产品管理副总裁指出,AI在不同环境下的性能需求及模型类型存在差异,而各种业务对于准确性、功耗以及时延等方面也有不同的平衡要求。此外,每个IP都需要获得统一访问权限,以便选择合适的解决方案,这是另一个难题。
Jeff Gehlhaar、高通技术副总裁进一步解释了这一挑战:“要让我们的所有不同的IP能够以统一方式运行,我们需要深度融合,从底层硬件到上层软件和系统。”
为了应对这些挑战,高通推出了包括Direct AI引擎,上述软wares和工具套件等组成部分。在这个架构下,Direct可以进行最接近模型或硬件位置上的软件编辑,以释放最大潜力;同时支持广泛使用的神经网络处理SDK,并且兼容TensorFlow和PyTorch等框架。
此外,还有AIMET提供量化感知训练,可以将浮点运算转换为整数运算,从而提升模型效率。而Prometheus、Kubernetes和Docker这样的基础设施支持,也为部署提供了坚实保障。
尽管如此,这仍然是一条充满挑战之路。Ziad Asghar表示,要真正实现单一终端开发可扩展到其他终端,还需考虑众多因素,如编译器优化,以及如何确保软件能充分利用硬件资源。这需要时间与持续投入,但如果成功,将极大促进高通在AI市场的地位并开启新的机遇。