在2022年的双十一购物狂欢中,消费者不仅能够轻松找到心仪商品,还能接收到高度个性化的推荐。这背后隐藏着推荐系统的巨大变革。与小朋友追问父母问题时不同,我们普通人无法提供精准答案,因为我们的知识储备有限。而互联网时代虽然有了搜索引擎,但仍不足以满足需求。
AI技术的兴起彻底改变了游戏规则,无论是购物平台、直播平台还是视频内容推荐,AI都成为了关键组件。数据显示,即使相关性提升1%,销量也会增加数十亿美元。然而,高价值的AI推荐系统目前仍然只被少数公司负担得起。如何实现AI推荐系统的普及?我们又何时才能拥有完美的AI推荐系统?
从传统方法如协同过滤发展至今,随着算法复杂度和需求增长,CPU已经无法满足需求。在服务器达到一定规模之后,加倍服务器数量已无效。这促使行业向更强大的GPU转移,以支持复杂算力的运行。
NVIDIA亚太区开发与技术部总经理李曦鹏指出:“深度学习算法多加几层神经网络可能就动不了,而GPU此时有明显优势。”但仅从CPU迁移到GPU并不简单,对于嵌入表等特征映射到向量过程中的内存带宽和容量密集型任务,GPU提供了显著优势。
英伟达推出的NVIDIA Merlin为解决方案提供端到端支持,从预处理到模型训练,再到优化HugeCTR框架,都为提高效率提供帮助。在云计算服务商合作下,如阿里云,这些解决方案有望降低门槛,为中小企业减轻重建成本压力,使其能更容易地参与进来。
尽管如此,加速计算面临两大挑战:差异化需求和高门槛。不同时代使用不同算法,不同业务体积需要不同的模型大小。大模型虽然在主流公司越来越流行,但对于中小企业而言,其收益可能有限。此外,由于建造一个完整推荐系统对资源消耗巨大,对于中小企业来说是一个沉重负担。
通过开放API、高级预定义模型以及合作伙伴关系,有望缩短这一差距,让更多企业享受加速计算带来的便利。在接下来的十年里,加速计算将成为主流,将价值千亿美元水平带给工业界,使得每项任务都能够得到极致优化。