在双十一背后的AI推荐系统,价值高达千亿。那么,中国芯片最强是谁?答案可能隐藏在AI优化技术中。
AI推荐系统的演进
随着内容爆炸性的增长,普通消费者可以轻松找到自己想要的商品,并收到非常符合自己喜好的商品、直播的推荐。这背后隐藏了推荐系统的变迁。父母、老师面对小朋友的问题时,也充当了小朋友的推荐系统,但普通人的知识储备毕竟有限。
互联网时代,有了搜索引擎,但还不足够。AI技术的兴起帮助了推荐系统大步前进,无论是购物平台的商品推荐,直播平台的主播推荐还是视频平台的视频内容推荐,都越来越多的人开始感叹,AI更懂自己。
如何加速AI推薦系統?
GPU如何加速AI推薦系統?
嵌入表通常是内存带宽和容量密集型,对于计算需求不大,却需要很大的内容容量和带宽进行快速读取,这对于CPU而言是一个明显挑战。采用GPU有两个显著优势:一是GPU内存带宽远高于普通服务器;二是在迁移之后,将原来节点上的通信从原来CPU和GPUPCIe通信变成了GPU之间NVLink通信,速度提升几倍。
NVIDIA Merlin作为一个针对推薦系統近似端到端解决方案,它包含预处理方面如NVIDIA Merlin NVTabular,可以实现加速,以及针对嵌入表如Merlin Distributed-Embeddings,可以方便TensorFlow 2用户用短短几行代码轻松完成大规模模型训练。此外还有HugeCTR开源框架目标优化NVIDIA GPU上的大规模推广。
普及推薦系統兩大挑戰
差异化需求:不同业务场景下使用不同的算法,不同大小模型。
高门槛:中小企业难以投入大量资源开发复杂算法,而云服务提供商合作可以降低成本和门槛。
未来十年,加速计算将为我们打开一扇巨大的想象空间,让价值千亿级别的大数据应用成为现实。在这个过程中,加速计算不仅能提高效率,还能降低成本,为整个社会带来更多可能性。