(资料图片仅供参考)
随着ChatGPT的横空出世，让基于大模型类的人工智能技术成为热点，国际国内的厂商都相继推出了自研的大模型AI产品。而这些大模型应用主要由两个任务组成，即训练和推理。完成这两个任务的关键就是数据，大量的数据。
以ChatGPT为例，在ChatGPT3时，它所需要的训练参数为1750亿个，而到ChatGPT4，据称训练参数已经增长至数万亿个。
人工智能应用的快速发展，让需要处理的数据量也急剧增加，对应的处理这些数据的算力也增长显著。“但是如果带宽上的进步无法改善，即使算力增长了，两者之间则无法实现匹配。”Rambus IP核产品营销高级总监Frank Ferro表示，“也就是说，在现有高算力的基础之上，很多的GPU资源其实并没有得到充分的占用和利用，这也就造成了现在的困境。”
Frank Ferro以AI模型的两大任务为例，人工智能模型在训练时，需要录入大量数据进行分析，包括语音和视频等数据。在把这些数据录入到人工智能的训练系统后，然后去训练它们识别不同的图像或语音。完成这一任务需要消耗大量的算力，同时这也是一个非常耗时的过程。
人工智能模型在执行第二个任务推理时，这一过程对算力的需求可能没有训练过程那么大，但它对成本和功耗比较敏感。绝大多数推理的场景，都是应用于终端设备、消费者电子产品或者边缘设备等，尽管对带宽的需求有所下降，但是对成本的因素会变得更加敏感。
关键词：
