导读 ASC24目前已经正式进入预赛阶段，4月9日至13日通过预赛选拔的队伍将会在上海大学展开总决赛的比赛。来自世界各地的300多支高校队伍目前正在
ASC24目前已经正式进入预赛阶段，4月9日至13日通过预赛选拔的队伍将会在上海大学展开总决赛的比赛。来自世界各地的300多支高校队伍目前正在面对大语言模型推理优化的考验。各支参赛队伍需要在LLaMA2-70B大模型的基础上，考虑出更多的优化方式构建推理引擎，进行高吞吐推理，与大语言模型应用落地所带来的考验直面应对。
生成式人工智能目前呈现出白膜增秀的局面。由于大模型训练开发速度的加快，以及各种应用系统逐步落地，业界对于大模型成本的优化和性能的优化更加的重视。目前大模型落地面临的困难有两方面，一方面是大模型的结构决定了推理解码阶段计算优化比较难，效率比较低。另一方面由于大模型规模达到几百亿参数很难进行单卡部署，这涉及到了多卡并行的问题，因此需要对通信方面的开销进行考虑。