斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升

新智元报道编辑：编辑部 FlashAttention 新升级！斯坦福博士一人重写算法，第二代实现了最高 9 倍速提升。继超快且省内存的注意力算法 FlashAttention 爆火后，升级版的 2 代来了。 FlashAttention-2 是一种从头编写的算法，可以加快注意力并减少其内存占用，