FlashInfer

FlashInfer：专为LLM推理设计，支持多种注意力机制，优化GPU资源利用，显著减少推理延迟，提升效率，开源合作推动AI发展。