AI文摘

blog-thum
Llama2来袭-在HuggingFace上玩转它

引言Meta发布了Llama2,其包含了一系列最先进的开放大语言模型,我们很高兴能够将其全面集成入HuggingFace,并全力支持其发布。Llama2的社区许可证相当宽松,且可商用。其

read more
blog-thum
大模型部署框架FastLLM实现细节解析

0x0前言接着大模型部署框架FastLLM简要解析这篇文章首先梳理了一下FastLLM的调用链和关键的数据结构,然后解析了FastLLM的一些实现细节和CPUGPU后端实现采用的优化

read more