Tag: # Transformers

简单聊聊可以在端侧运行的 Mini CPM 2B SFT / DPO 版本的模型。 阅读全文

本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右显存就能够运行。 阅读全文