让内存吃紧的 Mac 也能近似满血跑大模型——做出 2bpw 起步的高保真量化包并提供配套推理服务器,显存装不下时由 SSD 流式补专家权重,32 GB 机器能起服务。
https://github.com/beamivalice/sushi

互联网充电|优质资源
优质内容|内幕消息
 
 
Back to Top