InferSSD 基于 llama.cpp 改造，用标准 GGUF 文件，在 MacBook（Metal）和 NVIDIA GPU（CUDA）上从 SSD 流式加载 763B–816B 级别的 MoE 模型。
https://github.com/wici-ai/inferssd

互联网充电｜优质资源
优质内容｜内幕消息