垃圾佬的最爱?Ghostlink 一个用 Rust 编写的分布式 LLM 推理平台,面向异构本地集群。
它自动发现局域网内的每台设备(游戏 GPU、旧笔记本、带 NPU 的超极本、Mac),通过 llama.cpp 的 RPC 后端实现跨机器分布式推理,让局域网内异构的 CPU/GPU/NPU 设备组成一个零配置的分布式 LLM 推理集群,提供 OpenAI 兼容 API 和完整 GUI。
https://github.com/rwilliamspbg-ops/Ghostlink

互联网充电|优质资源
优质内容|内幕消息
 
 
Back to Top