项目说明
项目概述
llama-swap(mostlygeek/llama-swap)是一款定位于【开源软件】领域的开源项目。 在您的机器上运行多个生成式 AI 模型,并根据需要在它们之间进行热交换。llama-swap 可与任何 OpenAI 和 Anthropic API 兼容的服务器配合使用,并被数千人用来为其本地 AI 工作流程提供支持。llama-swap 采用 Go 构建,具有零依赖性,并且非常易于设置,以提高性能和简单性。只需几分钟即可开始使用 - 只需一个二进制文件和一个配置文件。对配置 llama-swap 有疑问吗?尝试 llama-swap.ai 上的聊天代理。它完全在您的浏览器中运行,并由根据文档进行微调的 LFM3-1.7B 提供支持。 项目核心采用 Go 语言工程架构,基于 MIT 开放协议分发,已在 GitHub 收获超过 6,272 颗星标关注,具备良好的工程规范与活跃的开源生态协同。
在您的机器上运行多个生成式 AI 模型,并根据需要在它们之间进行热交换
主要功能
- AI 与智能代理驱动:深度融合大语言模型与智能化处理管道,赋能智能感知、知识问答与复杂任务的自动化自主执行。
- 原生高并发与单二进制部署:借助 Go 原生轻量协程与高并发运行时调度,编译为单个无依赖静态二进制文件,分发部署轻松便捷。
- 模块化解耦与可扩展设计:系统内部逻辑高度模块化解耦,提供清晰的配置入口与扩展插槽,便于根据团队实际需求灵活定制二次功能。
- 纯正开源与无商业锁定:采用 MIT 许可协议完全开放源代码,无任何隐藏商业收费或强制绑定,保护长期技术投入。
适用人群
- 开发工程师与全栈开发者:用于技术调研选型、本地业务系统集成,或基于开放源码进行二次开发与深度定制。
- DevOps 与系统运维团队:满足企业内网或私有云自托管交付,借助容器化或独立二进制实现轻量部署与稳定运维。
- 极客、效率工具玩家与独立开发者:替代繁重昂贵的商业闭源套件,获得 100% 数据掌控权、纯粹无广告的使用体验与自由定制乐趣。
快速上手
# 克隆仓库并编译构建
git clone https://github.com/mostlygeek/llama-swap.git
cd llama-swap
# 编译二进制可执行程序
go build -o llama-swap
# 运行服务
./llama-swap- 确保本地已配置 Go 编译环境(Go 1.20+ 建议)。
- 执行 git clone 拉取源码并运行 go build 生成单二进制执行文件。
- 运行生成的文件启动程序并监听指定服务端口。
核心优势
- 100% 开源透明,彻底摆脱厂商锁定:完全采用 MIT 许可协议开源,代码逻辑清晰且经受全网社区推敲,企业拥有绝对的代码修改权与数据控制权,避免闭源产品的涨价与停运风险。
- 庞大而活跃的开源社区生态支撑:在 GitHub 汇聚了 6,272 开发者星标认可 与持续的版本迭代,Issue 交流活跃,具备长远的工程生命力与演进保障。
- 灵活的架构扩展与私有化交付能力:设计上高度解耦,既能够以极低资源开销在单机测试环境中快速启动,也支持通过容器与微服务架构无缝接入生产集群环境。
系统要求
| 项目 | 要求 |
|---|---|
| 操作系统 | Windows、macOS、Linux (Ubuntu / Debian / CentOS / Arch) |
| 运行环境 | Go 1.21+(编译构建需要,运行独立二进制时无需任何外部依赖) |
| 组件与依赖 | Go 运行或编译环境 |
注意事项
- 建议在生产部署时配置反向代理(如 Nginx / Caddy)并配置 SSL 证书以保障通信安全。若项目涉及外部 API 凭据,请严格使用环境变量管理,切勿明文提交至公共代码库。


暂无用户评价
快来发表第一条使用心得或踩坑建议吧!